Xoá dòng trùng trên danh sách 5 dòng “a, b, a, dòng trống, B” cho ra 3 dòng khi phân biệt hoa/thường và 2 dòng khi không phân biệt. Mỗi dòng giữ lại ở đúng vị trí lần đầu xuất hiện, kèm bảng các dòng bị lặp và số lần lặp. Danh sách xử lý trên trình duyệt, không lưu dữ liệu, nên dán email khách hàng vào đây không đi đâu cả.
Cách xoá dòng trùng mà không làm xáo thứ tự
Công cụ đọc danh sách từ trên xuống, nhớ mỗi dòng đã gặp và bỏ mọi lần xuất hiện sau, nên dòng đầu tiên luôn được giữ.
- Chuẩn hoá văn bản về dạng dựng sẵn NFC. “Nguyễn” gõ bằng bảng mã tổ hợp và “Nguyễn” dựng sẵn trông y hệt nhưng khác nhau từng byte; sau bước này chúng được coi là một.
- Dòng trống hoặc chỉ có dấu cách: bị xoá nếu bật “Xoá dòng trống” (mặc định bật) và được đếm riêng ở ô “dòng trống”.
- Tạo khoá so sánh cho mỗi dòng. Bật “Bỏ khoảng trắng đầu/cuối khi so” thì ” [email protected]” và “[email protected]” cho cùng khoá; tắt “Phân biệt hoa/thường” thì khoá được chuyển về chữ thường.
- Khoá đã gặp → dòng bị xoá và cộng vào “dòng trùng”. Khoá mới → dòng được giữ nguyên văn như lúc dán.
Kết quả hiện bốn số: dòng đã xoá (trùng cộng trống), dòng trùng, dòng trống và dòng còn lại. Bảng “Các dòng xuất hiện nhiều lần” sắp dòng lặp nhiều nhất lên đầu, tiện để hỏi ngược lại nguồn dữ liệu vì sao một khách có mặt bốn lần.
Một chi tiết cần biết: tuỳ chọn bỏ khoảng trắng chỉ áp dụng lúc so, dòng được giữ vẫn mang dấu cách thừa như bản gốc. Cần danh sách sạch hẳn thì dọn khoảng trắng trước rồi mới lọc.
Ví dụ: gộp danh sách email từ hai lần xuất file
Một người phụ trách gửi bản tin gộp email khách từ form đăng ký và từ file bán hàng, được 5 dòng với một dòng trống ở giữa.
| Danh sách dán vào | Phân biệt hoa/thường (mặc định) | Tắt phân biệt hoa/thường |
|---|---|---|
| [email protected] | giữ | giữ |
| [email protected] | giữ | giữ |
| [email protected] | xoá (trùng) | xoá (trùng) |
| (dòng trống) | xoá (trống) | xoá (trống) |
| [email protected] | giữ | xoá (trùng) |
| Dòng đã xoá | 2 | 3 |
Cấu trúc này khớp case kiểm thử “a, b, a, dòng trống, B”: phân biệt hoa/thường còn 3 dòng, không phân biệt còn 2. Trường hợp thứ hai cũng thử ” a” và “a”: khi bật bỏ khoảng trắng lúc so, hai dòng tính là 1 lần trùng; tắt đi thì thành 0.
Với danh sách email, tôi luôn tắt phân biệt hoa/thường. Hai dòng “[email protected]” và “[email protected]” gần như chắc chắn là cùng một người gõ lúc bật Caps Lock, và gửi hai thư cho họ chỉ tăng khả năng bị báo spam.
Có nên coi email viết hoa là địa chỉ khác?
Về chuẩn thì có thể khác, về thực tế hầu như không: RFC 5321 yêu cầu phần trước @ được coi là phân biệt hoa/thường, nhưng các dịch vụ thư phổ biến đều bỏ qua khác biệt đó.
Phần tên miền sau @ thì luôn không phân biệt hoa/thường. Vì vậy lọc email khách hàng nên tắt “Phân biệt hoa/thường”. Ngược lại, danh sách mã giảm giá kiểu “SALE10” và “sale10” có thể là hai mã khác nhau trong hệ thống bán hàng, lúc ấy giữ mặc định.
Gmail còn bỏ qua dấu chấm trong tên người dùng: [email protected] và [email protected] về cùng một hộp thư. Công cụ xoá dòng trùng so chuỗi ký tự nên không nhận ra hai dòng này là một. Muốn gộp chúng, dùng tìm và thay thế với regex để bỏ dấu chấm trước @gmail.com, rồi lọc trùng lần nữa.
Trường hợp đặc biệt: trông giống nhau nhưng không trùng
Hai dòng chỉ trùng khi khoá so sánh giống hệt từng ký tự sau NFC, nên vài khác biệt vô hình vẫn giữ chúng tách rời.
Dấu cách không ngắt nằm giữa họ và tên không được đổi thành dấu cách thường, nên “Trần An” gõ tay và bản dán từ trang web có thể thành hai dòng khác nhau. Zero-width space dính cuối email copy từ trang web cũng vậy; phát hiện ký tự ẩn chỉ ra đúng dòng có ký tự lạ. Chữ “đ” gõ nhầm thành “ð” (chữ eth của tiếng Iceland) nhìn gần giống nhưng là ký tự khác hẳn.
Công cụ không hiểu nghĩa. “Hà Nội” và “Ha Noi” là hai dòng, “0912 345 678” và “0912345678” cũng vậy. Tôi không có cách nào đoán chắc chúng là một mà không đoán sai ở chỗ khác, nên công cụ chỉ so chuỗi và để bạn chuẩn hoá trước: bỏ dấu, bỏ dấu cách trong số điện thoại, rồi mới lọc.
Công cụ liên quan
- Sắp xếp dòng xếp danh sách đã lọc theo bảng chữ cái tiếng Việt, có sẵn tuỳ chọn bỏ dòng trùng nếu không cần giữ thứ tự gốc.
- Xoá khoảng trắng thừa làm sạch dấu cách và tab để dòng còn lại gọn trước khi nhập vào phần mềm gửi thư.
- Trích xuất email, URL, số điện thoại lấy riêng địa chỉ email ra khỏi đoạn văn lộn xộn, sau đó mới đem lọc trùng.
- Đếm dòng kiểm lại tổng số mục trước và sau khi lọc để đối chiếu với file gốc.
Câu hỏi thường gặp
Xoá dòng trùng trong Excel khác gì công cụ này?
Remove Duplicates của Excel làm việc theo ô và không phân biệt hoa/thường, nhưng không bỏ dấu cách thừa và không đếm từng dòng lặp bao nhiêu lần. Công cụ này làm trên văn bản thuần, cho chọn phân biệt hoa/thường, so sau khi chuẩn hoá NFC và liệt kê dòng bị lặp. Dữ liệu nhiều cột thì vẫn nên dùng Excel.
Dòng nào được giữ lại khi có nhiều dòng giống nhau?
Dòng xuất hiện đầu tiên. Các lần sau bị xoá, còn thứ tự của mọi dòng còn lại giữ nguyên như danh sách gốc. Nếu muốn giữ lần cuối cùng, ví dụ bản ghi mới nhất, đảo ngược thứ tự dòng trước, lọc trùng, rồi đảo lại. Muốn danh sách theo bảng chữ cái thì sắp xếp sau khi lọc.
Có xoá dòng trùng không phân biệt hoa thường được không?
Được. Bỏ tích “Phân biệt hoa/thường”, khi đó “Đà Nẵng”, “ĐÀ NẴNG” và “đà nẵng” được coi là một dòng và chỉ dòng đầu còn lại. Việc so dùng quy tắc chữ thường của trình duyệt nên đúng với Đ, Ư, Ơ. Dòng được giữ vẫn nguyên cách viết hoa như lúc dán.
Danh sách bao nhiêu dòng thì công cụ còn chạy được?
Danh sách vài chục nghìn dòng email thường vẫn xử lý được trên máy tính thông thường, vì mỗi dòng chỉ được tra một lần trong bảng các dòng đã gặp. Giới hạn thật nằm ở bộ nhớ trình duyệt và tốc độ dán của ô nhập. Bảng dòng lặp chỉ hiển thị một số dòng đầu để trang không bị treo.
Vì sao hai dòng nhìn giống hệt vẫn không bị xoá?
Thường do ký tự vô hình: dấu cách không ngắt, zero-width space hoặc dấu cách thừa ở giữa dòng. Tuỳ chọn bỏ khoảng trắng chỉ xử lý đầu và cuối dòng. Dán danh sách vào công cụ phát hiện ký tự ẩn hoặc xoá khoảng trắng thừa trước, sau đó xoá dòng trùng lại sẽ thấy số dòng giảm.
Căn cứ và nguồn
- RFC 5321, Simple Mail Transfer Protocol — IETF, mục 2.4: phần trước @ của hộp thư phải được coi là phân biệt hoa/thường.
- Dots don’t matter in Gmail addresses — tài liệu trợ giúp Gmail: dấu chấm trong tên Gmail không đổi hộp thư nhận.
- Set — MDN: cấu trúc giữ giá trị duy nhất theo thứ tự thêm vào, cùng nguyên tắc công cụ dùng để nhớ dòng đã gặp.
Kiểm tra: 16/09/2026. Công cụ xoá dòng trùng so khớp chuỗi ký tự; việc hai địa chỉ có về cùng một hộp thư hay không do nhà cung cấp email quyết định.