Cách xóa dòng trùng lặp an toàn
Lọc danh sách email, từ khóa, mã và tên mà không làm mất thứ tự ban đầu.
Trả lời nhanh: Hãy chuẩn hóa Unicode và khoảng trắng trước, quyết định có phân biệt hoa thường không, rồi giữ lần xuất hiện đầu tiên của mỗi dòng. Luôn so sánh số dòng trước và sau và lưu kết quả thành tệp mới.
Định nghĩa “trùng” trước khi lọc
“ABC” và “abc” có thể là cùng một từ khóa nhưng có thể là hai mã khác nhau. “An” và “An ” chỉ khác khoảng trắng cuối. Hai chữ có dấu còn có thể khác dạng NFC/NFD. Quy tắc phù hợp phụ thuộc loại dữ liệu.
Giữ thứ tự hay sắp xếp lại?
Giữ lần xuất hiện đầu tiên phù hợp với danh sách ưu tiên, log hoặc dữ liệu nhập theo thời gian. Sắp xếp trước khi lọc giúp kiểm tra bằng mắt nhưng làm mất thứ tự gốc. Nếu cần cả hai, hãy lọc trước rồi tạo một bản sao đã sắp xếp.
Trước
cam táo cam lê
Sau
cam táo lê
Checklist trước khi xuất
Kiểm tra dòng rỗng, số dòng đã loại, vài giá trị có dấu và các mã phân biệt hoa thường. Nếu là email, thường có thể so sánh không phân biệt hoa thường; nếu là token hay mã kỹ thuật, nên giữ nguyên.
Câu hỏi thường gặp
Có nên trim từng dòng trước khi lọc?
Có với danh sách tên, email hoặc từ khóa. Không nên nếu khoảng trắng là một phần có ý nghĩa của dữ liệu.
Lọc trùng có gửi danh sách lên máy chủ không?
Không. Công cụ xử lý danh sách ngay trong trình duyệt.