Cách làm sạch văn bản tiếng Việt mà không làm hỏng dữ liệu
Một quy trình ngắn để sửa văn bản sao chép từ PDF, Excel, email và website.
Trả lời nhanh: Hãy giữ bản gốc, chuẩn hóa Unicode về NFC, dọn khoảng trắng, xử lý dòng trùng rồi mới đổi kiểu chữ hoặc xóa dấu. Thứ tự này giúp giảm lỗi so sánh và tránh làm mất thông tin quá sớm.
Bước 1: giữ nguyên một bản gốc
Văn bản sao chép có thể chứa dấu tách rời, khoảng trắng không ngắt, tab, dòng trống hoặc ký tự vô hình. Hãy làm việc trên bản sao để có thể đối chiếu nếu tên riêng, mã sản phẩm hay công thức bị thay đổi.
Bước 2: chuẩn hóa trước, làm sạch sau
Chuẩn hóa về NFC trước khi lọc trùng hoặc tìm kiếm. Sau đó gộp dấu cách liên tiếp, cắt khoảng trắng đầu cuối dòng và giảm dòng trống. Với dữ liệu dạng danh sách, chọn có phân biệt hoa thường hay không trước khi xóa dòng trùng.
Chỉ đổi hoa/thường khi bạn chấp nhận sửa lại tên riêng. Chỉ xóa dấu khi hệ thống đích thật sự yêu cầu, vì thao tác này làm mất thông tin.
Trước
Nguyễn Văn An Nguyễn Văn An
Sau
Nguyễn Văn An Nguyễn Văn An
Bước 3: kiểm tra bằng mẫu nhỏ
So sánh số dòng và vài bản ghi ở đầu, giữa, cuối trước khi áp dụng cho toàn bộ danh sách. Kiểm tra riêng chữ đ, emoji, dấu nháy cong và chuỗi có số. Với dữ liệu dùng để nhập hệ thống, hãy lưu kết quả thành tệp mới thay vì ghi đè nguồn.
Câu hỏi thường gặp
Có nên xóa dấu trước khi lọc trùng không?
Chỉ khi mục tiêu là coi “Hoa” và “Hòa” như nhau. Thông thường nên giữ dấu để tránh gộp nhầm hai giá trị khác nghĩa.
Công cụ có đọc nội dung tôi dán vào không?
Không. Các bước xử lý chạy trong trình duyệt và văn bản không được gửi lên máy chủ.