Stop word là những tiếng xuất hiện dày đặc trong mọi văn bản nhưng gần như không mang thông tin riêng: và, của, là, những, được, cho, với. Tiếng Việt gọi chúng là hư từ, và công cụ phân tích thường loại chúng trước khi xếp hạng.
Cách stop word được dùng khi phân tích
Danh sách hư từ đi kèm plugin, bật tắt ngay trên giao diện công cụ.
- Tách văn bản thành tiếng rồi đối chiếu từng tiếng với danh sách stop word.
- Bỏ các tiếng khớp khỏi bảng tần suất, giữ nguyên chúng trong tổng số chữ.
- Với cụm nhiều tiếng, chỉ loại cụm mở đầu hoặc kết thúc bằng hư từ; “của gia đình” bị loại còn “gia đình” giữ lại.
Tổng số chữ của bài không đổi khi bật tuỳ chọn này, chỉ bảng xếp hạng đổi.
Khi nào không nên bỏ stop word
Có những phép đo cần giữ nguyên hư từ mới đúng.
Đếm chữ, đếm câu và quy đổi ra trang luôn tính đủ mọi tiếng, vì giáo viên hay khách hàng cũng đếm như vậy. Công cụ tìm từ lặp cố ý giữ lại đại từ như “tôi”, “bạn”, “họ” dù chúng nằm trong danh sách hư từ, bởi lặp đại từ trong hai câu liền nhau là lỗi văn phong chứ không phải nhiễu thống kê. Tôi thường chạy hai lượt, một lượt có stop word và một lượt không, rồi so hai bảng.
Công cụ có tuỳ chọn stop word
Ba công cụ sau đều cho bật tắt danh sách hư từ.
- Tần suất từ bỏ hư từ để bảng xếp hạng lộ ra chủ đề thật của bài.
- Kiểm tra mật độ từ khoá lọc cụm rác trước khi tính phần trăm.
- Đếm từ duy nhất đo độ đa dạng từ vựng, có và không có hư từ.
- Tìm từ lặp vẫn bắt đại từ lặp gần nhau dù đã bỏ hư từ.