N-gram là cụm gồm n đơn vị đứng liền nhau trong văn bản; với tiếng Việt, mỗi đơn vị là một tiếng. Câu “máy lọc nước gia đình” chứa các n-gram hai tiếng như “máy lọc”, “lọc nước”, “nước gia”, “gia đình”.
Cách công cụ tách n-gram tiếng Việt
Cửa sổ trượt chạy dọc câu, dừng lại ở mỗi dấu câu.
- Tách văn bản thành tiếng, bỏ dấu câu bám hai đầu mỗi tiếng.
- Ghép các tiếng liền kề thành cụm dài 1 đến 4 tiếng, không nối qua dấu chấm hay dấu phẩy.
- Bỏ cụm mở đầu hoặc kết thúc bằng hư từ, rồi đếm số lần mỗi cụm lặp lại.
Vì thế “của gia đình” bị loại, còn “gia đình” được giữ và xếp hạng cùng các cụm khác.
Vì sao tiếng Việt cần n-gram nhiều tiếng
Phần lớn khái niệm tiếng Việt cần hai tiếng trở lên mới đủ nghĩa.
Công cụ tiếng Anh tách theo dấu cách là gần đúng với từ, còn tiếng Việt tách theo dấu cách chỉ ra từng tiếng rời: “lọc” và “nước” tách riêng thì mất hẳn khái niệm “lọc nước”. Xét n-gram tới bốn tiếng lấy lại được các cụm dài như “máy lọc nước nóng”. Giới hạn bốn tiếng là lựa chọn của site, cụm dài hơn thường lặp quá ít để có ý nghĩa thống kê.
Công cụ dùng n-gram
Ba công cụ sau đều xếp hạng cụm thay vì chỉ xếp hạng chữ lẻ.
- Kiểm tra mật độ từ khoá liệt kê cụm nổi bật kèm tỉ lệ phần trăm.
- Tần suất từ cho bảng chữ lặp nhiều nhất và word cloud.
- Đếm âm tiết ước tính số từ ghép dựa trên từ điển cụm có sẵn.
- Stop word là danh sách hư từ dùng để lọc bớt cụm vô nghĩa.