Token AI là mảnh văn bản nhỏ mà mô hình ngôn ngữ cắt ra để xử lý: có thể là một từ, một phần từ, một dấu câu hay chỉ một dấu thanh. Nhà cung cấp tính tiền và giới hạn ngữ cảnh theo số token này, không theo số chữ.
Cách đếm token AI cho tiếng Việt
Bộ tách token của từng mô hình quyết định con số, không có công thức chung.
- Chọn mô hình, vì mỗi mô hình dùng một bộ mã hoá riêng như o200k_base hay cl100k_base.
- Chạy bộ tách token ngay trên trình duyệt để ra số token thật của đoạn văn.
- Nhân số token với đơn giá mỗi triệu token, rồi đổi sang tiền Việt theo tỉ giá 26.000 đồng một đô la.
Khi chưa tải được bộ tách, công cụ ước tính theo mức 2,3 ký tự cho mỗi token và ghi rõ đó là ước tính.
Vì sao tiếng Việt tốn nhiều token AI hơn tiếng Anh
Bộ mã hoá được huấn luyện chủ yếu trên văn bản tiếng Anh.
Chữ tiếng Anh thông dụng thường gói gọn trong một token, còn một tiếng Việt có dấu hay bị tách làm hai hoặc ba mảnh, vì tổ hợp chữ cái kèm dấu ít xuất hiện trong dữ liệu huấn luyện. Cùng một nội dung, bản tiếng Việt có thể tốn gấp rưỡi tới gấp đôi số token. Tôi coi đây là khoản chi phí ngầm của người viết prompt dài bằng tiếng Việt.
Công cụ ước lượng token AI
Ba công cụ sau dùng chung một cách đếm chạy trên máy bạn.
- Ước lượng token AI đếm token và quy ra chi phí cho từng mô hình.
- Đếm ký tự online cho số ký tự để đối chiếu với số token.
- Kiểm tra độ dài bài SEO canh độ dài bài trước khi đưa vào prompt.
- Ký tự phân biệt ký tự với token và với byte.
Nguồn
Bộ tách token chạy trong trình duyệt, văn bản của bạn không rời khỏi máy.
- gpt-tokenizer: thư viện JavaScript chạy trực tiếp trên trình duyệt, hỗ trợ các bộ mã hoá cl100k_base và o200k_base.
- Đơn giá theo mô hình và tỉ giá trong công cụ là số tham khảo, đổi thường xuyên nên luôn hiện kèm ngày ghi nhận.