← Về từ điểnToken là đơn vị nhỏ nhất mà AI dùng để xử lý ngôn ngữ, có thể là một từ, một phần của từ, hoặc một ký tự. Giống như các chữ cái ghép lại thành từ, token ghép lại thành câu để AI hiểu và tạo ra văn bản.
Ví dụKhi bạn gõ 'Xin chào', AI có thể chia thành 2 token là 'Xin' và 'chào'.
Còn gọi làtokensBPE token
