Token 名词解释（AI 大模型领域专用） 1、定义Token（令牌 / 词元）：大模型处理文本的最小计算单位，是文字经过分词、切分后的片段，可以是单词、词根、单字、标点、子词。AI 不直接认识汉字 / 英文，全部转为 Token 数字编码运算、计费、限制上下文长度。 2、换算参考英文：1token≈4 个字母 ≈0.75 英文单词 中文：1 个汉字≈1.8～2 个 Token 3、三大用途计费计价：大模型按输入 + 输出 Token 数量扣费（API 调用收费标准）； 上下文窗口限制：每个模型有最大 Token 上限（如 4K、128K），超限无法继续对话； 模型训练：训练数据全部转为 Token 参与学习。 4、通俗理解Token 就是AI 的 “文字计量单位”，类似重量的克、长度的米。 5、补充（区分区块链 Token）AI 领域：词元（文本切割单位） 区块链领域：代币、通证，二者同名不同含义。 |
 |
