模型参数(大模型参数)名词解释 1. 标准定义模型参数(Parameter):大神经网络中可学习的权重、偏置数值,是模型从海量数据中学到知识的载体,单位常用B(十亿),如 7B、13B、70B 参数。模型所有语言理解、逻辑、知识都储存在海量参数里。 2. 通俗理解参数 = AI 的大脑脑细胞储备量,参数越大,理论记忆、理解、推理能力越强。 3. 核心特点训练阶段:通过海量文本数据不断迭代优化参数数值,完成知识学习; 推理阶段:参数固定不变,依靠已有参数运算生成答案; 同架构下:参数规模↑→能力变强,但算力、显存、调用成本同步上升。 4. 举例7B:70 亿参数轻量化模型; GPT-4 级别:万亿级参数规模。 5. 区分参数:模型本身存储知识的权重(硬件占用核心) 上下文长度:单次对话能读取的 Token 上限(单次输入容量) |