大模型核心概念科普:Token、上下文长度、最大输出

文章科普了大模型中的核心概念,包括Token的定义与作用、上下文长度的限制与特点、最大输出长度的计算方式,以及不同厂商的参数对比和使用建议。

文章详细介绍了大模型中的三个核心概念:1. Token(标记):文本处理的基本单位,1个中文≈1 Token,1英文≈0.3 Token,直接影响上下文长度计算。2. 上下文长度(Context Window):单次推理可处理的输入+输出Token总量上限(如DeepSeek为64K≈6万字),多轮对话需拼接历史记录,超出限制时触发"上下文截断"。3. 最大输出长度:单次生成内容的最大Token数(如DeepSeek为8K≈8000字)。文章还提供了典型场景策略、技术原理、厂商对比(如OpenAI GPT-4、Anthropic Claude 3、DeepSeek)和使用建议,帮助用户更好地理解和使用大模型。