标签为“LLM基础”的页面如下
三月 19, 2025
LLM基础知识
名词解释 Multimodal(多模态) 简单来说,多模态就是让 AI 能够理解和处理 多种类型的信息,比如 文字、图片、声音、视频 等,而不是只处理单一类型的数据(比如只有文字)。
就像人类一样,我们不只是用“看”来理解世界,还会 听、说、触摸、闻,AI 也是这样,多模态让 AI 变得更聪明,能同时处理不同类型的信息。
TPS(tokens per second) 大模型的 Inference 速度(推理速度) 指的是 AI 模型在接受输入后,生成输出的速率,通常以 tokens/秒(tokens per second, TPS) 作为衡量单位。例如,“150 tokens/秒” 意味着该模型每秒可以生成 150 个 token。
Context Window / 上下文窗口 大模型的上下文窗口(Context Window) 上下文窗口(Context Window) 指的是 大模型在推理(Inference)时能够记住的 Token 数量,决定了模型一次能够处理的文本长度。
1. 上下文窗口的基本概念 定义:模型可以在一次推理中处理的 最大 Token 数,包括输入和输出。 单位:上下文窗口的大小通常以 token 计算,例如 2048 tokens、8192 tokens、1M tokens(100 万)。 影响:上下文窗口越大,模型能“记住”的信息就越多,适合处理长文档、代码分析等任务。 2. 上下文窗口的工作方式 (1) Token 计数方式 1 个 Token 可能是 1 个单词、1 个子词、1 个字符,具体取决于模型的 Tokenizer。 例如: “Artificial Intelligence” ≈ 2 tokens(拆分成 “Artificial” 和 “Intelligence”)。 “我喜欢人工智能” ≈ 6 tokens(“我” “喜欢” “人工” “智能”)。 一般英文文本 1 词 ≈ 1.
继续阅读