从机制上讲,大语言模型「写出一段话」的过程,最准确的描述是:
先在内部检索一个庞大的语料库,按相似度选出最相关的原文段落,拼接后原样输出
根据上文逐个预测下一个最可能出现的 token,再把预测结果作为新的上文继续预测
先完整理解整段话的语义、在内部构思好全文结构,然后按构思逐字把全文输出
同时生成多个候选答案,再调用内部的逻辑推理模块逐条校验,最后挑出事实上最正确的那一个
模型处理文本的基本单位是 token(词元)。下列理解正确的是:
token 是文本切分后的片段,可能是一个字、半个词或几个字符,不同模型切分方式不同
一个 token 就对应一个汉字,中文和英文的切分规则完全一致,可以直接按字数换算
token 只影响计费和生成速度,对模型理解文本的过程没有任何实质性影响
token 的数量就等于模型的参数量,所以 token 数越多的模型一定越聪明、能力越强
你把调用模型时的 temperature(温度)从 0.2 调到 1.2,最可能观察到的变化是:
模型掌握的专业知识变多,事实性回答会明显更准确,也更少出现幻觉
模型的推理速度会显著变快,同样长度的回答响应更及时
上下文窗口会随之变大,可以一次输入更长的材料
输出更随机更多样,同一问题多次回答差异变大,更容易跑题或编造
关于「上下文窗口(context window)」,理解正确的是:
它等同于模型的知识库,窗口越大模型掌握的事实就越多
它是单次对话中模型能「看到」的 token 上限,超出部分不参与计算,窗口内各处也非同等受关注
它决定了模型拥有多少参数、需要多少显存和算力
只要把资料全部塞进上下文窗口,模型就一定能把其中每一条信息都准确利用起来,所以窗口越大效果就越好
模型一本正经地编造出不存在的文献、法条或数据。从机制上看,最根本的原因是:
模型被开发者设置了「欺骗模式」,在把握不足的问题上会主动编造内容,以维持回答的完整性和可信度,掩盖无知
训练数据里全部是假信息,所以它学到的每一条知识都是错的
用户的提问方式不够礼貌、强调不够,模型就敷衍了事
模型的目标是生成最合理的下一个 token,而不是检索并核对事实,缺依据时它也会给出流畅答案
你问模型「我们学校去年新上任的校长是谁」,它给了个名字,但官网显示并非此人。最可能的原因是:
模型在故意欺骗你,它在遇到自己不知道的具体人名时会主动编造一个听起来合理的答案,用来测试你是否会核对
该信息在训练数据截止时间之后,或根本不在训练数据里,模型只能生成一个「看起来像答案」的回答
你的提问存在语法错误或者信息不全,导致模型理解出现偏差,只能猜测一个可能的答案
网络连接失败,模型退回到本地缓存,用旧数据拼凑出了一个看起来完整的答案
你在提示里给了模型三个「输入→输出」的示例,它照着示例风格完成了第四个。这种现象称为:
微调(fine-tuning):你在对话中给出的示例已经改变了模型的参数,使它针对这类任务做了专门的更新和优化
知识蒸馏:把大模型的能力压缩进一个小模型,再根据你的示例重新组织输出内容
上下文学习(in-context learning):模型权重没有改变,只是依据提示中的示例调整了输出模式
强化学习:模型通过反复试错比较多个答案的得分,找到一条更好的回答策略并固化下来
同一个问题你连问两次,得到两个不同但都说得通的答案。最合理的解释是:
模型出现了不稳定故障,重启会话或者重新登录账号就能恢复到稳定状态
你的输入在传输过程中被篡改了,模型收到的是另一个问题
模型每次回答前都会把你这个问题连同之前的对话重新训练一遍,所以每次结论都会变化
生成过程带有随机采样,每次走的路径不同;也意味着单次答案不能当作稳定事实
你要模型做一份「课程学情分析报告」。下面哪种提法最可能拿到可用结果?
说明目标读者与用途、提供原始数据、指定输出结构与篇幅、给出示例和评判标准,并要求标注不确定处
「帮我做个学情分析」——一句话把需求说清楚就行,剩下的交给模型自己去理解和把握
把「请务必认真,这份材料对我非常重要,拜托了」这句话在开头、中间和结尾各重复三遍,以充分表达重视
把全部要求用大写字母写出来,并在句末加上多个感叹号,以体现强调和紧迫感
让模型直接答复杂计算题常出错,但要求它「先写出解题步骤再给答案」后正确率明显提升。这说明:
模型的算力被这些额外步骤激活了,本质上是它在这轮对话里临时变得更聪明、更会做计算
答案变长之后看起来更严谨,所以显得正确率更高
生成中间步骤为后续生成提供了可用依据,把一次跳跃式预测拆解成多个更容易的小预测
这只是心理作用,中间步骤对最终答案没有任何实质影响
你们学院有 300 份内部规章制度,希望助手的回答严格依据这些文件。最合适的做法是:
先切分文档并建立索引,提问时检索出相关片段再交给模型作答,并要求标注出处
把 300 份文件一次性全部塞进同一次对话的上下文里,让它自己去里面找出相关条款
直接用模型自己掌握的知识回答,反正它在训练时已经读过大量法规和制度文本
把温度调到最高,让它在这批文件上自由发挥
以下哪种需求最应该用微调(fine-tuning)而不是检索增强(RAG)?
让模型知道昨天刚发布的政策文件内容,并在回答时准确复述其中的条款编号
让模型输出稳定遵循某种固定的表达风格与格式规范要求,且内容不需要频繁更新
让模型的每一条回答都能标注出处,精确到具体的页码、条款号甚至段落位置和版本
让模型能够访问公司内网的实时库存数据库,并在每次回答时查询最新数据
WorkBuddy 这类 Agent 产品与「纯聊天机器人」最关键的区别是:
Agent 使用的是参数规模更大的模型,上下文更长、推理能力更强,因此能处理更复杂的任务并保证结果准确无误
Agent 不需要用户写提示词,它靠内置的自主意识和目标理解能力,自己决定要做什么、怎么做
Agent 的每一步输出都会经过多重校验和交叉比对,所以它交付的结果不会出现事实错误
Agent 会规划步骤并调用外部工具(读写文件、跑代码、检索接口),根据结果调整,交付可验收产物
模型给出一段带具体数据和文献引用的答案,你打算写进课程论文。最恰当的处理是:
它说得有条理、引用也齐全,可以直接写进论文引用,不需要再回到原始文献核对
换一个模型再问一遍,如果两个模型给出的答案一致,就可以放心写进论文里使用
把其中的数据与文献逐条回到原始来源核对,无法核实的删除或标注待查,关键结论做交叉验证
只要在论文末尾统一注明「部分内容由 AI 生成」,其中的具体数据和文献引用就无需再逐一核实
你要用模型分析一份含学生姓名、成绩、身体状况的表格并生成报告。最应该注意的是:
只要不公开发布、只在自己电脑上查看和使用,就不存在隐私泄露和合规方面的问题,可以直接上传
在提示词里明确要求模型承诺保密、不得外传,就能确保这些数据不会流出
先对敏感信息做脱敏或匿名化,确认服务的数据使用与留存政策,不把不该外发的数据交出去
把温度参数设为 0,可以让模型不再记住这些数据