TechFoco Logo
首页专题归档站点地图
© 2026 TechFoco. All rights reserved.
文章归档专题网站地图站点地图 XML爬虫规则
  1. 首页
  2. /
  3. 返回归档
  4. /
  5. 类似 ChatGPT 的系统如何工作

类似 ChatGPT 的系统如何工作

2023年12月06日•TechFoco 精选

类似 ChatGPT 的系统如何工作?

类似 ChatGPT 的系统如何工作?

| 原贴 我们试图在下图中解释它是如何工作的。

该过程可以分为两部分。

  1. 培训。

要训练 ChatGPT 模型,有两个阶段: - 预训练:在此阶段,我们在大量互联网数据上训练 GPT 模型(仅解码器变压器)。

目标是训练一个模型,该模型可以以类似于互联网数据的语法正确且语义有意义的方式预测给定句子的未来单词。

经过预训练阶段后,模型可以完成给定的句子,但无法回答问题。

  • 微调:此阶段分为 3 个步骤,将预训练模型转变为问答型 ChatGPT 模型: 1).收集训练数据(问题和答案),并根据这些数据微调预训练模型。

该模型将问题作为输入,并学习生成与训练数据类似的答案。

2).收集更多数据(问题、多个答案)并训练奖励模型,将这些答案从最相关到​​最不相关进行排序。

文章配图 1
文章配图 1

3).使用强化学习(PPO 优化)对模型进行微调,使模型的答案更加准确。

  1. 回答提示 🔹第 1 步:用户输入完整的问题“解释分类算法的工作原理”。

🔹步骤 2:问题被发送到内容审核组件。

该组件确保问题不违反安全准则并过滤不适当的问题。

🔹步骤 3-4:如果输入通过内容审核,则将其发送到 chatGPT 模型。

如果输入未通过内容审核,则直接进入模板响应生成。

🔹步骤 5-6:模型生成响应后,它会再次发送到内容审核组件。

这确保了生成的响应是安全的、无害的、公正的等。

🔹步骤 7:如果输入通过内容审核,则会向用户显示。

如果输入未通过内容审核,则会进入模板响应生成并向用户显示模板答案。

文章链接

  • 查看原文https://twitter.com/bytebytego/status/1731572801231020424

相关标签

ChatGPT预训练微调强化学习内容审核

继续阅读

较新文章

Rundown整理的AI工具库,汇集了众多优秀的AI工具,将其分类整理到不同的项目和应用场景中

较早文章

modihand:独立部署,训练属于你的文本大模型 只需要上传你的 json 数据集,然后在网页

相关文章

查看更多

MiMo-V2.6 报告披露代码质量分组评分方法

MiMo-V2.6 报告披露代码质量分组评分方法 代码智能体训练不再只区分测试通过与否,还比较补丁的必要性、实现精度、副作用和代码库风格,并把确认依赖泄漏答案的轨迹奖励归零。

2026年10月11日
代码智能体程序合成

Mellum2.1 开放权重,面向可自部署的编码智能体

Mellum2.1 开放权重,面向可自部署的编码智能体 12B MoE 模型每次激活约 2.5B 参数,以 Apache 2.0 许可发布,经过真实代码环境强化学习训练,可用于探索仓库、修改文件与检查改动。

2026年10月10日
开放权重MoE

ChatGPT Work 等亚太地区错误已恢复

ChatGPT Work 等亚太地区错误已恢复 官方状态页已将部分亚太用户遭遇的 ChatGPT Work、对话与 GPTs 错误标记为恢复。

2026年10月09日
ChatGPTOpenAI

Meetings 插件把协作会议衔接到后续任务 ChatGPT macOS 桌面端的 Meeti

Meetings 插件把协作会议衔接到后续任务 ChatGPT macOS 桌面端的 Meetings 已向 Pro 与 Business 开放 beta,可将会议摘要和下一步事项保存在 Space,再用于更新项目计划或起草跟进内容。

2026年10月07日
ChatGPTmacOS

Codex Auto-review 改为不消耗订阅额度 通过 ChatGPT 账户登录的用户现可

Codex Auto-review 改为不消耗订阅额度 通过 ChatGPT 账户登录的用户现可免费使用 Auto-review,由独立审查智能体评估跨越沙箱边界的操作,减少长任务中的人工批准中断。

2026年10月07日
CodexAuto-review

GPT-6 Astra 与 Sol 的订阅执行速度获得优化 订阅接入的 GPT-6 Astra

GPT-6 Astra 与 Sol 的订阅执行速度获得优化 订阅接入的 GPT-6 Astra 与 GPT-6.1 Sol 默认速度宣布提高约 50%,覆盖相关产品及通过 Sign in with ChatGPT 接入的合作工具,无需用户更改配置。

2026年10月06日
GPT-6订阅服务