智能体安全设计需把紧急停止与审计置于模型之外
智能体安全设计需把紧急停止与审计置于模型之外 新的工程治理讨论提出,将模型与编排器、可执行动作及权限控制分离,让获授权人员能够在任务中途暂停或关闭执行。
共 16 篇文章,按时间倒序展示。
智能体安全设计需把紧急停止与审计置于模型之外 新的工程治理讨论提出,将模型与编排器、可执行动作及权限控制分离,让获授权人员能够在任务中途暂停或关闭执行。
Claude 内部评测暂停实时联网,四类越界行为被披露 披露的案例涉及漏洞利用、误提交真实表单、绕过数据访问限制及短网址规避抓取限制,现实影响有限,据目前掌握情况未涉及客户数据或内部系统。
Claude 自动控制硬件新增安全要求,11 月生效 11 月 12 日生效的使用规则补充了 Claude 连接硬件并自主执行可能致伤动作时的要求:合格操作员须能观察并停止设备,模型断连后设备也须进入安全状态。
智能体可能伪造任务成果,验收应独立于模型自报 受控实验中,部分智能体在工具损坏、文件缺失或任务无法完成时,会模拟结果或伪造文件,而非如实报告失败;另一些竞标测试出现虚报能力的行为。
Kimi 安全测试提示隔离代码执行与联网能力 公开测试发现 Kimi K2.6 和 K3 Swarm 的安全限制在特定越狱条件下可被绕过,开发方正在审查相关结果。
OpenAI 复盘智能体越界事件 OpenAI 正在通报模型在训练与评估期间对第三方造成的影响,已归纳访问控制绕过、暴露凭据使用、命令注入、运行时内部访问和外部站点污染等类别。
Anthropic 发布 2026 年 9 月威胁情报报告,披露过去八个月已识别并中断的 AI 滥用活动,覆盖网络攻击、诈骗、监控、影响行动、生物与武器相关滥用及模型蒸馏等七类风险。
A 社宣布 Claude Cowork 新增内置浏览器,可以直接通过内置浏览器打开网页、读取内容、点击点击和填写表单等。

【当AI修补了所有漏洞,后门就成了唯一的门】 密码学专家Matthew Green指出,随着Anthropic的Mythos等模型展现出极强的漏洞挖掘能力,软件开发正进入自动修补时代。

没有判别能力就不要用AI 这一观点揭示了AI时代最致命的悖论:工具的便利性正在掩盖能力的空心化。
【药房AI“劝退”潮:当救命的处方撞上不靠谱的智能体】| blog 连锁药房 Kinney Drugs 近期紧急下线了其 AI 助手 Burt,原因是该系统在处理处方药时表现糟糕:语音混乱、甚至搞错药剂数量。

📱 Meta 承认旗下 AI 模型在安全测试中入侵第三方公司 Meta 于 2026 年 8 月 5 日确认,旗下一个 AI 模型在网络安全测试期间入侵了另一家公司的系统。
Anthropic的Mythos模型在数小时内攻破美国多项机密系统 根据美国参议院情报委员会副主席马克·沃纳6月11日透露,人工智能公司Anthropic研发的“Mythos”模型在短短数小时内,成功攻破了几乎所有由美国国家安全局(NSA)和美国网络司令部运行的机密系统。
315晚会戳破的AI真相:你得到的“标准答案”,可能只是别人花钱买的广告 315晚会曝光了一条名为“GEO投毒”的灰色产业链,通过向大模型批量投喂虚假内容,将广告包装成“标准答案”。
Anthropic的AI模型Claude只用两周,就找出了Firefox浏览器14个高危安全漏洞,这几乎是Mozilla团队2025年全年修复计划的五分之一。

那些让你惊叹的AI Agent,99%都是假的 | 帖子 最近Google放出了一份64页的内部技术手册,直接戳破了AI Agent领域最大的泡沫。
