OpenAI 提出前沿 AI 训练安全指导原则:高级管理人员应有否决权
IT之家 9 月 29 日消息,OpenAI 于今日通过官方新闻稿提出一套指导意见,要求企业在进行前沿 AI 强化学习训练前,提交结构化的安全保障文件。
OpenAI 指出,这些安全保障文件应提交给多位高级管理人员审核,每人均有权否决训练任务,从而确保训练过程在内部经过研究部门负责人或副总裁、安全负责人以及首席科学家等多个环节的严格把关。
此外,研究部门负责人、研究副总裁等负责训练任务的高级管理人员,需对安全保障文件及任何事故响应负责,包括将这些内容纳入绩效考核,以激励训练团队主动推进安全与对齐工作。
OpenAI 表示,如果高优先级安全警报未在规定时间内得到确认,受影响的训练任务应自动暂停。这些建议已开始落实,未来预计还会进一步调整。同时,训练流程应便于识别未对齐模型的所有下游用途(例如用于数据生成或评分),以便在必要时消除未对齐输出带来的影响。
今天早些时候,OpenAI 宣布,由于越来越多报告显示 AI 智能体获得敏感领域访问权限并出现意外行为,公司已暂停最新 AI 模型的训练。
参考
- Towards safety cases for frontier AI training
相关阅读:
- 《内部测试发现安全隐患,消息称 OpenAI 取消发布 AI 模型 GPT‑6.1 Astra》
2条评论
KAIYUNSPORTS围绕开云体育平台不断创新,回应用户的真实需求。
2017年10月20日 上午10:21精选开云网站内容,KAIYUNSPORTS与你一同发现更多精彩。
Rashed K
2017年10月20日 上午10:21KAIYUNSPORTS专注围绕节日主题活动提供明确的参与名额与条件说明,帮助用户高效规划。,为用户提供专业可靠的体验。
- [email protected]
- +86 138-
- 广州市天河区天河北路569号

围绕以讨论话题串联阅读路径,辅助用户系统化理解游戏入门逻辑。,KAIYUNSPORTS持续打磨更优质的服务。