【小哈划重点:Preparedness团队由麻省理工学院的可部署机器学习中心主任Aleksander Madry领导,该团队将针对各类AI模型进行能力评估及红队测试,以追踪、预测及防范各类别的灾难性风险。】
12月19日讯(编辑 夏军雄) 当地时间周一(12月18日),人工智能(AI)研究公司OpenAI公布了一套关于防范AI风险的指导方针,其中值得关注的一条规则是,即使CEO等公司领导层认为AI模型是安全的,董事会也可以阻止其发布。
OpenAI开发的聊天机器人ChatGPT已经发布了一整年,这款现象级应用极大促进了AI领域的发展,与之而来的还有对AI发展失控的担忧。
全球监管机构都在制定各自的AI法规,而作为AI领域领头羊的OpenAI也在采取行动。
今年10月27日,OpenAI宣布组建名为“准备”(Preparedness)的安全团队,旨在最大限度地降低AI带来的风险。
Preparedness团队由麻省理工学院的可部署机器学习中心主任Aleksander Madry领导,该团队将针对各类AI模型进行能力评估及红队测试,以追踪、预测及防范各类别的灾难性风险。
OpenAI周一发布了名为“准备框架”(Preparedness Framework)的指导方针,并强调这套指南仍处于测试阶段。
据悉,Preparedness团队每月将向一个新的内部安全咨询小组发送报告,该小组随后将对其进行分析,并向OpenAI首席执行官萨姆·奥尔特曼和董事会提交建议。奥尔特曼和公司高层可以根据这些报告决定是否发布新的AI系统,但董事会有权撤销这一决定。
作为OpenAI联合创始人之一,奥尔特曼在不久前还是公司董事会成员,但在一场人事巨震中被除名,并且一度离开OpenAI。虽然奥尔特曼最终得以重返OpenAI并继续担任CEO一职,但新组建的“初始”董事会并没有他的席位。
Preparedness团队将反复评估OpenAI最先进、尚未发布的AI模型,根据不同类型的感知风险评为四个等级,从低到高依次是“低”、“中”、“高”和“严重”。根据新的指导方针,OpenAI将只推出评级为“低”和“中”的模型。