OPENAI宣布招募多种学科的专家加盟红队 帮助开发团队提升AI安全性
2023-9-20 17:47:6 Author: www.landiannews.com(查看原文) 阅读量:7 收藏

OPENAI 今天宣布面向全球广泛招募各种学科的专家,这些专家加盟 OPENAI 红队帮助开发团队在 AI 模型训练时提高安全性。

在安全领域,红队一般指的是发起攻击的一方,包括寻找安全漏洞或利用其他手段进行攻击;蓝队则是防守方,要抵御红队发起的攻击。

在 OPENAI 这个案例中开发团队就是蓝队,专家组就是红队,专家组要利用自己的专业知识对 AI 模型进行攻击,例如诱导 AI 模型进行一些违规行为。

OPENAI宣布招募多种学科的专家加盟红队 帮助开发团队提升AI安全性

需要提醒的是红队专家都不是全职,按照 OPENAI 的说法,在 AI 模型开发和训练的不同阶段,公司会评估并选择一部分红队专家参与进来,并非每个成员都会参与到新模型或产品中,有时候一年里红队专家可能只需要花费 5~10 小时。

至于报酬,OPENAI 会给参与实际的红队专家发放报酬,OPENAI 也不会限制专家成员在参与之后发表学术研究成果,但参与时成员需要签署保密协议,有的保密协议是长期的,那么就不能发布研究成果了、不能向任何人透露这些训练内容。

OPENAI 对诸多领域感兴趣,包括但不限于以下领域:

认知科学、化学、生物学、物理、计算机科学、隐写术、政治学、心理学、劝说、经济学、人类学、社会学、人机交互、公平与偏见、结盟、教育、卫生保健、法律、儿童安全、网络安全、金融、错误 / 虚假信息、政治用途、隐私、生物识别技术、语言和语言学。

可以看到 OPENAI 感兴趣的不仅是一些学科,还包括一些非学科但在人类世界中确实存在且需要的东西,毕竟 AI 模型面向所有人,这么多人可能有无数种想法,所以各个领域都需要进行红蓝对抗。

更多信息请访问:https://openai.com/blog/red-teaming-network

版权声明:感谢您的阅读,除非文中已注明来源网站名称或链接,否则均为蓝点网原创内容。转载时请务必注明:来源于蓝点网、标注作者及本文完整链接,谢谢理解。


文章来源: https://www.landiannews.com/archives/100332.html
如有侵权请联系:admin#unsafe.sh