智东西6月5日音信，OpenAI安全疑团又有新瓜了。据AI行业媒体Transformer当天报谈，前超等对皆部门成员奥波德·阿申布伦纳（Leopold Aschenbrenner）泄漏了他被开除的真的原因——他给几位董事会成员共享了一份OpenAI安全备忘录，成果招致OpenAI照应层的不悦。
本年4月，阿申布伦纳被OpenAI以泄露公司深邃为由解雇。他说OpenAI其时很澄莹地告诉他，开除他的主要原因就是这份备忘录。之后阿申布伦纳上线了一个网站，用165页PDF文献汇总了他在OpenAI就业期间所了解的信息，还创办了一家专注于通用东谈主工智能（AGI）的投资公司。
地址：https://situational-awareness.ai/
感到“对抗”的不仅仅阿申布伦纳。昨天，13位来自OpenAI和Google DeepMind的前职工与现职工齐集发布一封公开信，密告OpenAI的症结和守密文化，强调前沿AI时候的严峻风险，抒发了对AI公司在设备和执行AI时候时利益优先、打压异见者和逃匿监管等万般行径的担忧。
这封公开信还赢得了两位2018年图灵奖得主约书亚·本吉奥（Yoshua Bengio）、乔弗里·辛顿（Geoffrey Hinton）的签字复旧。加州大学伯克利分校伯克利分校计较机科学熟悉、东谈主类兼容东谈主工智能中心主任斯图亚特·拉塞尔（Stuart Russell）也在公开信末尾签字。
▲OpenAI和Google DeepMind前职工与现职工公开信原文部分截图
OpenAI当先是一个非渔利研究实验室，在官网上OpenAI将公司的就业界说为“确保通用东谈主工智能（AGI）造福东谈主类”。但签署公开信的OpenAI前职工们称，OpenAI当今的要点是利润和增长。其中一位签署东谈主丹尼尔·科科塔约洛（Daniel Kokotajlo）说谈：“公司对构建AGI感到相称振奋，正在与其它公司进行症结的竞争，死力成为第一家终了AGI的公司。”
一、公开信号令OpenAI优化里面监督渠谈，但OpenAI合计我方在安全上作念得很好
签署这封公开信的各大AI公司的职工们号令，AI公司不应连接缔结或履行任何不漫骂条件、提供匿名监督的设施、复旧公开品评的文化，并保证不会对品评者进行任何波折。
以下是对此封公开信的竣工编译：
教化先进AI的职权
咱们是各大前沿AI公司的现任和前任职工，咱们敬佩AI时候有后劲为东谈主类带来前所未有的克己。
咱们也表露这些时候带来的严重风险。这些风险包括加重现存的不对等、主宰和误导信息、以及失控的自主AI系统可能导致东谈主类毕命。AI公司本人一经承认了这些风险，政府和其他AI群众也有访佛的意见。
咱们但愿这些风险能够在科学界、策略制定者和公众的充分指导下得到有用的缓解。关联词，AI公司有热烈的财务动机幸免有用的监督，咱们不敬佩公司为我方量身定制的治理结构能够编削这小数。
AI公司领有普遍对于其系统才略和局限性的非公开信息，这些信息触及系统的保护措施以及系统的多样风险水平。关联词，他们当今只需要向政府共享部分信息，并不职守着向政府陈说的热烈义务，更莫得义务向社会公众共享任何信息。咱们不合计他们不错透彻自觉地共享这些信息。
只消这些公司莫得有用的政府监督，那现任和前任职工就是少数能够让公司负起责任的公世东谈主士之一。关联词，平庸的守密左券约束了咱们抒发担忧，除非是向那些可能未能搞定这些问题的公司讲述。普通的举报者保护不及以打法此类问题，因为它们主要关注坐法举止，而咱们眷注的好多风险尚未受到监管。讨论到行业历史上一些案例中的多样波折举止，咱们中的一些东谈主合理地挂牵会受到多样格式的波折。咱们并不是第一个遇到或批驳这些问题的东谈主。
因此，咱们号令先进的AI公司承诺以下原则：
公司不会缔结或履行任何防碍因风险干系问题而对公司进行漫骂或品评的左券，也不和会过防碍任何既得经济利益来波折风险干系的品评；公司将创建一个可考据的匿绅士程，使现任和前任职工能够向公司的董事会、监管机构以及具有干系专科学问的合乎寂寞组织提议风险干系的担忧；公司将复旧公开品评的文化，并允许现任和前任职工向公众、公司的董事会、监管机构或具有干系专科学问的合乎寂寞组织提议他们对时候风险的干系担忧，只消合乎保护买卖深邃和其他学问产职权益即可；公司不会波折那些在其他经由失败后，公开共享风险干系深邃信息的现任和前任职工。咱们知谈，任何讲述风险干系担忧的努力都应幸免无谓要塞泄露深邃信息。因此，一朝存在一个实足安全的匿名提议担忧的经由，现任和前任职工应起初通过此类经由提议担忧。关联词，只消此类经由不存在，现任和前任职工应保留向公众讲述其担忧的解放。
签署东谈主：
雅各布·希尔顿（Jacob Hilton），前OpenAI职工丹尼尔·科科塔约洛（Daniel Kokotajlo），前OpenAI职工拉玛纳·库马尔（Ramana Kumar），前Google DeepMind职工尼尔·奈达（Neel Nanda），现Google DeepMind职工，前Anthropic职工威廉·桑德斯（William Saunders），前OpenAI职工卡罗尔·怀恩莱特（Carroll Wainwright），前OpenAI职工丹尼尔·皆格勒（Daniel Ziegler），前OpenAI职工匿名，现OpenAI职工匿名，现OpenAI职工匿名，现OpenAI职工匿名，现OpenAI职工匿名，前OpenAI职工匿名，前OpenAI职工
复旧者：约书亚·本吉奥（Yoshua Bengio）乔弗里·辛顿（Geoffrey Hinton）斯图亚特·罗素（Stuart Russell）
2024年6月4日
OpenAI驳斥了本次公开信事件中对OpenAI里面AI安全问题的指控，他们向外媒Android Authority作念出如下恢复：
“咱们公司往时便一直提供最开阔和最安全的AI系统。咱们对此感到高慢，并敬佩咱们能讹诈科学的方法来打法风险。咱们容许，鉴于这项时候的清贫性，进行严格的辩白是至关清贫的，咱们将连接与政府、社会和世界各地的其他群体进行讲和。这亦然为什么咱们为职工提供了抒发担忧的阶梯，包括一个匿名的诚信热线以及由咱们董事会成员和公司安全部门联接组成的安全与保险委员会。”
二、安全委员会被架空，里面监管几近失效
在此封公开信中，来自各家设备AI系统的企业的现任和前任职工们号令，在OpenAI和其他AI公司罢手使用不漫骂和守密左券。他们写谈，“平庸的守密左券约束咱们抒发我方的担忧”。
他们还号令AI公司“复旧公开品评的文化”，并修复一个讲述经由，让职工匿名提议与安全干系的担忧。
劳伦斯·莱西格（Lawrence Lessig）是一位著明的法律学者，同期担任签署本次公开信的团体的公益讼师。他在禁受采访时称，传统的举报东谈主保护适用于坐法举止的举报，但鉴于AI时候的清贫性，AI公司有必要为公司职工创造洞开解放的预见空间，让职工抒发对时候风险和潜在危害的意见。
莱西格合计，公司职工是一齐清贫的安全防地，若是他们弗成解放地抒发不雅点并不受波折，那么这条防地就会失效。
丹尼尔·科科塔约洛（Daniel Kokotajlo）是联名签署此封公开信的OpenAI前职工之一。他在2022年加入OpenAI，所任职务是公司的治理研究员。本年4月份他讲求从OpenAI辞职，原因是他对公司“失去了信心，合计OpenAI无法在AI系统终了接近东谈主类水平阐扬时负责任地行事”。
▲OpenAI前职工丹尼尔·科科塔约洛（Daniel Kokotajlo）
在OpenAI，科科塔约洛看到，尽管公司一经制定了安全干系的划定轨制，但这些划定轨制时时处于被架空的景象。举例，OpenAI与微软共同修复了部署安全委员会，此委员会的主要方针是为了在讲求发布模子之前评估新模子中可能包含的万般风险，但这一委员会似乎并莫得起到应有的作用。
科科塔约洛称，2022年，微软启动在印度深邃测试新版必应（Bing）搜索引擎，部分OpenAI职工合计这一版块的搜索引擎使用了其时还未发布的GPT-4模子。OpenAI和微软的齐集部署安全委员会对这一测试并不知情，他们是在收到一系列来私用户对必应搜索引擎在测试期间特地举止的讲述后，才知谈这次测试的存在。而这并莫得放慢微软推出新版必应搜索引擎的圭表。
微软的发言东谈主弗兰克·肖（Frank Shaw）否定了这些指控。他说在印度的测试中莫得使用任何OpenAI的模子，包括GPT-4。微软初次发布基于GPT-4模子的产物是在2023岁首，何况赢得了部署安全委员会的批准。
科科塔约洛称，他对OpenAI的自我监管捏怀疑作风。OpenAI接收了万般措施幸免监督，这也包括来自前职工的品评和曝光。
在离开OpenAI时，公司职工需要签署一份极为复杂的辞职文献，其中就包含不漫骂条件和守密左券。若不签署，OpenAI就将收回辞职职工的既得股权，而这些股权占据了OpenAI职工薪酬决议的绝大部分。
但仍有部分职工覆没签署这些左券，科科塔约洛就是其中一员。他称我方的既得股权价值纯粹为170万好意思元，这组成了他净钞票的绝大部分，而他一经准备好烧毁这些财产。
在外媒Vox报谈了这些左券后，OpenAI赶紧作出恢复，称公司从未从前职工处收回过既得股权，也不会这样作念。OpenAI首席履行官萨姆·阿尔特曼（Sam Altman）称我方感到特出苍凉，因为他不知谈这些左券的存在。但Vox泄漏的干系文献上却有阿尔特曼本东谈主的签名。
▲有阿尔特曼本东谈主签名的文献
三、安全问题遗臭万年，曾径直开除抒发担忧的职工
OpenAI一经不是第一次面对安全干系的问题了。在OpenAI的GPT-4o模子发布不久后，OpenAI原首席科学家，同期亦然复旧除名阿尔特曼的4位前董事会成员之一的伊尔亚·苏茨克维（Ilya Sutskever）讲求官宣辞职。他曾在《卫报》拍摄的记录片中，对开阔的AI系统的潜在风险发出警报。
伊尔亚辞职不久后，OpenAI超等对皆团队齐集负责东谈主杨·莱克（Jan Leike）也在推特上告示辞职。他称OpenAI联接层对于公司中枢优先事项的意见一直分袂，超等对皆团队往时几个月一直在顶风飞动，在擢升模子安全性的谈路上受到公司里面的重重防碍。莱克在官宣辞职的一系列推文中称，“（OpenAI的）安全文化和安全经由一经让位给闪亮的产物”。
▲莱克在X平台上的推文
此外，根据AI行业媒体Transformer当天报谈，本年早些时期因为“泄密”而被解雇的OpenAI安全研究员利奥波德·阿申布伦纳（Leopold Aschenbrenner）骨子上是因为向董事会提议安全问题而被解雇的，他也否定我所在董事会提供备忘录包含任何明锐信息。
▲OpenAI前安全研究员利奥波德·阿申布伦纳（Leopold Aschenbrenner）
阿申布伦纳在就业时写了一份对于OpenAI安全性的里面备忘录，合计OpenAI的模子权重和算法关节深邃极易遭到窃取。
在他完成这份备忘录的几周之后，OpenAI遇到了一场要紧安全事件，这促使他与几位OpenAI董事会成员共享这份备忘录。关联词，他说公司联接层对他与公司董事会共享备忘录的举止极为不悦，因为董事会在安全方面给联接层带来了贫苦。
阿申布伦纳在上述事件几个月后被解雇，而解雇时OpenAI澄莹地告诉他，这份安全备忘录就是他被解雇的主要原因。
结语：安全等问题平时暴雷，OpenAI深陷公论风云
本次公开信事件仅仅OpenAI近期面对的诸多危险中的一个。OpenAI当今仍未透彻从旧年的那场“未遂政变”中还原过来，OpenAI近期的东谈主事涟漪就是最佳的把柄。
OpenAI还面对着与内容创作家的法律斗争，他们指控OpenAI窃取版权作品来磨砺其模子。
好莱坞著明演员斯嘉丽·约翰逊（Scarlett Johansson）更是指控OpenAI在未经许可的情况下使用了她的声息。根据好意思国寰宇群众播送电台（NPR）的最新报谈，来自好意思国亚利桑那州州立大学的声息辨认群众合计，斯嘉丽的声息比98%的女演员都要更接近OpenAI的Sky语音。
OpenAI的前董事会成员海伦·托纳（Helen Toner）也在近期指控OpenAI首席履行官阿尔特曼在公司里面的万般失当举止，并质疑阿尔特曼能否率领公司安全地终了AGI的操办。
简略，正如OpenAI前职工科科塔约洛所说，咱们需要的是某种民主问责且透明的治理结构，来负责照应AI时候的发展，而不是唯有几家不同的私营公司互相竞争，并将一切都列为深邃。
开首：《纽约时报》，Transformer