OpenAI安全负责人辞职,警告称该公司安全文化“已崩溃”
与其他AI业内人士一道,大卫·罗宾逊(David Robinson)敦促AI业界更加谨慎地对待快速发展的技术
大卫·罗宾逊(David Robinson)戴着眼镜,身穿深色西装,在蓝紫色背景前挥手致意 ...
大卫·罗宾逊(David Robinson)曾领导OpenAI的安全透明度工作。如今,他却公开反对这家公司。 (路透社)
据《商业内幕》周五独家报道,OpenAI 安全系统团队的领导者大卫·罗宾逊(David Robinson)已从该公司辞职,并随后发表了一篇措辞激烈的文章,称这家人工智能巨头的“毫无阻碍的乐观主义”为这项强大的技术创造了一个危险的环境。
报道说,罗宾逊上周离职后警告说,OpenAI的文化已经崩溃,这家前沿AI公司在开发人工智能这项技术时“远远不够谨慎”。罗宾逊的离职标志着该公司安全部门又一次动荡。
罗宾逊曾致力于提升公司安全透明度,包括协助开发和分享系统卡,这些系统卡提供有关公司模型的信息。
罗宾逊在OpenAI负责撰写 ChatGPT 开发者产品发布安全报告,他在一篇题为“我离开 OpenAI 是因为它的文化已经崩溃”的文章中解释了他的辞职原因。
罗宾逊在《大西洋月刊》撰文写道:尖端人工智能公司需要进行文化改革,而像“一群”OpenAI代理(无需人类监督即可自主运行的人工智能程序)攻击人工智能初创公司Hugging Face这样的事件“考虑到人们工作的速度和灵活性,是该行业的典型特征”。
罗宾逊写道:“我同意其他一些近期离职员工的观点,即开发这项技术的公司远远不够谨慎。但我认为,我们需要深入探讨的不仅仅是具体的规则或新法律,我们还需要谈谈企业文化。”
他谈到 OpenAI 的发展速度时写道:“OpenAI 急于推出下一个产品,却未能达到我认为必要的谨慎程度。”
在“拥抱脸”(Hugging Face)事件以及披露已通知100多家机构有关恶意代理活动后,OpenAI近几周来表现出谨慎态度。本周,该公司宣布取消发布下一代人工智能模型,此前研究人员在内部测试中提出了安全隐患。OpenAI还暂停了其最先进模型的训练。
曾在 OpenAI 工作,并在加入人工智能安全研究公司 Resolution 之前担任英国政府人工智能安全研究所首席科学家的杰弗里·欧文 (Geoffrey Irving) 也于周六就人工智能发出了警告。
他在《时代》杂志撰文称:“最近关于人工智能潜在破坏力的警告低估了形势的严重性。我认为,由于比人类更智能的人工智能系统的发展,我们有大约50%的概率会灭绝,而我们在未来两到十年内的行动将决定最终结果。”
这些警告是在OpenAI的竞争对手Anthropic公司的研究员雅各布·考克森(Jacob Coxon)辞职后出现的。考克森上个月离开了Claude聊天机器人的开发团队。他表示,他认为人工智能“可能会在本十年末毁灭我们所有人”。一位Anthropic的员工也支持他的观点,警告称人工智能在未来十年内毁灭人类的可能性超过10%。然而,批评人士指出,这些警告缺乏科学依据,因为它们无法被验证或证伪。
罗宾逊表示,硅谷缺乏“如何处理危险技术”和“关爱他人”的意识。他警告说,OpenAI 对解决问题抱有“盲目乐观”的态度,这种内部文化意味着随着系统能力的增强,安全事故只会越来越多。
罗宾逊写道:“想象一下,一些‘流氓’代理像黑客团队一样工作(例如,劫持医院计算机系统勒索赎金),但他们永远不需要睡觉。”
罗宾逊呼吁进行两项安全变革:一是人工智能公司应依靠核能和航空等其他领域的安全专业知识;二是开发“新科学”,以确保未来强大的系统在自主运行时能够受到控制。
|