最近AI领域发生了一件重磅事件，引发广泛关注。
北京时间6月20日，OpenAI联合创始人、前首席科学家伊利亚（Ilya Sutskever）在社交平台上发文宣布，将创办一家“安全超级智能公司”（Safe Superintelligence Inc.，简称SSI）。
“SSI是我们的使命、我们的名字、我们的整个产品路线图，因为它是我们唯一的焦点。我们的团队、投资者和商业模式都是以实现SSI为目标。”伊利亚、科技企业家和投资者Daniel Gross、OpenAI前科学家Daniel Levy在该公司官网发表的联合署名文章中称，“构建安全的超级智能，是我们这个时代最重要的技术问题。我们计划尽快提升能力，同时确保我们的安全始终处于领先地位。”
伊利亚透露，该公司已经启动了世界上第一个直接的安全的超级智能实验室，只有一个目标和一个产品：一个安全的超级智能。但目前，SSI并未公布公司的股东、科研团队和盈利模式。
实际上，伊利亚离开OpenAI，很大程度上就是因为与OpenAI CEO奥尔特曼（Sam Altman）为核心的管理层存在分歧，尤其是在如何驾驭超级AI、AGI（通用人工智能）安全发展等问题上存在相反的观点。
其中，奥尔特曼和OpenAI总裁Greg Brockman倾向于加速商业化，以获得更多资金来支持AI模型的算力需求，力求快速增强AI的力量；而伊利亚等人则希望AI更安全。
去年11月，双方矛盾激化，OpenAI上演“宫斗”大戏，结果奥尔特曼和Greg Brockman在短暂离职后重归OpenAI，原董事会中的多位董事离开，伊利亚则在今年5月宣布离任。
对此，国内AI安全公司瑞莱智慧（RealAI）CEO田天对钛媒体AGI等表示，奥尔特曼和伊利亚之间的分歧在于对AI安全的“路线之争”，伊利亚的新公司就是为了 AI 安全目标而设立的。
田天指出，包括伊利亚、图灵奖得主Geoffrey Hinton等人认为，AI安全问题现在已经到了“非常迫切”去解决的程度。如果现在不去做，很有可能就会错过这个机会，未来再想亡羊补牢是“没有可能性”的。
“大模型领域也是一样。虽然我们对于大模型预期非常高，认为它在很多领域都能去应用，但其实现在，真正在严肃场景下的大模型应用典型案例还是非常少的，主要问题在于 AI 安全上。如果不解决安全可控问题，对于一些严肃场景，是没有人敢去信任AI，没有人敢去用它（AI）。只有说解决安全、可信问题，AI才有可能去落地和应用。”田天表示，如果一些商业化公司对于安全问题不够重视、并毫无边界快速往前跑的话，可能会造成一系列安全危害，甚至可能对于整个全人类有一些安全风险和影响。
早在聊天机器人ChatGPT发布之前，伊利亚便提到AGI对人类社会可能的威胁。他把AGI与人类的关系，类比人类与动物的关系，称“人类喜欢许多动物，但当人类要造一条高速路时，是不会向动物征求意见的，因为高速路对人类很重要。人类和通用人工智能的关系也将会这样，通用人工智能完全按照自己的意愿行事。”
AGI，即人工智能已具备和人类同等甚至超越人类的智能，简单而言就是能说会写，具备计算、推理、分析、预测、完成任务等各类人类行为。这样的AI曾经遥远，但在OpenAI推出第四代模型GPT-4且正训练第五代模型GPT-5时，AGI看似近在咫尺。
今年以来，AI 安全问题持续引发关注。
今年1月，美国一位流行歌手被人用AI恶意生成虚假照片，在社交媒体迅速传播，给歌手本人造成困扰；2月，香港一家公司遭遇“AI变脸”诈骗，损失高达2亿元港币，据悉，这家公司一名员工在视频会议中被首席财务官要求转账。然而，会议中的这位“领导”和其他员工，实际都是深度伪造的AI影像。诈骗者通过公开渠道获取的资料，合成了首席财务官的形象和声音，并制作出多人参与视频会议的虚假场景。
整体来看，为了实现AGI目标，当前，AI系统在设计上主要面临五大安全挑战：
-
软硬件的安全：在软件及硬件层面，包括应用、模型、平台和芯片，编码都可能存在漏洞或后门；攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上，攻击者同样可能在模型中植入后门并实施高级攻击；由于AI模型的不可解释性，在模型中植入的恶意后门难以被检测。