Phi-3 Mini 模型发布不到两周，微软又传出了自研千亿参数级别模型的消息。
自向 OpenAI 投资超 100 亿美元以换取重用其人工智能模型的权利以来，微软首次开始在内部自研全新且足够大的人工智能模型，或能与来自谷歌、Anthropic 和 OpenAI 的最先进模型相竞争。
这个新模型在内部被称为 MAI-1，由前谷歌人工智能领导者、 AI 初创公司 Inflection 的 CEO 穆斯塔法·苏莱曼 (Mustafa Suleyman) 负责监督。知情人士称，MAI-1 的参数规模将远远大于 Phi-3 等任何微软之前训练过的较小的开源模型。但这意味着，它将需要更多的计算能力和训练数据，因此成本会更高。
同时，微软此举表明，其现在正在人工智能领域追求“双重轨道”，目标是开发既可以廉价地构建到应用程序中又可以在移动设备上运行的“小语言模型”，以及更大、最先进的人工智能模型。苹果目前似乎也正在探索类似的路径，此前同样也发布了八款针对设备使用的小型 AI 语言模型。
5000 亿参数级别
最早或于本月亮相
据介绍，MAI-1 将有大约 5000 亿个参数或设置，可以调整这些参数或设置以确定模型在训练期间学习的内容。相比之下，OpenAI 的 GPT-4 有超过 1 万亿个参数，而 Meta 和 Mistral 等公司发布的小型开源模型有 700 亿个参数。
这表明，MAI-1 可以定位为 GPT-3 和 GPT-4 之间级别的一种模型，该模型将能够提供远远高于 Llama 和 Mistral 等开源模型、但或低于 OpenAI 旗舰版 LLM 的响应精度。
为了训练该模型，微软一直在分配大量配备 Nvidia GPU 的服务器，并编译各种来源的训练数据，包括 OpenAI 的 GPT-4 生成的文本和公共互联网数据，还可能会使用来自 Inflection 的训练数据和某些其他资产来支持 MAI-1。
目前，MAI-1 的确切用途尚未确定（即使在微软内部），其最理想的用途将取决于其性能。如果该模型确实具有 5000 亿个参数，那么在消费类设备上运行就太复杂了。这意味着，微软很可能会在其数据中心部署 MAI-1，在这里大语言模型可以集成到 Bing 和 Azure 等服务中。
微软可能最早在本月晚些时候的 Build 开发者大会上，根据未来几周取得的进展亮相 MAI-1。
MAI-1 的研发是基于 Inflection？
“尽管 MAI-1 是一种全新的、与 Inflection 之前发布的 Pi 分开的大型语言模型 ，但其可能建立在前 Inflection 员工带来的技术之上。”据两名了解情况的微软员工称。
从 OpenAI 官网的一份声明来看，Inflection 曾是 OpenAI 的竞争对手，但它现在把业务重点从聊天机器人 Pi 转向了向企业销售人工智能软件。曾担任过各种技术职务的肖恩·怀特 (Sean White) 已加入该公司，担任新任 CEO。
今年 3 月，微软以 6.5 亿美元收购了这家初创公司的大部分员工和知识产权，并聘请苏莱曼来领导一个新的消费者人工智能部门。该部门将面向消费者的产品（包括微软的 Copilot、Bing、Edge 和 GenAI）归入一个名为 Microsoft AI 的团队，而苏莱曼直接向 Microsoft 首席执行官萨蒂亚·纳德拉（Satya Nadella）汇报工作。
新部门标志着 Microsoft 的重大组织转变，其网络服务总裁 Mikhail Parakhin 将与他的整个团队一起向苏莱曼汇报工作。这也是微软利用生成人工智能热潮的最新举措之一。
纳德拉在一份声明中说：“我认识穆斯塔法已经好几年了，我非常钦佩他作为 DeepMind 和 Inflection 的创始人，以及一个有远见的产品制造商和追求大胆使命的开拓团队建设者。”
DeepMind 于 2010 年在英国成立，2014 年被谷歌以 5 亿美元收购，苏莱曼是该公司的三位创始人之一。在 DeepMind 就职时，苏莱曼曾因员工抱怨其咄咄逼人又过于激进的管理风格引发争议，于 2019 年被迫离开 DeepMind。之后谈到当时的员工投诉时，苏莱曼回应说：“我真的搞砸了。我要求很高，而且相当无情。我设定了一些相当不合理的期望，导致一些人的工作环境非常恶劣。我对此感到非常遗憾。”
几个月后，他转到谷歌总部，负责领导人工智能产品管理和政策。2022 年，他从谷歌离职，加入了硅谷风险投资公司 Greylock，并于当年晚些时候推出了 Inflection。
据悉，微软还将聘用 Inflection 的大部分员工，Inflection 的联合创始人兼首席科学家 Karén Simonyan 也将担任其 AI 团队的首席科学家。虽然微软没有明确调动的员工人数，但表示其中包括人工智能工程师、研究人员和大型语言模型构建者，他们设计并共同完成了“过去五年中为推动人工智能发展做出的许多最重要贡献”。
Inflection 的第三位联合创始人、LinkedIn 创始人兼执行主席 Reid Hoffman 将继续留在 Inflection 的董事会。
去年 6 月，Inflection 还完成 13 亿美元的一轮融资，由微软、英伟达和三位亿万富翁（Reid Hoffman、Bill Gates 和 Eric Schmidt）牵头投资。当时，微软首席技术官 Kevin Scott 还表示，“像 Inflection 这样雄心勃勃的人工智能公司，正在凭借易于使用并展示人工智能多种可能性的变革性产品引领行业发展。”