据说内部被称为MAI-1的LLM预计最早将于本月首次亮相。MAI-1 的开发由前Google AI领导者Mustafa Suleyman负责,他最近担任AI初创公司Inflection的首席执行官,之后微软于今年3月以6.5 亿美元收购了这家公司的大部分员工和知识产权。尽管MAI-1可能建立在前Inflection员工带来的技术之上,但据报道认为,正如两位熟悉该项目的微软员工所证实的那样,它是一种全新LLM。
MAI-1拥有大约5000亿个参数,这将比微软之前的开源模型Phi-3要大得多,需要更多的算力支撑和投喂数据。该模型初步可定位为介于GPT-3和GPT-4之间,这样的配置在提供高响应精度的同时。其推理功率比OpenAI的旗舰LLM可低得多,且完全不同于Meta和 Mistral的700亿参数等较小模型。
微软可能会使用来自Inflection AI的训练数据和之外的其他内容资产来为MAI-1提供训练源,据说该模型的训练数据集还包括包括GPT-4生成的文本和网页内容。目前微软正在使用配备Nvidia算力卡的“大型服务器集群”来进行开发过程。
尽管目前尚不清楚MAI-1的具体用途,如果该模型表现前景良好,微软可能会在5月16日召开的 Build开发者大会上推出MAI-1。显而易见的是,最理想的用途取决于首次登台时的性能。
2024-05-08
2023-11-13
2023-10-25
2024-09-05
系统资讯推荐
win10系统推荐
系统教程推荐