Meta发布开源大模型Llama 4,首次采用“混合专家”架构
财联社 4 月 6 日讯(编辑 牛占林)当地时间周六 ( 4 月 5 日 ) ,美国科技巨头 Meta 推出了其最强大的开源人工智能 ( AI ) 模型 Llama 4,Llama 4 目前有两个的版本,名为 Scout 和 Maverick。
Meta 表示,Llama 4 是一个多模态大模型,它能够处理和整合各种类型的数据,包括文本、视频、图像和音频,并且可以在这些格式之间转换内容。
Llama 4 系列首次采用了混合专家 ( MoE ) 架构的模型,这种架构在训练和回答用户查询时的效率更高,可以将模型划分为多个专注于特定任务的"专家"子模型。
据 Meta 介绍,Scout 和 Maverick 不仅是其"迄今为止最先进的模型",也是"多模态领域中最先进的模型"。
据悉,Scout 有 170 亿个活跃参数、16 个"专家"模型、1090 亿个总参数;Maverick 也有 170 亿个活跃参数,但有 128 个"专家"模型,总参数量高达 4000 亿。
除了 Scout 和 Maverick 之外,Meta 还在训练功能更加强大的 Behemoth,称其为世界上最智能的大模型之一,是"新模型中的教师"。
所有这些模型都经过了 "大量未标注的文本、图像和视频数据" 的训练,以使它们具备 "广泛的视觉理解能力"。
Scout 和 Maverick 模型在 Llama.com 网站以及 Meta 的合作伙伴处均可公开获取,也可以在 WhatsApp、Messenger、Instagram Direct 上获取。
Meta 表示,其人工智能助手 Meta AI 已在 40 个国家更新为使用 Llama 4 模型。目前,多模态功能仅在美国以英语提供。
该公司首席执行官扎克伯格周六发表讲话称:"我们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。"
"我很久以前就说过,我认为开源人工智能将成为领先的模型,而随着 Llama 4 的推出,这一切已经开始发生。"他说," Meta AI 今天得到了一次重大升级。"
Meta 首席产品官 Chris Cox 上个月表示,Llama 4 的推出将让 AI 智能体变得更强大,使其具备更高水平的推理和行动能力。
据知情人士透露,Llama 3 已经推出一年了,而 Llama4 之所以迟迟未能发布,是因为在开发过程中,该模型在技术基准上没有达到 Meta 的预期,尤其是在推理和数学任务方面。此外,Meta 也担心其模型在模拟人类语音对话方面不如 OpenAI 的模型。
Meta 计划今年斥资高达 650 亿美元扩大其人工智能基础设施,然而投资者正向大型科技公司施压,要求它们展示投资带来的实际回报。
(财联社 牛占林)
- 上一篇:没有了
- 下一篇:没有了