Meta在官网文章指出,Llama 4 Scout为一款具备170亿活跃参数、由16位专家组成的多模态模型,支援高达1,000万token的上下文长度,适用于长文件总结、多档案分析与大型程式码库推理。其iRoPE架构大幅提升长文本的泛化能力。在图像定位与图文对齐表现上亦领先同侪,可精准回应使用者图像查询,强化视觉问答体验。整体而言,该模型在推理、编码、多语言与影像任务上皆优于前代产品。
Llama 4 Maverick则是另一款170亿活跃参数、由128位专家组成的模型,在同类型多模态模型中表现最佳,超越GPT-4o与Gemini 2.0 Flash,在多项基准测试中名列前茅。其推理与程式编写能力与新推出的DeepSeek v3不相上下,但所使用的活跃参数不到后者的一半。Llama 4 Maverick兼具顶尖效能与极高的成本效益,其实验性聊天版本在LMArena平台测得ELO分数为1417,展现强大综合实力。
Llama 4系列模型皆由Meta最新的教师模型Llama 4 Behemoth蒸馏而来。Behemoth拥有高达2,880亿活跃参数与16位专家,总参数近两兆,为Meta目前最强大模型,并在数学与科学标竿测试中超越GPT-4.5、Claude Sonnet 3.7与Gemini 2.0 Pro。

此次Llama 4系列全面采用Mixture of Experts(MoE)架构,每次推论仅启用部分参数,显著提升训练与运算效率。例如Llama 4 Maverick虽拥有4,000亿总参数,却能於单一NVIDIA H100主机上部署,降低运算资源需求。
在多模态能力方面,Llama 4具备原生支援文字、图片与影片资料的处理能力。Meta采用early fusion技术,将多模态资讯整合进统一模型骨干,并强化影像编码器,让模型可处理多图输入并执行视觉推理任务,实现更自然的人机互动。
后训练(Post-Training)阶段方面,Meta重新设计流程,采用轻量监督式微调(SFT)、线上强化学习(RL)与直接偏好最佳化(DPO)三阶段策略,并针对资料难度进行动态筛选,提升模型在推理、编码与对话等任务的整体平衡性。Llama 4 Maverick在LMArena评比中获得1417分,显示其卓越的通用型AI能力。
Meta重申对开源社群的承诺,强调Llama 4内建多层次防护与审查机制,包括Llama Guard、Prompt Guard与CyberSecEval等工具,协助开发者侦测不当输入与输出,降低模型滥用风险。针对模型偏见问题,Meta指出Llama 4相较于Llama 3.3,在争议性议题上的拒答率已由7%降至2%以下,回应也更具平衡性,展现打造能同理多元观点AI系统的努力。
Meta预告,将于4月29日举办LlamaCon,揭示Llama 4 Behemoth完整细节,并公布Llama生态系未来布局,强调Llama 4系列是推动次世代人机互动的重要基石,未来将持续拓展产品整合与开发者应用场景,打造更智慧、更具人性化的AI体验。目前Llama 4 Scout与Maverick模型已可于llama.com与Hugging Face免费下载,亦可透过Meta AI即时体验其功能。
