Llama 4 Scout

Llama 4 Scout是MetaAI开源的一个MoE架构的大模型。根据MetaAI发布的介绍，该模型具有170亿活跃参数和16个专家单元，总参数量达到1090亿。作为一款专注于多模态任务的模型，Llama 4 Scout在文本和视觉信息的融合方面进行了专门设计，通过早期融合技术，将文本和图像的输入整合到统一的模型骨干中，从而支持联合预训练，并提升多模态处理的能力。

从架构上看，Llama 4 Scout采用了混合专家（MoE）设计，这意味着在处理每个输入标记时，只有一部分参数会被激活，从而在保证计算效率的同时获得较高的模型质量。该模型在训练过程中通过使用FP8精度、跨多种数据（包括超过200种语言的大规模语料、图像及视频数据）以及专门针对长文本优化的中期训练策略，实现了行业领先的上下文窗口长度，最高可扩展至1000万标记。

在后期训练方面，模型借助轻量级的监督微调、在线强化学习以及直接偏好优化等方法，对模型在推理、长文本处理和多模态任务中的表现进行了进一步优化。通过这些技术手段，Llama 4 Scout不仅在代码理解、逻辑推理以及多图像输入任务上展现出良好的性能，还在保持单卡部署能力的前提下，实现了高效的资源利用和较低的部署成本。

总体来看，Llama 4 Scout体现了MetaAI在大规模多模态模型研发中的技术积累，其开放源码和高效的MoE架构设计为研究者和开发者提供了一个具备较高灵活性和扩展性的模型工具，有助于推动相关领域技术的进一步探索和应用。