Mistral Small 24B Instruct 2501

Mistral Small 3 是一款 24B 参数的模型，经过低延迟优化，并以 Apache 2.0 许可证发布。它旨在成为像 Llama 3.3 70B 和 Qwen 32B 这样的大型模型的有力竞争者，甚至超越了一些像 GPT4o-mini 这样的专有模型。该模型经过预训练和指令调优，适用于需要强大语言能力和指令遵循能力的广泛生成式 AI 任务。

主要特点

• 低延迟：Mistral Small 3 经过优化，能够提供极低的延迟，适合实时应用。它在 MMLU 基准测试中达到超过 81% 的准确率，同时保持每秒 150 个标记的延迟。
• 高效性：与竞争对手相比，该模型的层数更少，这显著减少了每次前向传递的时间。这种设计使其非常适合本地部署。
• 开源：以 Apache 2.0 许可证发布，Mistral Small 3 可自由修改和部署。这种开放性使得该模型能够应用于广泛的场景并进行定制。

性能基准测试

人类评估

Mistral AI 使用外部第三方供应商进行了人类评估。评估者比较了 Mistral Small 3 与另一款模型在超过 1000 个专有编码和通用提示上的匿名响应。结果表明，Mistral Small 3 的表现具有竞争力，经常被评估者选为更优选项。

指令性能

经过指令调优的 Mistral Small 3 在各种基准测试中表现出色，包括代码、数学、通用知识和指令遵循。它与三倍于自身大小的模型以及像 GPT4o-mini 这样的专有模型竞争激烈。

预训练性能

尽管 Mistral Small 3 的体积较小，但其性能与 Llama 3.3 70B 等大型模型相当。这使得它成为那些受模型大小和计算资源限制的应用场景的理想选择。

使用案例

由于其高效性和性能，Mistral Small 3 适用于多种应用：

• 快速响应式对话助手：适用于需要快速准确响应的虚拟助手。
• 低延迟函数调用：在需要快速函数执行的自动化工作流程中非常有用。
• 针对专业化的微调：可以针对特定领域进行微调，例如法律咨询、医疗诊断和技术支持。
• 本地推理：对于处理敏感信息的爱好者和组织特别有益。它可以在 RTX 4090 或配备 32GB 内存的 Macbook 等设备上私下运行。

可用性和集成

Mistral Small 3 已在 la Plateforme 上作为 mistral-small-latest 或 mistral-small-2501 提供。它还正在与 Hugging Face、Ollama、Kaggle、Together AI 和 Fireworks AI 等平台进行集成。预计未来将在 NVIDIA NIM、Amazon SageMaker、Groq、Databricks 和 Snowflake 等平台上推出。

未来发展

Mistral AI 计划在未来几周内推出具备增强推理能力的更多模型。这些模型将补充现有的大型推理模型，并为进一步的发展提供坚实的基础。

Mistral Small 3 是高效、低延迟 AI 模型发展的一个重要进步。它将高性能、开源可用性和适用于广泛应用的特点相结合，使其成为 AI 领域的一个宝贵补充。无论是用于对话助手、特定领域的任务，还是本地推理，Mistral Small 3 都为开发者和企业提供了强大的工具。