新智元报道
编辑:编辑部 HNZ
法国初创 Mistral,刚刚推出定价碾压 DeepSeek V3 的模型,而模型性能,却超过 Claude Sonnet 3.7 的 90%。不过在网友们的实测中,它却翻车了?有人建议:不必下载浪费流量和硬盘空间。
就在刚刚, Mistral AI 发布了他们最新多模态模型 Mistral Medium 3。
Mistral 兴奋地宣称 Mistral Medium 3 的性能接近甚至达到了 Claude Sonnet 3.7 的水平,但成本却比 DeepSeek V3 还低。
性价比拉满!
在 Mistral 官方的博客中,列出了 Mistral Medium 3 的核心亮点:
1. Mistral Medium 3 平衡了:
-
顶尖性能
-
成本降低至原来的八分之一
-
更易于部署,从而加速企业应用
2. 模型在代码编写和多模态理解等专业应用场景中表现出色。
3. 模型提供一系列企业功能,包括:
-
支持混合云部署、本地部署以及在 VPC 内部署
-
定制化后训练
-
集成到企业工具和系统中
Mistral Medium 3 API,现已在 Mistral La Plateforme 和 Amazon Sagemaker 上线,并将很快登陆 IBM WatsonX、NVIDIA NIM、Azure AI Foundry 和 Google Cloud Vertex。
完美平衡
Mistral Medium 3 在提供前沿性能的同时,成本却降低了一个数量级。
例如,在各项基准测试中,Mistral Medium 3 的性能达到甚至超过了 Claude Sonnet 3.7 的 90%,但成本却显著降低(每百万 Token 的输入成本为 0.4 美元,输出成本为 2 美元)。
Mistral Medium 3 的性能也超越了领先的开源模型,如 Llama 4 Maverick 和 Cohere Command A 等企业模型。
无论是 API 还是自主部署,Mistral Medium 3 的成本都要比 DeepSeek V3 还低。
此外,Mistral Medium 3 还可以部署在任何云上,包括四个 GPU 及以上的自托管环境。
顶级性能
Mistral 表示,Mistral Medium 3 的目标是成为一款性能顶尖的模型,尤其是在编码和 STEM 任务中表现突出,性能直逼那些规模更大、速度更慢的竞争对手。
从 Mistral 给出的表中可以看出 Mistral Medium 3 性能已经基本上超越 Llama 4 Maverick 和 GPT-4o,接近 Claude Sonnet 3.7 以及 DeepSeek 3.1 的水平。
人工评估结果
除了学术基准之外,Mistral 还公布了第三方人工评估,后者更能代表真实世界的用例。
可以看到,Mistral Medium 3 在编码领域表现出色,并且在各个方面都比其他竞争对手提供了更好的性能。
专为企业级应用打造
Mistral Medium 3 在适应企业环境的能力方面优于其他 SOTA 模型。
在企业面临通过 API 进行微调,或从零开始自部署并定制模型行为的艰难选择时,Mistral Medium 3 提供了一条将智能全面集成到企业系统中的途径。
Mistral 还推出了由 Mistral Medium 3 模型驱动的 Le Chat Enterprise,一款面向企业的聊天机器人服务。
它提供了一个 AI 智能体构建工具,并将 Mistral 的模型与 Gmail、Google Drive 和 SharePoint 等第三方服务整合。
这就可以解决企业面临的 AI 挑战,如工具碎片化、不安全的知识集成、僵化的模型以及缓慢的投资回报率等,为所有组织工作提供统一的 AI 平台。
Le Chat Enterprise 很快将支持 MCP 协议,这是 Anthropic 提出的连接 AI 与数据系统和软件的标准。
One more thing…
Mistral 还在博客中透露,虽然 Mistral Small 和 Mistral Medium 都已经发布,但在未来几周内,他们有一个「大」计划,也就是 Mistral Large。
他们表示刚发布的 Mistral Medium 性能已经远胜 Llama 4 Maverick 等顶尖开源模型,Mistral Large 的性能更加值得期待。
网友实测:就这?
号称超越 Claude Sonnet 3.7 的 90%,Medium 3 果然有这么强吗?
媒体和网友们立刻展开了实测。
在基于《纽约时报》Connections 栏目词汇分类题的评测中,Medium 3 处于倒数的位置,几乎找不到它。
在全新的 100 题测评中,它在前排模型中也排不上号。
有人测试 Medium 3 后表示,它的写作能力还是老样子,没啥进步。不过在 LLM 评测中,它倒是处在帕累托前沿。
而 Zhu Liang 测试后发现,模型在代码编写和文本生成方面表现都很扎实,在这两项评测中都跻身前五。
在简单编码任务(Next.js TODO 应用)中:
-
它生成了简洁明了的回复
-
评分和 Gemini 2.5 Pro、Claude 3.5 Sonnet 差不多
-
逊于 DeepSeek V3 (新) 和 GPT-4.1
在复杂编码任务(基准测试可视化)中:
-
产生的平均结果与 Gemini 2.5 Pro 和 DeepSeek V3(新)相似
-
不如 GPT-4.1、o3 和 Claude 3.7 Sonnet
在写作上:
-
它的内容覆盖了大部分要点,但格式不正确
-
评分与 DeepSeek V3 (新) 和 Claude 3.7 Sonnet 相近
-
不如 GPT-4.1 和 Gemini 2.5 Pro
知名大佬「karminski-牙医」实测后发现,它的性能并不像官方吹得那么强。
建议我们不必下载,浪费流量和硬盘空间了。
参考资料: