华为云多模态智能登顶多模态搜索权威榜单MMEB
发布时间:2026-06-18
近日,在多模态表示学习领域的重要综合评测MMEB榜单中,由华为云多模态智能团队打造的MMI-VL-Embedding成功登顶榜单。MMEB作为衡量多模态Embedding通用能力的重要评测基准,覆盖图像分类、视觉问答、图文检索、图像检索、视觉定位等多类任务,通过统一、公开且严格的评测体系,全面检验模型在复杂语义理解、跨模态对齐和检索排序中的综合能力,也为多模态搜索走向Agent、企业知识检索和行业智能应用提供了重要参考。
 
多模态搜索到底在解决什么
 

过去几年,大模型越来越像一个会交流的“人”:能写作、能总结、能翻译,也能调用工具。但当大模型从“聊天”走向“办事”,第一步往往不是生成答案,而是找到信息。

在企业真实业务里,信息并不会整齐地放在一篇篇文本中。它可能藏在一张产品图、一页PDF、一段视频、一份表格、一张流程截图、一个工单附件,甚至是一段多轮对话里。用户真正想要的,也不是“搜到某个文件名”,而是找到能够支撑判断、解决问题的证据。

多模态Embedding的作用,可以通俗理解为给不同形态的信息建立同一套“语义坐标”。图片、文本、文档、截图、视频片段被放进同一个空间后,系统就可以知道哪些内容语义接近、哪些证据更相关、哪些结果应该排在前面。

因此,多模态搜索并不是“让搜索框多支持几种文件格式”,而是让AI能够在真实世界的信息里找得到、看得懂、用得上。这也是Agent能否真正进入业务现场的基础能力。

难点不在“搜”,而在能否理解真实业务里的复杂信息

 

 

传统关键词搜索更像是在匹配字面信息:标题里有没有这个词,正文里有没有这句话。但真实业务里的问题往往复杂得多。比如,工程师可能拿一张缺陷图片去找历史案例;客服可能要从截图、工单和产品说明中找到原因;业务人员可能要在PDF、PPT和表格里找到支撑结论的证据。

这些场景的难度在于,模型不仅要“看见”图片里有什么,还要理解用户为什么要搜、应该搜什么、哪个候选结果更有用。更进一步,很多样本之间并不是简单的一问一答、一图一文关系:一个问题可能对应多个合理答案,一个候选结果也可能在不同上下文里成立。如果训练时把这些边界样本简单当作错误,就会把模型带偏。

通俗地说,多模态搜索要同时解决三件事:

  • 第一,看得懂不同形态的信息;
  • 第二,理解用户真正的搜索意图;
  • 第三,在相似但不完全相同的候选中,把真正有价值的证据排到前面。

MMEB的价值正在于此。它不是单一任务的分数题,而是一场更接近真实业务的综合压力测试。分类、问答、检索、定位等任务被放进同一个框架里,模型必须证明自己不是只在某个场景有效,而是具备通用的多模态表示能力。

看清问题,再把经验变成模型能力
这次方案的核心思路,并不是简单堆更多数据、更多参数或更多技术名词,而是从问题本身出发:先弄清楚模型为什么错,再判断哪些“错”其实是标注边界或表达差异,最后把真正有价值的错误样本转化为训练信号。
  • 第一步,错误诊断。对MMEB中不同类型的任务按照分类、问答、检索、定位拆开做精准分析。
  • 第二步,语义复核。引入视觉语言模型辅助判断等价样本边界,避免“表面错误”问题。
  • 第三步,推理学习。通过推理轨迹增强Query让模型学习视觉语义线索。

概括来说,这套方案可以理解为“诊断—复核—增强—迁移”的闭环:先找准问题,再过滤噪声,把评测难点转成训练信号,最终让模型在真实输入条件下也能更稳、更准地完成检索。

从榜单领先到业务落地:价值不止在模型分数

对华为云AI而言,这项能力有助于构建面向企业智能体的多模态检索底座,助力提升搜索和Agent产品的搜索竞争力,作为核心知识搜索引擎多维度增强Agent性能。对华为云客户而言,多模态Embedding将激活企业里大量分散、沉睡、难检索的数据,助力重新组织成可被AI调用的知识资产。

第一类价值,是企业知识资产的统一检索。企业知识往往分布在文档、图片、PPT、PDF扫描件、产品截图、工单附件、设计图和视频帧中。多模态Embedding可以把这些内容统一进入语义索引便于检索利用。
第二类价值,是行业垂直搜索能力的提升。在电商场景中,用户可以用图片找相似商品,也可以用复杂描述找商品;在制造和质检场景中,工程师可以用缺陷图片查历史案例;在金融、政企和办公场景中,用户可以从海量PDF、截图、表格中找到支撑判断的证据。

第三类价值,是为企业Agent提供外部记忆和证据入口。多模态Embedding决定Agent首先看见什么、忽略什么、拿什么作为证据,也会直接影响最终答案是否可靠、是否可追溯。

 

从“能搜到”走向“懂关系、会沉淀、可协同” 

 

未来,多模态搜索不会只是返回一组相似结果,而会进一步走向“关系理解”和“证据组织”:不仅告诉用户找到了什么,还能解释为什么它相关;不仅服务一次搜索,还能把业务经验沉淀成持续更新的知识索引;不仅作为一个独立检索模块存在,还会成为Agent工作流里的感知入口、记忆入口和证据入口。

注:本文转自华为云,版权归作者所有