过去几年,大模型越来越像一个会交流的“人”:能写作、能总结、能翻译,也能调用工具。但当大模型从“聊天”走向“办事”,第一步往往不是生成答案,而是找到信息。
在企业真实业务里,信息并不会整齐地放在一篇篇文本中。它可能藏在一张产品图、一页PDF、一段视频、一份表格、一张流程截图、一个工单附件,甚至是一段多轮对话里。用户真正想要的,也不是“搜到某个文件名”,而是找到能够支撑判断、解决问题的证据。
多模态Embedding的作用,可以通俗理解为给不同形态的信息建立同一套“语义坐标”。图片、文本、文档、截图、视频片段被放进同一个空间后,系统就可以知道哪些内容语义接近、哪些证据更相关、哪些结果应该排在前面。
因此,多模态搜索并不是“让搜索框多支持几种文件格式”,而是让AI能够在真实世界的信息里找得到、看得懂、用得上。这也是Agent能否真正进入业务现场的基础能力。
难点不在“搜”,而在能否理解真实业务里的复杂信息
传统关键词搜索更像是在匹配字面信息:标题里有没有这个词,正文里有没有这句话。但真实业务里的问题往往复杂得多。比如,工程师可能拿一张缺陷图片去找历史案例;客服可能要从截图、工单和产品说明中找到原因;业务人员可能要在PDF、PPT和表格里找到支撑结论的证据。
这些场景的难度在于,模型不仅要“看见”图片里有什么,还要理解用户为什么要搜、应该搜什么、哪个候选结果更有用。更进一步,很多样本之间并不是简单的一问一答、一图一文关系:一个问题可能对应多个合理答案,一个候选结果也可能在不同上下文里成立。如果训练时把这些边界样本简单当作错误,就会把模型带偏。
通俗地说,多模态搜索要同时解决三件事:
-
第一,看得懂不同形态的信息; -
第二,理解用户真正的搜索意图; -
第三,在相似但不完全相同的候选中,把真正有价值的证据排到前面。
MMEB的价值正在于此。它不是单一任务的分数题,而是一场更接近真实业务的综合压力测试。分类、问答、检索、定位等任务被放进同一个框架里,模型必须证明自己不是只在某个场景有效,而是具备通用的多模态表示能力。
-
第一步,错误诊断。对MMEB中不同类型的任务按照分类、问答、检索、定位拆开做精准分析。 -
第二步,语义复核。引入视觉语言模型辅助判断等价样本边界,避免“表面错误”问题。 -
第三步,推理学习。通过推理轨迹增强Query让模型学习视觉语义线索。
概括来说,这套方案可以理解为“诊断—复核—增强—迁移”的闭环:先找准问题,再过滤噪声,把评测难点转成训练信号,最终让模型在真实输入条件下也能更稳、更准地完成检索。
从榜单领先到业务落地:价值不止在模型分数
对华为云AI而言,这项能力有助于构建面向企业智能体的多模态检索底座,助力提升搜索和Agent产品的搜索竞争力,作为核心知识搜索引擎多维度增强Agent性能。对华为云客户而言,多模态Embedding将激活企业里大量分散、沉睡、难检索的数据,助力重新组织成可被AI调用的知识资产。
第三类价值,是为企业Agent提供外部记忆和证据入口。多模态Embedding决定Agent首先看见什么、忽略什么、拿什么作为证据,也会直接影响最终答案是否可靠、是否可追溯。
从“能搜到”走向“懂关系、会沉淀、可协同”
未来,多模态搜索不会只是返回一组相似结果,而会进一步走向“关系理解”和“证据组织”:不仅告诉用户找到了什么,还能解释为什么它相关;不仅服务一次搜索,还能把业务经验沉淀成持续更新的知识索引;不仅作为一个独立检索模块存在,还会成为Agent工作流里的感知入口、记忆入口和证据入口。



沪公网安备 31010702006392号