论文名称：SUPERGLASSES: Benchmarking Vision Language Models as Intelligent Agents for AI Smart Glasses
研究方向：智能眼镜、视觉语言模型、多模态 RAG、第一视角视觉、智能体评测
核心关键词：Smart Glasses、Egocentric VQA、Multimodal Retrieval、Object Grounding、Multi-hop Reasoning
1. 前言：看见一个东西，不等于知道它是什么
想象你戴着智能眼镜走进机场，看到大厅里的一尊雕塑，随口问：
“这是谁创作的？”
对人来说，这句话很自然。但对智能眼镜里的 AI 来说，它至少包含四个连续问题：
- 用户说的“这”指向画面中的哪个对象？
- 这个对象的准确名称是什么？
- 现有模型知识是否足够，还是需要查询外部资料？
- 如果要查询，应该以局部图片搜索，还是先生成文字关键词？
传统视觉问答数据集通常会把主体放在画面中心，图像清楚、问题明确，模型只需“看图作答”。智能眼镜则完全不同：摄像头看到的是用户的第一视角，画面范围大、背景杂、目标可能只占很小一块，用户还习惯用“这个”“那里”“刚才那个”之类的自然指代。
因此，智能眼镜 VQA 不是一道单纯的识图题，而是一条完整链路：
理解用户指代
↓
在第一视角画面中定位目标
↓
识别自己是否缺少知识
↓
选择图片搜索或文字搜索
↓
拆解多跳问题并检索证据
↓
基于证据生成答案
SUPERGLASSES 想回答的正是一个此前缺少系统评测的问题：现有视觉语言模型距离“真正能用的智能眼镜助手”，究竟还有多远？
2. 现有 VQA 基准为什么不够用
论文认为，传统多模态基准与智能眼镜的真实场景之间存在三道明显断层。
2.1 场景断层：网页图片不等于第一视角画面
很多数据集使用网页图片、新闻照片或经过筛选的静态图像。这些图片通常构图明确、主体突出，和智能眼镜随手拍到的画面差异很大。
真实第一视角图像常见的问题包括：
- 目标物体很小，甚至处于画面边缘；
- 背景中存在大量无关内容；
- 拍摄角度、光照和清晰度不可控；
- 用户的问题依赖当前位置和现实环境；
- 同一画面中可能出现多个相似对象。
模型若没有先定位正确对象，后面的检索和推理做得再漂亮，也只是在认真回答错误的问题。
2.2 任务断层：识别只是起点，外部知识才是难点
用户很少只问“这是什么”。更常见的问题可能是：
- 这个车型比普通轿车能坐更多人吗？
- 这家品牌总部所在城市的人口有什么特别之处？
- 这个标志是什么意思？
- 这件商品的制造商和另一家公司有什么关系？
这类问题要求模型先识别对象，再连接外部知识，有时还要跨越多个网页和多个推理步骤。
2.3 可追踪性断层：只看最终答案，不知道 Agent 错在哪里
许多基准只提供图像、问题和标准答案，却不记录搜索关键词、使用的工具、访问的网页和中间推理过程。
如果模型答错，很难判断到底是：
- 没看清目标；
- 选错了搜索工具；
- 关键词写得不好；
- 找到了错误网页；
- 还是拿到正确证据后推理失败。
SUPERGLASSES 的一个重要价值，就是把这条链路尽可能记录下来，让评测不再只是一个最终分数。
2.4 与已有基准相比，它具体多了什么
论文将 SUPERGLASSES 与八套代表性数据集放在一起比较：
| 数据集 | 主要图像来源 | 多模态搜索 | 目标检测标注 | 搜索日志 | 地点信息 |
|---|---|---|---|---|---|
| WebQA | Web | 否 | 否 | 否 | 否 |
| InfoSeek | Web | 否 | 否 | 否 | 否 |
| MRAG-Bench | Web | 是 | 否 | 否 | 否 |
| LIVEVQA | News | 是 | 否 | 否 | 否 |
| MMSearch | Web | 是 | 否 | 否 | 否 |
| Dyn-VQA | Web | 是 | 否 | 否 | 否 |
| CRAG-MM | 眼镜与 Web 混合 | 是 | 是 | 否 | 否 |
| WearVQA | 眼镜与 Web 混合 | 否 | 是 | 否 | 否 |
| SUPERGLASSES | 全部来自智能眼镜 | 是 | 是 | 是 | 是 |
SUPERGLASSES 的差异并不只是图片换成了眼镜拍摄。它同时加入了地点、显式目标区域、多模态搜索和搜索日志，让“看到什么—怎么搜索—依据什么回答”可以被放在同一套样本中检查。
3. SUPERGLASSES：一套真正来自智能眼镜的基准
SUPERGLASSES 共包含 2,422 组第一视角图像—问题—答案。所有图像均由真实智能眼镜采集，而不是由手机或网页图片替代。
三类设备的图像数量分别为：
| 设备 | 图像数量 |
|---|---|
| Ray-Ban Meta | 257 |
| Xiaomi 智能眼镜 | 797 |
| RayNeo V3 | 1,368 |
数据覆盖 14 个现实领域，包括食物、购物、公共服务、交通、文化、植物、动物、导航、翻译、教育等；问题被划分为 8 类能力：聚合、比较、事实知识、多跳推理、一般推理、简单识别、空间推理和时序理解。
一些值得注意的统计数据包括：
- 多跳问题 775 个，单跳问题 1,647 个；
- 共记录 2,011 次工具调用；
- 平均每个问题包含 1.39 个推理跳数；
- 数据涉及 519 个网站来源；
- 平均图像分辨率约为 3,630 × 2,887；
- 最长问题为 51 个词，最长答案为 171 个词。
数据口径说明：论文表 1 将最长问题写为 51 个词，但第 2.2 节正文写成 61 个词；正文主线、表 2 和表 6 均使用 8 类问题，而补充材料 C.2 又出现了 9 类的表述。本文以主表和主实验口径为准，分别采用 51 个词与 8 类问题。
与普通问答数据不同，每个样本不只有最终答案，还可能包含：目标区域、拆分后的子问题、图片与文字搜索记录、网页证据、工具使用日志和逐步推理路径。
换句话说，它不仅在问“答对了吗”，还在追踪“你是怎么找到答案的”。
3.1 三种设备并不是平均分布
从设备数量看，RayNeo V3 提供了 1,368 张图像，约占整个数据集的 56.5%；Xiaomi 智能眼镜提供 797 张，约占 32.9%；Ray-Ban Meta 只有 257 张，约占 10.6%。
这让数据集获得了多种光学系统、摄像头和图像处理链路，但也带来一个需要注意的偏差：总体结果更容易受到 RayNeo V3 图像分布影响。某个模型在总榜上更强，不一定意味着它在三类硬件上都同样稳定。
此外，采集来自三大洲四座城市，虽然比单一实验室或单一城市丰富得多，但仍不能代表全球真实环境。交通标志、商品包装、公共设施、语言和文化知识都高度依赖地区。未来如果把这套基准扩展到更多国家，模型排名可能发生变化。
3.2 八类问题分别在考什么
论文没有把所有问题简单归为“看图回答”，而是按照所需能力拆成八类：
| 问题类别 | 主要考查能力 | 典型任务 |
|---|---|---|
| Simple Recognition | 从画面直接读取或识别信息 | 识别标志、商品、文字或场所 |
| Factual Knowledge | 将视觉实体连接到外部事实 | 查询作者、制造商、物种用途 |
| Reasoning | 根据画面线索进行一般推理 | 判断地点、用途或对象关系 |
| Multi-hop | 串联多个实体与知识节点 | 商品 → 作品 → 作者 → 国籍 |
| Comparison | 对多个对象或属性进行比较 | 小型货车与轿车的载客量差异 |
| Aggregation | 汇总分散在多处的信息 | 品牌、母公司与产品之间的关系 |
| Spatial Reasoning | 理解对象、位置和环境结构 | 判断设施所在区域或空间关系 |
| Temporal Understanding | 理解会变化或带时间条件的信息 | 查询近期状态、营业信息或动态事实 |
这套分类的意义在于：同样是“答错”，背后的能力缺口可能完全不同。简单识别失败通常说明视觉感知不足；事实知识失败往往与检索覆盖有关；多跳失败则可能来自任何一个中间实体或搜索步骤。
3.3 为什么完整搜索轨迹比标准答案更重要
对于传统分类任务，知道模型预测对错通常已经足够。但 Agent 系统是一个串联系统，最终错误可能由上游任何环节引起。
假设用户问一辆车的具体型号，系统最后答错，至少有五种可能：
- 没有检测到车辆，裁剪了旁边的路牌；
- 检测到了车，但把车标识别错；
- 图像搜索找到了外观相似的另一款车；
- 找对网页，却从网页中抽取了错误年份或配置；
- 证据正确，但生成答案时混淆了品牌与车型。
如果数据集只给出“正确车型名称”，研究者只能看到一次失败；有了工具和搜索日志，才可以判断错误发生在哪一层，并分别改进目标检测、查询生成、重排或回答模块。
这也是 SUPERGLASSES 相比许多 VQA 数据集更“Agent 化”的地方：它评估的不只是模型脑中的知识，还评估模型如何发现自己不知道、如何寻找证据，以及如何使用证据。
4. A4 数据流水线：如何把日常画面变成可评测问题
作者将数据构建流程称为 A4，由四个阶段组成：Acquirement、Annotation、Assessment 和 Analysis。
4.1 Acquirement：采集真实第一视角数据
20 多名采集者分布在三大洲的四座城市，使用三类智能眼镜在超市、咖啡馆、博物馆、公共交通枢纽等场景中拍摄图像。
采集过程覆盖不同时间、天气、室内外环境和拍摄角度。进入标注流程前，系统还会使用基于 YOLO 的隐私过滤器，对人脸、车牌等敏感信息进行遮挡。
4.2 Annotation：补全问题、证据和搜索轨迹
标注者为图像设计自然语言问题，并记录：
- 问题所属领域与类别；
- 难度和推理跳数；
- 问题指向的图像区域；
- 拆解后的单跳子问题；
- 图片搜索和文字搜索结果；
- 支撑最终答案的网页证据。
这一阶段让答案不再是孤立标签，而是能够回溯到证据来源。
4.3 Assessment：规则、模型与人工三重检查
质量评估包含四步：
- 规则检查问题长度、跳数和工具记录等基本约束；
- 参考多模态模型检查问题拆分、类别与答案复现性；
- 人工专家评价可复现性、精确性、复杂度和正确性；
- 汇总评分并过滤不合格样本。
4.4 Analysis：检查数据分布是否健康
最后，作者从问题长度、答案长度、问题开头和主题分布等角度检查数据，避免基准只集中在少数表达方式或热门对象上。
5. 实验如何设计：26 个模型、三种回答方式与一套自动评审
在看排行榜之前，需要先弄清论文到底比较了什么。SUPERGLASSES 的实验并不是只把一批通用模型放在一起问答，而是同时比较了设备配套模型、主流开源 VLM、闭源大模型以及朴素 RAG 方案。
5.1 被评测模型分成四组
第一组是智能眼镜平台所使用或适配的模型，包括 Ray-Ban Meta 对应的 LLaMA-3.2-Vision、RayNeo 使用的 Qwen2.5-VL 系列，以及 Xiaomi 的 MiMo-VL-7B。
第二组是通用开源视觉语言模型，包括：
- Phi-3-Vision-4B；
- InternVL3-8B；
- GLM-4.1V-9B；
- LLaVA-v1.5-7B / 13B；
- LLaVA-OneVision-0.5B / 7B；
- DeepSeek-VL2-3B / 16B / 27B。
第三组是闭源模型：GPT-4o、Claude 4 Sonnet 和 Gemini 2.5 Pro。
第四组是作者自行构建的朴素 RAG 基线。它们以 LLaMA-3.2-11B 或 Qwen2.5-VL-7B 为骨干，分别尝试图片搜索、文字搜索和图片加文字的多模态搜索。
总计包含 20 个直接回答模型和 6 个朴素 RAG 变体，共 26 个被比较对象。SUPERLENS 则作为作者提出的任务专用方案单独加入排行榜。
5.2 直接回答与朴素 RAG 的区别
直接回答设置刻意保持简单：模型只收到图像和问题，不使用外部搜索，回答被限制在一到两句话。所有模型的采样温度设为 0，以降低随机性。
朴素 RAG 则把原始问题直接交给 Google Search，把原始图片交给 Google Lens，再把返回网页的文本片段拼接进上下文。它没有学习式路由、目标检测、问题拆解、证据过滤或结构化推理。
这样的基线非常重要，因为它回答了一个现实问题：如果开发者只是给现有 VLM “接一个搜索引擎”，能不能自然获得更好的智能眼镜问答效果？实验结果表明，大多数情况下不能。
5.3 为了公平，图像和检索参数如何设置
不同模型支持的图像分辨率并不一致。作者将所有输入图像的短边统一缩放到 1,024 像素，以避免高分辨率图像导致显存溢出，同时减少模型之间因输入尺寸产生的差异。
在 SUPERLENS 的检索链路中：
- 每个图片或文字查询最多获取 5 个相关网页；
- 网页被清洗并切分为文本块；
- 重排器最多选择 10 个高分文本块；
- 低于 0.6 相关性阈值的文本块会被丢弃；
- 相关性融合时，问题权重为 0.6，图像权重为 0.4。
这组参数反映出作者的一项判断：最终答案需要以语言表达，因此文本问题通常比原始画面更能决定某段网页是否真正有用；图像则负责补充实体外观和视觉线索。
5.4 自动评审究竟怎么判分
论文使用 Qwen2.5-32B 作为主要裁判。裁判会同时看到原始问题、标准答案和模型预测，然后输出一个布尔值：正确或错误。
判定规则主要有三条：
- 预测必须覆盖标准答案中的关键信息；
- 允许同义改写，不要求逐字匹配；
- 如果遗漏关键细节或包含错误事实，就判为错误。
这种方法比 BLEU、ROUGE 或字符串完全匹配更适合开放式问答，因为“Andy Warhol was American”和“安迪·沃霍尔是一位美国艺术家”应被视为同一个答案。
但它也引入了新的不确定性：裁判本身也是语言模型。后文会看到，不同裁判对同一批答案给出的绝对分数差异很大，因此排行榜应该被理解为同一评审协议下的相对比较，而不是精确到小数点后两位的客观真值。
6. 榜单结果：最强通用模型也只答对四成左右
论文评测了 26 个视觉语言模型及 RAG 变体。评价采用 LLM-as-Judge：将问题、标准答案和模型输出交给 Qwen2.5-32B，判断答案是否覆盖关键信息且不包含明显错误。
主要结果如下：
| 模型或系统 | 总体准确率 |
|---|---|
| Gemini 2.5 Pro | 43.02% |
| GPT-4o | 41.91% |
| Qwen2.5-VL-72B | 37.65% |
| Claude 4 Sonnet | 37.16% |
| Qwen2.5-VL-7B | 32.82% |
| SUPERLENS（Qwen2.5-VL-7B 骨干） | 44.10% |
这里最醒目的不是 SUPERLENS 排名第一，而是所有系统的绝对分数都不高。
即使是 Gemini 2.5 Pro，总体准确率也只有 43.02%。当问题从简单变为困难时，GPT-4o 从 45.10% 降到 32.96%；遇到多跳推理、快速变化的信息或需要外部搜索的任务，模型表现还会继续下降。
这说明通用 VLM 在干净图片上表现出色，并不等于它已经适合智能眼镜。第一视角目标定位、知识缺口判断和外部检索，仍然是明显短板。
6.1 模型规模仍然有效，但不能解决所有问题
同一家族内部存在明显的规模效应。以 Qwen2.5-VL 为例：
| 参数规模 | 总体准确率 |
|---|---|
| 3B | 25.56% |
| 7B | 32.82% |
| 32B | 36.54% |
| 72B | 37.65% |
DeepSeek-VL2 和 LLaMA-3.2-Vision 也呈现类似趋势。模型越大，内部世界知识越丰富，对多跳和长尾问题的覆盖通常越好。
不过，规模提升的边际收益正在变小。Qwen2.5-VL 从 3B 增长到 7B，提升 7.26 个百分点；从 32B 增长到 72B，却只提升 1.11 个百分点。更大的模型并没有自动获得稳定的搜索规划能力。
6.2 开源模型与闭源模型仍有差距
最强开源直接回答模型 Qwen2.5-VL-72B 得到 37.65%，比 Gemini 2.5 Pro 低 5.37 个百分点，比 GPT-4o 低 4.26 个百分点。
这部分差距可能同时来自模型容量、预训练数据、OCR 与细粒度视觉能力、长尾事实记忆，以及对自然问题的稳健推理能力。论文无法把这些因素完全拆开，但至少说明：在不使用外部工具时，内部知识规模依然非常重要。
6.3 “总体第一”不等于所有子任务第一
SUPERLENS 的总体分数为 44.10%，高于 Gemini 2.5 Pro 的 43.02%。但拆开难度和检索需求后，结论更微妙：
| 维度 | SUPERLENS | Gemini 2.5 Pro | 更高者 |
|---|---|---|---|
| Easy | 49.68% | 45.10% | SUPERLENS |
| Medium | 34.72% | 39.94% | Gemini |
| Hard | 30.17% | 36.31% | Gemini |
| 1-hop | 48.76% | 45.36% | SUPERLENS |
| 2-hop 及以上 | 34.19% | 38.06% | Gemini |
| 不需要检索 | 55.78% | 48.92% | SUPERLENS |
| 需要图片检索 | 34.70% | 37.02% | Gemini |
| 需要文字检索 | 40.33% | 41.95% | Gemini |
| 图片与文字都需要 | 29.15% | 35.43% | Gemini |
也就是说，SUPERLENS 的整体优势主要来自简单题、单跳题和不需要检索的题目；在真正困难、多跳或同时依赖两种检索模态的题目上，Gemini 2.5 Pro 仍然更强。
这个细节很重要。它提醒我们不能只根据总榜得出“7B 模型加 RAG 已全面超过超大闭源模型”的结论。更准确的说法是：任务专用路由和检索架构显著抬高了小模型的平均表现，但复杂推理能力仍受骨干模型限制。
7. 一个反直觉发现：加上 RAG，结果可能更差
很多人会自然地认为，只要给模型接上 Google 搜索或图片搜索，答案就会更准确。
实验结果恰恰相反。
Qwen2.5-VL-7B 直接回答时的准确率是 32.82%。加入朴素多模态 RAG 后，准确率降至 17.18%。LLaMA-3.2-11B 也从 23.53% 降至 14.78%。
原因并不复杂：搜索引擎只能回答你真正搜到的问题。
如果系统没有先识别画面中的正确对象，直接把原图或原问题交给搜索引擎，就很容易出现以下情况：
- 图片搜索被背景中的显眼物体带偏；
- 文本搜索缺少关键实体名称；
- 多跳问题被一次性塞进搜索框；
- 不需要搜索的问题也被强制注入外部信息；
- 无关网页反而覆盖了模型原本正确的内部知识。
因此，RAG 的关键不是“有没有检索”，而是“何时检索、检索什么、用哪种模态检索”。
这也是整篇论文最值得带走的结论之一：错误的检索，可能比不检索更糟。
7.1 为什么整图搜索容易被背景劫持
智能眼镜图像通常是宽视野场景。用户可能在问书架上的一本书，但画面中还同时包含几十本书、货架标签、手臂、地板和远处的人。
普通图片搜索往往优先匹配面积更大、视觉特征更明显的区域。如果不先裁出目标书封，搜索引擎可能返回书店、图书馆或另一本文字更清晰的书。此时后续网页与问题在语义上仍可能“相关”，重排器甚至会给出高分，但搜索对象已经悄悄发生了变化。
7.2 为什么原问题不一定是好搜索词
用户对智能眼镜说的是自然问题，而不是为搜索引擎设计的关键词。
例如，“这家店最早是谁创办的？”对人来说很清楚，因为人能看到店名。搜索引擎只收到这句话时，却不知道“这家店”指谁。一个可用查询至少应该先补成“品牌名 + founder”，还可能需要附加城市或国家以消除同名实体。
多跳问题更麻烦。把“这本书作者所在大学所在城市的人口是多少”整句交给搜索引擎，往往不如依次查询书名、作者、大学和城市人口。用户问题的语言结构适合交流，不一定适合检索。
7.3 为什么更多网页可能让模型更不可靠
RAG 系统常见的误区是把“召回更多内容”当作“获得更多知识”。实际上，长上下文中只要混入一个与问题高度相似但实体错误的片段，就可能主导生成结果。
尤其当网页片段包含明确数字、车型或人名时，模型容易把“具体”误认为“可信”。于是系统会从原本的谨慎回答，变成一段引用充分、语气坚定的错误答案。
因此，智能眼镜 RAG 不仅需要相关性排序，还需要对象一致性、来源可信度、时间有效性和多来源交叉验证。
8. SUPERLENS：先判断是否需要查，再决定怎么查
为了解决上述问题，作者提出了面向智能眼镜场景的多模态 Agent——SUPERLENS。
它由两部分组成：
- Demand-Adaptive Answerer：判断模型能否直接回答，还是需要外部知识；
- Dual-Lens Knowledge Retriever：分别从视觉和文本两条路径检索证据。
8.1 Demand-Adaptive Answerer：不是每个问题都值得搜索
系统首先使用领域路由器判断问题属于食物、购物、文化、公共服务等哪一类，再调用相应的领域提示进行推理。
如果模型已有足够知识，就直接生成答案；如果发现缺少关键信息，才启动检索流程。
这个设计看似简单，却十分重要。消融实验显示：
- 完整 SUPERLENS：44.10%；
- 完全不检索：32.82%；
- 每个问题都强制进行图片与文字检索：32.04%。
也就是说，“永远搜索”几乎抹掉了精细检索组件带来的收益。真正有效的是按需调用，而不是把 RAG 当成固定前缀。
8.2 视觉镜头：先裁出对象，再做图片搜索
当问题依赖视觉对象时，Search Router 先判断用户所指的对象类型，再由 Grounding DINO 等开放词汇目标检测器定位图像区域。
系统不会直接拿整张第一视角照片去搜，而是裁出汽车、书籍、标志或商品等相关对象，再进行图片搜索。
这一步解决的是智能眼镜特有的问题：目标可能很小，但背景非常大。
8.3 文本镜头：把多跳问题拆成可搜索的子问题
如果问题依赖文字知识，Query Decoupler 会把复杂查询拆成多个单跳子问题。
例如：
“画出这个商品的著名艺术家来自哪个国家？”
可以被拆为：
- 图中的商品是什么？
- 哪幅著名作品描绘了它？
- 这幅作品是谁画的？
- 这位艺术家来自哪个国家？
相比把整句话直接交给搜索引擎，这种拆解更容易获得稳定证据。
8.4 网页清洗、缓存与多模态重排
图片搜索和文本搜索返回网页后，系统还会继续处理：
- 使用 ReaderLM-v2 将 HTML 清洗为适合模型阅读的文本；
- 通过两级 Redis 缓存减少重复搜索与网页解析；
- 将网页切分为多个文本块；
- 分别计算文本块与问题、图像的相关性；
- 以问题 0.6、图像 0.4 的权重进行融合；
- 过滤低于 0.6 的结果，并选取排名靠前的证据生成答案。
完整链路可以概括为：
图像 + 问题
↓
领域判断与知识缺口判断
├─ 已知：直接回答
└─ 未知：启动检索
├─ 目标检测 → 局部图片搜索
└─ 问题拆解 → 多次文字搜索
↓
网页清洗与证据重排
↓
RAG 生成答案
9. 为什么 SUPERLENS 有效：检索决策比检索数量更重要
消融实验进一步说明了各组件的作用：
| 设置 | 准确率 | 相对完整系统下降 |
|---|---|---|
| 完整 SUPERLENS | 44.10% | - |
| 按需检索，仅文字搜索并保留问题拆解 | 43.81% | 0.29 个百分点 |
| 按需检索，仅图片搜索并保留目标检测 | 42.57% | 1.53 个百分点 |
| 图片 + 文字，但去掉问题拆解 | 40.92% | 3.18 个百分点 |
| 不使用检索 | 32.82% | 11.28 个百分点 |
| 强制图片 + 文字检索 | 32.04% | 12.06 个百分点 |
可以得到三个结论。
第一，问题拆解非常重要。复杂问题若没有被转写为清晰、单跳、可搜索的子问题，搜索引擎很难返回精确证据。
第二，文字检索目前仍是主要知识来源。仅保留文字检索时，系统只下降 0.29 个百分点；仅保留图片检索时下降 1.53 个百分点。多数外部知识最终还是以文本形式存在。
第三，按需检索是系统核心。不检索和无差别强制检索的结果都只有 32% 左右，说明收益并不来自“多搜了几次”，而来自对检索时机与检索方式的控制。
10. 把总分拆开看：哪些题适合 SUPERLENS，哪些仍然难
总准确率只能给出一个大致排序。论文还从问题类别、现实领域、信息时效、推理跳数和语言等角度进行了细分，这些结果更能解释系统的真实能力边界。
10.1 按问题类别：强在一般推理与识别，弱在事实与多跳
| 问题类别 | SUPERLENS | Gemini 2.5 Pro | 差值 |
|---|---|---|---|
| Aggregation | 39.57% | 41.73% | -2.16 |
| Comparison | 45.89% | 51.37% | -5.48 |
| Factual Knowledge | 36.47% | 38.18% | -1.71 |
| Multi-hop | 34.74% | 38.39% | -3.65 |
| Reasoning | 52.28% | 50.25% | +2.03 |
| Simple Recognition | 49.34% | 45.13% | +4.21 |
| Spatial Reasoning | 44.95% | 43.12% | +1.83 |
| Temporal Understanding | 44.62% | 36.92% | +7.70 |
SUPERLENS 在一般推理、简单识别、空间推理和时序理解上超过 Gemini，尤其是时序理解高出 7.70 个百分点。但在比较、事实知识和多跳问题上仍然落后。
这与系统设计基本一致。目标检测和按需检索能够显著改善“看清对象并决定是否查询”的任务，却无法完全替代强大骨干模型的知识整合与长链推理能力。
10.2 按现实领域：导航和翻译受益明显，购物仍然困难
在论文列出的十个主要领域中，SUPERLENS 与 Gemini 的表现如下：
| 领域 | SUPERLENS | Gemini 2.5 Pro |
|---|---|---|
| Plant | 39.64% | 40.83% |
| Food | 47.47% | 46.13% |
| Shopping | 34.32% | 42.80% |
| Public Service | 47.68% | 46.41% |
| Translation | 51.91% | 38.30% |
| Transport | 38.42% | 41.38% |
| Culture | 38.74% | 39.79% |
| Navigation | 56.90% | 48.85% |
| Animal | 34.81% | 36.08% |
| Education | 56.25% | 53.75% |
SUPERLENS 在导航、翻译、教育、公共服务和食物类问题中表现更好。导航和公共服务往往依赖当前地点、标志、建筑或局部文字，这正是目标定位与外部检索能够发挥作用的场景。
购物类差距最大，SUPERLENS 比 Gemini 低 8.48 个百分点。购物问题常常要求区分外观相近的具体型号、版本、容量和地区包装，还可能依赖价格、库存等动态信息。一旦实体识别不够精确，检索结果就会迅速偏离。
10.3 按信息时效：检索确实帮助了动态问题，但仍未全面领先
论文把问题分为静态、缓慢变化和快速变化三类。
| 信息类型 | SUPERLENS | GPT-4o | Gemini 2.5 Pro |
|---|---|---|---|
| Static | 45.23% | 43.88% | 43.73% |
| Slow-changing | 37.27% | 29.19% | 32.92% |
| Fast-changing | 37.63% | 31.44% | 43.81% |
SUPERLENS 在静态和缓慢变化问题上领先，但在快速变化信息上仍低于 Gemini 2.5 Pro。这个结果可能说明两点：一是外部检索确实弥补了小模型的知识时效问题；二是搜索到最新网页并不等于能够正确理解和整合最新信息，闭源模型本身的搜索与推理能力仍可能更强。
10.4 按推理跳数：四跳结果不能只看百分数
| 推理跳数 | SUPERLENS | GPT-4o | Gemini 2.5 Pro |
|---|---|---|---|
| 1-hop | 48.76% | 44.87% | 45.36% |
| 2-hop | 33.97% | 42.86% | 44.54% |
| 3-hop | 37.82% | 34.44% | 36.18% |
| 4-hop | 21.74% | 30.43% | 56.52% |
SUPERLENS 在单跳和三跳问题上有竞争力，但二跳明显落后，四跳只有 21.74%。Gemini 的四跳成绩高达 56.52%，看起来优势巨大，不过四跳问题数量通常远少于单跳和二跳，因此这个百分比更容易受少量样本影响。
更稳妥的结论是：问题拆解可以帮助较小模型完成部分长链任务，但链路越长，前面某一步的识别、搜索或实体解析错误越容易向后传播。多跳不是“重复搜索几次”，而是要求每一步都正确并保持实体一致。
10.5 按语言：法语和日语结果要谨慎解释
数据集包含 1,369 个英文问题、880 个中文问题、152 个法文问题和 63 个日文问题。
| 语言 | Qwen2.5-VL-7B | Gemini 2.5 Pro | SUPERLENS |
|---|---|---|---|
| 英文 | 35.06% | 44.63% | 47.11% |
| 中文 | 32.16% | 46.82% | 44.09% |
| 法文 | 30.26% | 37.50% | 47.37% |
| 日文 | 36.51% | 50.79% | 47.62% |
SUPERLENS 在英文和法文上领先，Gemini 在中文和日文上领先。尤其需要注意，日文只有 63 个样本，法文也只有 152 个；少量答案变化就会明显改变百分比。它们可以作为多语言可用性的初步信号，但不足以证明系统在不同语言上的稳定排序。
此外，表 9 给出的四种语言样本数相加为 2,464，高于数据集总量 2,422。论文没有说明这些计数是否允许同一样本跨语言重复，因此这里更适合作为分语言实验的报告口径，而不应直接理解为四个互斥子集。
11. 一个四跳案例：从一罐汤找到安迪·沃霍尔的国籍
论文给出了一个很能体现任务难度的例子。
用户在超市货架前拿起一罐 Campbell’s 汤，询问：
“画过这个东西的著名艺术家来自哪个国家？”
最终答案是美国，但图像中没有艺术家姓名，更没有国籍信息。系统需要完成四跳推理：
第一步：识别商品
通过局部图片搜索确认图中商品是 Campbell’s 汤罐头。
第二步：找到相关艺术作品
文字搜索发现，描绘 Campbell’s 汤罐头的著名作品是《Campbell’s Soup Cans》。
第三步：确定艺术家
进一步检索确认，这组作品由波普艺术家 Andy Warhol 创作。
第四步：查询国籍
最后检索 Andy Warhol 的资料，得到他是美国艺术家。
这一案例同时包含了三种能力：
- 从第一视角图像中锁定商品；
- 从图片搜索切换到文字搜索；
- 跨多个网页串联多跳证据。
它也说明，智能眼镜里的“看图问答”最终可能更像一个以现实对象为入口的搜索 Agent。
12. 失败案例：一开始认错对象，后面会错得很完整
SUPERLENS 仍然会失败，而且失败方式很有代表性。
12.1 选错搜索模态
一个案例中，用户看到玻璃上的红色标志，问“这个红色标志是什么意思？”正确答案是多伦多 CN Tower 的标志。
系统本应使用图片搜索识别图形，却错误地发起文字搜索：
red sign meaning in Canada
搜索结果把它引向了 Canadian Red Ensign，最终生成了一段形式完整、证据看似充分、但对象完全错误的回答。
12.2 查询生成失败
另一个案例要求查询画面中某本书的作者还写过哪些书。系统虽然选择了图片与文字搜索，却生成了混杂书名、机构名和意图的冗长关键词，没有先抽取作者这一核心实体，最终检索到无关内容。
这两类错误揭示了多模态 RAG 的脆弱点：
对象定位错误
↓
搜索模态或关键词错误
↓
检索到高相关但不正确的网页
↓
模型基于错误证据生成自洽答案
因此，证据数量和相关性分数都不能替代实体核验。一个更稳健的系统还需要检查：“搜索结果中的对象，真的和用户看到的是同一个吗？”
12.3 错误主要不在目标检测，而在问题拆解与工具调用
作者进一步把 SUPERLENS 的中间输出与人工标注搜索轨迹进行对比，并将错误归为四类。
以 Qwen2.5-VL-7B 版本的 SUPERLENS 为例：
| 错误类型 | 占比 |
|---|---|
| Query Decoupling | 50.2% |
| Tool Invocation | 38.9% |
| Retrieval Demand | 9.9% |
| Object Detection | 1.0% |
LLaMA 版本呈现几乎相同的结构：问题拆解错误占 50.3%，工具调用错误占 44.8%，目标检测只占 1.1%。
这组数据很反直觉。直觉上，智能眼镜最难的应该是“看不清”，但真正占据主要比例的是“不会把问题改写成正确的搜索计划”以及“不会选择和调用正确工具”。
这里的 Tool Invocation 不只是搜索接口调用失败，还包括该用图片搜索时用了文字搜索、该组合两种模态时只使用一种，以及没有按正确顺序执行工具。
Query Decoupling 则涉及：
- 没有抽取核心实体；
- 子问题之间缺少依赖关系；
- 查询过长，混入与当前跳无关的信息；
- 查询过短，缺少地区、时间或品牌限定；
- 前一跳得到实体后，没有正确传给下一跳；
- 把“查作者其他作品”错误改写成“查这本书的相关书籍”。
这意味着，下一代系统的重点不应只放在换更强的目标检测器上。检索规划、实体状态维护和工具选择策略可能是更高回报的研究方向。
13. 论文真正的贡献在哪里
SUPERGLASSES 的贡献可以分为三个层面。
13.1 它把评测场景从“图片中心”移到了“用户中心”
普通 VQA 关注图像中有什么；智能眼镜则关注用户此刻看到了什么、指向什么、为什么要问，以及答案是否依赖当前地点和外部世界。
这是一种更接近真实人机交互的评测方式。
13.2 它记录了 Agent 的中间过程
完整搜索轨迹让研究者能够把错误拆成目标定位、工具选择、查询生成、证据检索和答案生成等阶段。
对于 Agent 系统，这往往比单一准确率更有价值，因为它能告诉开发者应该修哪一层。
13.3 它证明了“自适应 RAG”不是装饰，而是必要条件
论文最有说服力的实验并不是 44.10% 这个最高分，而是朴素 RAG 的明显退化。
搜索本身不会自动带来知识。只有在对象定位正确、知识缺口明确、查询结构清晰、证据经过筛选时，外部信息才会成为帮助，而不是噪声。
14. 如何理性看待 44.10% 的最好成绩
SUPERLENS 以 44.10% 超过 GPT-4o 的 41.91%，差距是 2.19 个百分点；相比其 Qwen2.5-VL-7B 骨干模型的 32.82%，提升 11.28 个百分点。
这个结果证明了任务定制架构的价值，但还不能说明问题已经解决。
首先，44.10% 意味着一半以上的问题仍可能失败。对于只提供信息的问答助手，这已经影响体验；如果未来系统还会基于答案导航、购物或执行操作，错误成本会更高。
其次，主榜使用 Qwen2.5-32B 作为自动评审。论文补充实验虽然比较了多种评审器和人工评价，但不同评审器给出的绝对分数存在明显差异。模型排名比单个百分数更值得关注。
再次，在线搜索结果会随时间、地区和搜索服务变化。论文通过缓存提高复现性，但“开放网页上的同一道题”天然比封闭知识库更难长期保持稳定。
最后，这篇论文主要评测问答准确率，并没有系统覆盖真实产品中同样重要的延迟、能耗、网络依赖、搜索成本和旁观者隐私。对于智能眼镜，这些不是附加问题，而是决定系统能否落地的核心约束。
14.1 不同裁判给出的绝对分数差异很大
论文使用多种模型裁判、混合评审和人工评价对三组结果进行了复核：
| 被评系统 | LLaMA-3.1-8B 裁判 | Gemma-3-27B 裁判 | Qwen2.5-32B 裁判 | 混合评审 | 人工评价 |
|---|---|---|---|---|---|
| Qwen2.5-VL-7B | 41.37% | 39.05% | 32.82% | 29.36% | 32.81% |
| Gemini 2.5 Pro | 52.18% | 52.10% | 43.02% | 34.64% | 43.75% |
| SUPERLENS | 54.75% | 51.11% | 44.10% | 38.03% | 45.31% |
同一个 Qwen2.5-VL-7B，最高和最低评审分数相差 12.01 个百分点；SUPERLENS 的跨度也达到 16.72 个百分点。
好消息是，人工评价下 SUPERLENS 仍然最高，达到 45.31%，高于 Gemini 的 43.75%。这说明主结论并非完全由某一个自动裁判制造。
但我们不应把 44.10% 当成类似物理测量的精确值。更可信的阅读方式是：在多种评审下，SUPERLENS、Gemini 和基础 Qwen 的相对层级大体稳定，而绝对准确率取决于裁判对“遗漏细节”“部分正确”和“多余错误信息”的容忍度。
14.2 2.19 个百分点并不是全面能力差距
摘要强调 SUPERLENS 超过 GPT-4o 2.19 个百分点，这一表述在总榜上没有问题。但这个差距混合了不同语言、难度、领域和检索需求。
前面的细分结果已经表明，SUPERLENS 在简单识别、一般推理、导航和翻译中优势明显，在困难题、多跳题、比较题和购物题上却可能落后于 Gemini。
因此，这 2.19 个百分点更适合被理解为“当前数据分布下的平均收益”，而不是“任何智能眼镜问题上都更强”。
14.3 最佳成绩仍然低于可用系统的可靠性要求
44.10% 在研究榜单上代表显著进步，在产品层面却意味着平均每十个问题可能有五到六个不完全正确。
如果回答只是“这座雕塑是谁创作的”，错误可能只造成困惑；如果回答参与路线规划、药品识别、设备维修或购物决策，同样的错误率就不可接受。
这也解释了为什么未来产品不能只返回一个流畅答案，还需要证据展示、置信度、澄清问题和失败回退。
15. 这篇论文仍有哪些局限
一篇好的论文不仅要看它解决了什么，还要看它的结论在哪些边界内成立。
15.1 “第一个”基准的说法需要限定语境
论文将 SUPERGLASSES 称为首个全面面向智能眼镜的 VQA 基准。它确实在“全部图像由智能眼镜采集、包含目标定位、支持多模态检索、记录完整搜索轨迹”这一组合上具有独特性。
但此前已有 WearVQA、CRAG-MM 等可穿戴或眼镜相关基准。因此，更严谨的理解不是“此前从未有人评测眼镜 VQA”，而是 SUPERGLASSES 首次把真实智能眼镜图像、对象检测、多模态搜索和完整工具日志系统性结合起来。
15.2 设备、地区和类别分布并不均衡
超过一半图像来自 RayNeo V3，Ray-Ban Meta 只占约十分之一。数据来自四座城市，也无法覆盖全球道路标识、语言、商品、建筑与公共服务差异。
对于智能眼镜这类高度依赖现实环境的任务，地域外泛化非常关键。一个在加拿大机场和城市街道上表现良好的模型，未必能直接理解东南亚夜市、欧洲铁路站或中国县城医院里的视觉线索。
15.3 搜索引擎使评测难以长期完全复现
SUPERLENS 使用 SerpApi 驱动的图片与文字搜索。搜索结果会受到时间、地区、索引更新、商业排序和服务接口变化影响。
缓存能够保存一次实验中的查询与网页结果，却不能保证几年后研究者重新执行时得到完全相同的证据。对于快速变化问题，这既是基准的现实性来源，也是复现难题。
未来可以同时报告两套结果：固定快照上的可复现实验，以及开放网络上的实时实验。前者适合算法对比，后者适合衡量真实部署能力。
15.4 地点元数据既有帮助，也可能形成额外信息通道
SUPERLENS 的提示中会提供图像地点信息。对智能眼镜来说，这很合理，因为真实设备可以获得 GPS、网络位置或场所上下文；地点也能帮助区分相似建筑和本地标志。
但这意味着排行榜不再只测纯视觉能力。模型可能利用“Canada”“Vancouver”等地点提示缩小候选范围。后续研究最好同时报告有地点与无地点两种设置，区分视觉识别收益和元数据收益。
15.5 隐私过滤不等于隐私问题已经解决
论文在数据入库前自动遮挡人脸、车牌等敏感内容，这是必要且负责任的处理。但真实智能眼镜系统的隐私风险远不止图像中是否出现清晰人脸。
设备还可能推断用户所在位置、购物偏好、同行人员、工作场所和日常活动。图片搜索意味着部分视觉内容会被发送给外部服务，搜索日志本身也可能暴露用户正在关注什么。
论文关注的是问答评测，没有系统讨论数据最小化、端侧处理、旁观者同意、日志保留期限和第三方搜索服务的数据治理。这些会成为真实产品必须补齐的部分。
15.6 准确率之外的系统成本没有被完整评估
SUPERLENS 需要目标检测、查询拆解、多次图片或文字搜索、网页下载、HTML 清洗、文本切块、重排和最终生成。每一层都会增加延迟、费用和失败概率。
论文通过两级 Redis 缓存降低重复搜索与解析成本，但没有给出完整端到端延迟、平均令牌消耗、网络流量、能耗和单次问答价格。
对于桌面研究原型，这些指标可以暂时放在后面；对于佩戴设备，它们直接影响续航、发热、响应速度和用户是否愿意长期使用。
16. 从产品角度，还缺少哪几块能力
如果把 SUPERLENS 继续推进到实际产品，至少还需要补上五层能力。
16.1 指代消解与持续视觉记忆
用户不会总是说“画面左上角的红色标志”，而会说“这个”“刚才那个”。系统需要把语音、视线、头部运动和短期视频上下文结合起来。
16.2 检索结果中的实体一致性检查
系统不仅要判断网页是否相关，还要验证网页中的实体是否与图像目标一致。可以结合 logo、外观属性、OCR 文本、地点和时间进行交叉核验。
16.3 不确定性表达
当目标过小、图像模糊或证据冲突时，系统应主动说明不确定性，甚至追问：
“你指的是玻璃上的红色图案，还是旁边的文字？”
在很多情况下，一次澄清比一次错误的多跳搜索更便宜。
16.4 端云协同
目标检测、OCR 和简单识别可以尽量在本地完成，复杂检索与长链推理再交给云端。这样才能在准确率、延迟、功耗和隐私之间取得平衡。
16.5 从问答正确走向任务安全
SUPERLENS 更接近“会使用搜索工具的问答 Agent”，还不是能够改变外部状态的通用行动 Agent。未来若接入导航、购物、消息或设备控制，就必须增加权限管理、确认、审计与撤销机制。
16.6 让用户能够快速核对证据
智能眼镜不适合展示长篇网页，但完全无证据的语音回答又很难建立信任。产品可以采用分层反馈：
- 先用一句话给出答案；
- 再说明答案来自哪个对象和哪个来源；
- 用户追问时显示或朗读关键证据；
- 对高风险结论提供手机端详情页；
- 对冲突来源明确说明“目前找到两种说法”。
例如，不应只说“这辆车是 Honda Freed Hybrid”，还可以补充：“我根据车头局部图片匹配到两条 Honda Freed Hybrid 结果，但无法从当前角度确认具体年份。”
16.7 把等待过程变得可感知
SUPERLENS 的一次回答可能经过多轮搜索和网页解析。即使最终只需要十几秒，用户在没有屏幕反馈时也可能不知道系统是否听见、是否卡住。
更合理的交互应该给出阶段性状态：
已识别到你指的是书架上的蓝色书封
↓
正在查找书名与作者
↓
已确认作者，继续查询其他作品
↓
找到两个可信来源，正在核对
这类反馈不仅改善体验，还能让用户在系统一开始认错对象时及时打断，避免错误在后续链路中放大。
17. 对后续研究的几点启示
从研究角度看，SUPERGLASSES 展示的不只是一个新数据集，也暴露了多模态 Agent 未来需要突破的几个基础问题。
17.1 从一次性目标检测走向交互式指代定位
论文中的目标检测主要根据问题抽取对象类别，再在单张图片中框出区域。但真实用户的指代可能依赖视线、手势、头部运动和前几秒视频。
未来系统可以把“用户看向哪里”“手指指向哪里”“哪个对象刚刚被拿起”作为共同信号，并在不确定时通过追问完成交互式定位。
17.2 让查询规划显式维护实体状态
多跳搜索不应只是生成一组相互独立的搜索词。系统需要维护一张临时实体表：当前确认了哪些对象、实体来自哪条证据、哪些属性仍未验证，以及下一跳依赖哪一个结论。
以 Campbell’s 案例为例，系统应保存：
视觉对象：Campbell's soup can
相关作品：Campbell's Soup Cans
作品作者：Andy Warhol
待查属性：nationality
如果某一步出现多个候选，就应先消歧，而不是随意选一个继续向下搜索。
17.3 从相关性重排走向证据一致性验证
当前多模态重排主要判断网页片段与问题、图像是否相关。下一步可以增加更强的验证层：
- 图片中的 logo 是否与网页品牌一致；
- OCR 文字是否和搜索结果中的型号一致；
- 多个来源是否对关键事实给出相同结论；
- 网页发布时间是否满足问题的时间要求；
- 来源是否为官方页面、可靠数据库或低质量聚合站；
- 证据是否真的支持最终答案，而不只是包含相同关键词。
17.4 将“是否搜索”训练成可校准的决策
Demand-Adaptive Answerer 目前依赖提示和模型自我判断。模型可能过度自信，也可能对简单问题频繁搜索。
未来可以把检索需求预测建模为独立任务，使用人工搜索轨迹监督模型学习：何时直接回答、何时搜索、选择哪种模态、预计需要几跳，以及何时应该停止继续搜索。
评价指标也不应只看最终正确率，还可以加入不必要搜索率、漏检索率、平均工具次数和单位正确答案成本。
17.5 建立同时考虑准确率、延迟与隐私的综合评测
智能眼镜不是离线问答服务器。一个准确率高 2 个百分点、但慢三倍、耗电更多并上传完整视野的系统，未必是更好的产品。
未来基准可以同时报告：
- 最终答案准确率；
- 目标定位准确率；
- 工具选择准确率；
- 搜索与推理平均跳数；
- 首次反馈与最终回答延迟；
- 每题网络流量和能耗；
- 上传到云端的像素或文本比例；
- 错误答案的置信度校准；
- 敏感内容暴露与过滤效果。
只有把这些指标放在一起，才能真正评价“适合戴在脸上的 Agent”，而不是只评价一个可以访问图片和搜索引擎的云端模型。
18. 总结
SUPERGLASSES 给智能眼镜领域提出了一道更接近现实的考试。
它不再只问模型能否识别一张干净图片，而是要求模型面对真实第一视角画面，完成对象定位、知识缺口判断、工具选择、查询拆解、网页检索和证据推理。
实验给出了三个清晰结论：
第一，当前最强视觉语言模型在真实智能眼镜场景中仍远未达到可靠水平，最好通用模型的总体准确率只有 43.02%。
第二，朴素 RAG 不但不一定有效，还可能让结果显著变差。外部搜索只有在检索时机、对象和模态都正确时才有价值。
第三，SUPERLENS 证明了任务定制的 Agent 架构能够弥补部分模型能力不足，但 44.10% 的成绩也表明，这仍然只是起点。
对未来的智能眼镜来说，真正关键的问题已经不只是：
“AI 能不能看见我眼前的东西？”
而是：
“AI 能不能确认我在问什么，知道自己何时不知道，并从混乱的现实与开放互联网中找到可信答案？”
只有这条链路稳定下来，智能眼镜才可能从一个随身摄像头，真正变成理解现实世界的个人智能助手。