核心要点
- 问题/背景
- 这篇 CVPR 2026 论文把视频对象理解从单独的 detection / segmentation / tracking / captioning 推向统一的 Dense Video Object Captioning：输出每个时空对象轨迹的 mask、box 和自然语言描述。
- 方法/机制
- 核心贡献包括用强 VLM 自动生成时空局部对象 caption，将 LVIS 和 LV-VIS 扩展为 LVISCap / LV-VISCap，并用这些合成数据训练端到端 CaptionFormer。
- 结果/证据
- 模型以半在线方式处理视频 clip，在对象 query、mask/box 预测、tracking 与 captioning 之间建立统一架构，并在 VidSTG、VLN、BenSMOT 等 DVOC 基准上达到 SOTA。
- 收录价值
- 它值得收录，因为它提供了 spatio-temporal object-centric multimodal understanding 的可复用任务接口和数据合成范式，对视频理解、具身感知、场景记忆和对象级世界建模都有直接外溢价值。
原始摘要与中文对照
中文对照翻译
密集视频对象字幕生成（DVOC）是一项在视频中联合检测、跟踪和生成对象轨迹字幕的任务，需要理解时空细节并用自然语言描述它们的能力。由于任务的复杂性以及手动标注的高昂成本，以往的方法诉诸于使用有限数据的训练策略，这可能导致次优的性能。为了规避这个问题，我们提出利用最先进的VLM生成关于时空局部化实体的字幕，并用我们合成的字幕（LVISCap和LV-VISCap）扩展LVIS和LV-VIS数据集。此外，我们引入了一个端到端模型CaptionFormer，它能够联合检测、分割、跟踪和生成对象轨迹的字幕。凭借在LVISCap和LV-VISCap上的预训练，CaptionFormer在三个现有基准VidSTG、VLN和BenSMOT上取得了最先进的DVOC结果。
原始摘要
Dense Video Object Captioning (DVOC) is the task of jointly detecting, tracking, and captioning object trajectories in a video, requiring the ability to understand spatiotemporal details and describe them in natural language. Due to the complexity of the task and the high cost associated with manual annotation, previous approaches resort to training strategies with limited data, potentially leading to suboptimal performance. To circumvent this issue, we propose to generate captions about spatio-temporally localized entities leveraging a state-of-the-art VLM, and extend the LVIS and LV-VIS datasets with our synthetic captions (LVISCap and LV-VISCap). Moreover, we introduce an end-to-end model, CaptionFormer, capable of jointly detecting, segmenting, tracking and captioning object trajectories. With pretraining on LVISCap and LV-VISCap, CaptionFormer achieves state-of-the-art DVOC results on three existing benchmarks, VidSTG, VLN and BenSMOT.