https://blog.tanteng.space/tags/vlm/Recent content in VLM on Tony老师的博客HugozhWed, 22 Jul 2026 10:00:00 +0800https://blog.tanteng.space/2026/07/vlm-multimodal-practical/Wed, 22 Jul 2026 10:00:00 +0800https://blog.tanteng.space/2026/07/vlm-multimodal-practical/<blockquote> <p>2025 年 GPT-4o、Claude 4、Gemini 2.5 都原生支持多模态——能&quot;看图&quot;的 LLM 已经从前沿技术变成基础设施。但<strong>多模态 ≠ 万能</strong>：图片理解有 4 个根本限制（幻觉、空间推理、计数、小文本）。这篇文章讲清楚 VLM 的真正能力和工程化路径。</p> </blockquote> <p>VLM（Vision-Language Model）让 LLM 突破&quot;只能读文本&quot;的边界——能看截图、读 PDF、理解图表、识别人脸、看懂 UI。这是 2025-2026 年 AI 应用最重要的能力扩展。</p> <p>但很多团队的 VLM 应用踩了同一个坑：<strong>直接拿来用，没考虑 VLM 的边界</strong>。结果是上线后遇到各种边界 case 才补窟窿。</p>https://blog.tanteng.space/2025/07/multimodal-rag-and-colpali/Tue, 08 Jul 2025 15:00:00 +0800https://blog.tanteng.space/2025/07/multimodal-rag-and-colpali/<blockquote> <p>2023 年我们做合同 RAG，要先 OCR 提取文本，再做 layout 分析识别表格，再用 PyMuPDF 切 chunk，最后 embedding 入库。整条管线 6 个组件，每个都可能丢信息——表格合并了、数字 OCR 错了、扫描件直接卡死。<strong>到 2024 年 ColPali 出现，这条管线被彻底推翻</strong>：把 PDF 当图片扔给 VLM，模型同时理解文字、表格、图表、手写体，<strong>直接出 patch embedding</strong>。</p> </blockquote> <p>这是一篇多模态 RAG 检索架构的文章。Phase 1-6 的 RAG 文章讲了&quot;召回率优化&quot;（BM25 + 向量 + rerank），本文讲的是<strong>当文档本身就是图像时</strong>的范式跃迁：</p> <ul> <li>传统 OCR + chunking 管线的 4 个失效场景</li> <li>ColPali 的核心思路：<strong>PDF → 图片 → VLM → patch embedding → 检索</strong></li> <li>Late Interaction（ColBERT 风格）在视觉空间的延伸</li> <li>ColQwen2/2.5、ViDoRe benchmark、工程取舍</li> </ul>