BLIVA 是一种革命性的视觉语言模型，专为精准读取图像中的文本而设计，为各行各业带来了前所未有的应用可能性。由加州大学圣地亚哥分校的顶尖研究人员团队开发，BLIVA 专注于处理包含文本元素的复杂图像，通过突破性的技术融合，显著提升了多模态模型的性能。
视觉语言模型（VLM）通过整合视觉理解能力，将大型语言模型（LLM）的功能拓展至图像分析领域，能够就图像内容进行智能问答。这类多模态模型在开放式视觉问答基准测试中展现出卓越表现，例如 OpenAI 的 GPT-4 多模态版本，虽目前仅在“Be my Eyes”应用中提供有限功能，但已证明其潜力。然而，传统 VLM 在处理含文本图像时仍存在明显短板，这一现实场景中的常见需求亟待解决。
BLIVA 的创新之处在于巧妙融合了两种互补的视觉嵌入技术。其一是 Salesforce InstructBLIP 提取的学习查询嵌入，专注于识别与文本输入相关的图像区域，确保对文本信息的精准定位；其二是受 Microsoft LLaVA 启发的编码修补嵌入，直接从完整图像的原始像素中提取修补信息，捕捉更丰富的视觉细节。这种双重策略使 BLIVA 能够同时利用针对文本优化的精炼查询嵌入，以及更全面的视觉编码信息，实现文本与图像的完美协同。
经过大规模数据训练，BLIVA 展现出令人瞩目的性能。研究人员使用约 550,000 个图像标题对进行预训练，并通过 150,000 个视觉问答示例进行指令微调，同时保持视觉编码器和语言模型的稳定性。在多个权威数据集上的测试结果表明，BLIVA 的表现远超 InstructBLIP 等同类模型。例如，在 OCR-VQA 数据集上，BLIVA 的准确率高达 65.38%，而 InstructBLIP 仅达到 47.62%，这一显著差距有力证明了多嵌入方法在提升视觉理解能力方面的巨大优势。此外，BLIVA 在 YouTube 视频缩略图数据集上也取得了 92% 的卓越准确率。
BLIVA 在图像文本识别领域的强大能力使其具备广泛的应用前景。无论是交通领域的路牌识别，还是消费领域的食品包装信息提取，BLIVA 都能提供高效可靠的解决方案。其精准的文本读取功能有望推动多个行业的数字化转型，改善现实世界中的多种应用场景。更多技术细节和资源可访问项目网址：https://huggingface.co/datasets/mlpc-lab/YTTB-VQA。
