微新创想：在全球制造业和建筑业面临严重劳动力短缺的背景下，如何让挖掘机等重型设备实现自主作业成了行业焦点。初创公司Bedrock Robotics近日通过与 AWS 生成式 AI 创新中心合作，成功利用视觉语言模型（VLMs）解决了自动驾驶系统开发中最耗时的难题——海量视频数据的标注。
传统上，训练施工自动化系统需要人工对数百万小时的监控视频进行标注，识别各种铲斗、挂钩及作业任务，这不仅成本极高，且效率极低。AIbase 获悉，通过引入Amazon Bedrock平台上的视觉语言模型，该团队能够像与人类聊天一样，通过自然语言指令让 AI 自动识别并描述视频中的复杂场景。
这种“AI 标注 AI”的模式带来了显著的效率飞跃。报道指出，原本由于拍摄角度奇特、工地粉尘干扰，普通模型对施工工具的识别准确率仅为34%，但在经过针对性的提示工程（Prompt Engineering）优化后，准确率飙升至70%。这意味着原本繁琐的人工筛选过程现在已转化为自动化、可扩展的数据流水线。
目前，这项技术已应用于Bedrock Operator改造方案中，让普通的挖掘机具备了厘米级的精准操作能力。这一案例不仅证明了 AI 在处理物理世界复杂数据方面的潜力，也为面临“用工荒”的建筑、物流及农业领域提供了一套可复制的自动化转型模板。