Meta近日发布了一项名为FACET的全新数据集，旨在深入探究计算机视觉模型在识别特定人群时可能存在的偏见问题。FACET数据集包含32000张高质量图片，涵盖了50000个个体，并详细标注了职业、活动类别以及人口统计特征和身体属性。这一创新数据集为研究人员和从业者提供了宝贵的工具，用以评估模型在分类、检测、分割和定位任务中的公平性表现。
微新创想(idea2003.com)9月1日 消息：Meta通过发布FACET数据集，进一步推动了AI领域的公平性研究。该数据集不仅包含了丰富的图像资源，还通过人类注释者对每张图片进行了细致的标注，涵盖了从职业活动（如篮球运动员、DJ、医生）到人口统计特征（性别表现、年龄组）以及身体属性（肤色、发型、面部特征等）的全方位信息。这一举措使Meta能够对模型在识别不同人群时的偏见进行深度评估。
Meta在与技术媒体TechCrunch分享的博客文章中强调，FACET的发布旨在为研究人员和从业者提供基准测试工具，帮助他们识别模型中存在的偏见，并监控缓解措施的效果。文章中写道：“我们鼓励研究人员使用FACET来评估其他视觉和多模态任务的公平性。”这一数据集的推出，标志着AI领域在推动公平性研究方面迈出了重要一步。
尽管探测计算机视觉算法偏见的基准测试并非新鲜事物，Meta此前也发布过相关工具，但FACET在深度和广度上均有所突破。它能够回答诸如“当被感知的性别表现具有更多传统男性特征时，模型是否在将人们分类为滑板运动员方面做得更好？”以及“当头发卷曲程度与直发相比时，任何偏见都会放大吗？”等复杂问题。
FACET的创建过程同样值得关注。Meta首先让注释团队对32,000张图像中的每张人物图像进行标注，内容涵盖人口统计属性（如性别表现、年龄组）、身体属性（肤色、发型、面部特征等）以及类别标签。这些标注信息随后与来自Segment Anything1Billion的数据集进行整合，后者是Meta设计的用于训练计算机视觉模型从图像中分割或隔离物体和动物的数据集。
然而，FACET的创建过程也引发了一些争议。有报道指出，FACET图像的来源是Segment Anything1Billion，而这些图像则从“照片提供商”处购买，目前尚不清楚图片中所描绘的人是否知情。此外，关于注释者的招募方式和报酬水平也存在疑问。Meta在白皮书中称注释者为“经过培训的专家”，并来自北美、拉丁美洲、中东、非洲、东南亚和东亚等多个地理区域。他们通过第三方供应商的专有注释平台工作，报酬按照每个国家一小时的工资标准支付。
尽管存在一些争议，FACET在评估模型公平性方面仍具有重要意义。Meta将自家的DINOv2计算机视觉算法应用于FACET，发现了几种偏见，包括对某些性别表现的人的偏见以及对典型地将女性照片识别为“护士”的可能性的偏见。Meta在博客文章中写道：“DINOv2预训练数据集的准备过程可能无意中复制了为策展选择的参考数据集中的偏见。我们计划在未来的工作中解决这些潜在的不足之处，并相信基于图像的策展也可以帮助避免因使用搜索引擎或文本监督而产生的潜在偏见。”
没有完美的基准测试，但Meta的FACET无疑为AI领域的公平性研究提供了重要支持。Meta承认FACET可能无法充分捕捉现实世界的概念和人口群体，并指出由于自FACET创建以来，许多职业形象可能已经发生了变化。例如，在COVID-19大流行期间拍摄的FACET中的大多数医生和护士都佩戴了比大流行前更多的个人防护装备。Meta表示，目前不打算更新此数据集，但将允许用户标记任何可能令人反感的内容，并在发现时删除这些内容。
除了数据集本身，Meta还提供了一个基于网络的数据集浏览器工具。要使用该工具和数据集，开发人员必须同意不将其用于训练计算机视觉模型，而仅用于评估、测试和基准测试。这一举措体现了Meta在推动AI公平性研究方面的决心和努力。