编者按：本文经微新创想授权转载自微信公众号腾讯科技（ID：qqtech），作者无忌，编辑郝博阳。作为人工神经网络与深度学习的先驱，杰弗里·本吉奥与杨立昆、杰弗里·辛顿因“概念与工程突破，使深度神经网络成为计算核心”共同荣获2018年计算机领域最高荣誉——图灵奖，被誉为“人工智能教父”。今年7月，本吉奥向美国参议院表示，应立法监管迅猛发展的人工智能技术。他指出，顶级AI研究者已将人类全面认知能力实现时间从“数十年至数百年”修正为“数年或数十年”，更短的时间框架令人担忧。今年9月，本吉奥接受《连线》杂志专访，探讨AI发展现状、研究禁忌及潜在风险等议题。以下为访谈内容：
达戈斯蒂诺：BBC报道称您对毕生工作感到“失落”。您否认此言，却似乎陷入矛盾。如何描述您的转变？
本吉奥：我表达的观点被误解了。整个冬季，我对研究方向、目标与意义的认知发生剧变。接受BBC采访时，我并非迷失，而是意识到忽略了一些重要议题——不仅是学术，更关乎情感。十年前，我就关注过存在性风险，但当时未予重视。斯图尔特·罗素2019年的《与人类相容》让我重新审视，但初期仍认为“未来遥远”。直到冬季，我才意识到AI双刃剑效应与失控风险可能比预想的更早到来，不得不调整工作方向，并呼吁学界正视这一议题。改变身份认同认知的心理因素不容忽视，许多同事难以接受AI潜在威胁这一禁忌话题，说出真相需要勇气。
达戈斯蒂诺：早期AI社区如何表达这一禁忌？现状如何？
本吉奥：警示者常被主流期刊拒之门外，形成“提交受阻”与“不屑主流”的两难局面。但近半年情况正在改变。OpenAI发布ChatGPT后，公众从惊叹转向审慎，《大西洋月刊》甚至刊文指出其局限性。共和党候选人辩论中，克里斯·克里斯蒂称“受够了ChatGPT式声音”，公众认知正在进化。
达戈斯蒂诺：ChatGPT的发布对您有何启示？您认为它是变革关键吗？
本吉奥：我的认知轨迹相反。我更关注弥合人机智能差距。ChatGPT初期让我安慰于其“缺失基本要素”，但体验后意识到其惊人进步。AI发展速度远超预期，修复缺陷可能只需数年。我尝试设计问题让ChatGPT犯错，却反被其突破。若能结合AI表达复杂概率分布的能力与海量信息高效学习机制，或许很快实现系统1（直觉思维）的突破，而当前AI缺失的是系统2（推理能力）。若在一年内弥合差距，再让AI持续扩张，后果难料。
达戈斯蒂诺：您采取了哪些行动？
本吉奥：3月底，我联系辛顿共促《未来生命研究所》公开信，呼吁暂停GPT-4以上系统训练至少6个月。双方达成惊人共识，犹如牛顿与莱布尼茨独立发现微积分。辛顿认为数字计算技术比大脑更具根本性优势，即使仅复制人类智能原理，机器也会更聪明。AI在编程、网络攻击、生物化学设计等领域可能超越人类。我长期推动机器学习应用于药物与材料科学，却意识到技术可被用于制造致命产物，这促使我签署公开信。
达戈斯蒂诺：您的观点引发广泛关注，您如何看待？
本吉奥：媒体迫使我说出想法，这是好事。近期我正思考政策应对方案。有人质疑我“吓唬人”，但我并非末日论者，而是正视问题。当前大量资金涌入AI领域，缓解风险迫在眉睫。核风险有国际条约，但朝鲜游离其外。AI风险无国界，即使有国际条约，也可能被无视。若能延迟十年发展，我们可完善监管、提升防御、深化理解。各国政府应跟踪GPU等硬件采购，时间至关重要。监管能降低灾难概率，或推迟危机发生。
达戈斯蒂诺：公众热衷通用人工智能，您认为它会突然出现吗？
本吉奥：向AGI发展是连续过程。过去我反对“完全通用智能”概念，但现在理解为“擅长多任务系统”。关键在于其在可能伤害人类领域的超越性。即使AGI在比赛中有劣势，若在危险领域更强，后果不堪设想。恶意设计的AGI本身就可能危险。AI与气候变化互动，若失控可能加速人类毁灭。
达戈斯蒂诺：AI如何改变气候？
本吉奥：许多人认为AI虚拟性无法影响现实。实则相反。经济基础设施依赖计算机，网络攻击可能造成社会混乱。AI操控语言能力将增强，可能通过社交媒体影响人类行为，引发灾难性后果。近年阴谋论影响可见一斑，AI只需影响少数关键人物即可改变现状。
达戈斯蒂诺：人类无知是致命弱点吗？其他攻击方式？
本吉奥：AI可收买犯罪组织执行任务。暗网访问易如反掌。五年内机器人技术可能突破，当前视觉与语言技术已获突破，但控制能力尚未实现。但资金充足者可能加速这一进程。若十年内机器人技术成熟，AI将脱离人类控制。核武器与生物安全风险更甚。制药公司可按DNA序列制造细菌病毒，但车库创业者可能制造危险生物制剂。需制定法规限制生物技术应用。
达戈斯蒂诺：您与其他顶级研究者（如杨立昆）的分歧有何意义？
本吉奥：我试图理解为何价值观、经验相似者结论不同。心理因素、机构利益（如推销AI的企业）可能影响判断。多数科学家习惯基于实验结论，而AI风险涉及不确定性大的未来。伦理与社会科学在无实验时仍需决策。沉默的大多数研究者因不确定性未明确立场。
达戈斯蒂诺：您在绝望与希望光谱中处于什么位置？
本吉奥：用法语词“impuissant”形容更贴切——问题存在却无力解决。比绝望更糟，因我认为可解决。若全球达成协议，可避免风险。但当前经济政治体系阻碍这一目标。除非发生灾难，否则难以改变。气候变化若说服99%的人行动即可解决，但AI需要确保“无人犯错”。我并非完全无能为力，可呼吁他人，监管能降低风险。若AI系统安全却强大，企业可能利用经济优势控制政治，最终导致世界政府独裁。
达戈斯蒂诺：如何更好准备？
本吉奥：未来需建立人道防御组织，类似各国国防体系。需国际协作保护人类免受毁灭性事件影响。当前投资集中于私有领域，缺乏公益目标。
