萨姆·奥尔特曼近期成为全球瞩目的科技领袖，作为人工智能公司OpenAI的CEO与联合创始人，他去年11月推出的聊天机器人ChatGPT在短短两个月内用户数突破亿级，引发全球AI热潮，使OpenAI估值接近300亿美元。奥尔特曼近期在全球五大洲20多个国家进行访问，与当地各界人士交流AI发展、监管及安全问题。6月10日，他在北京智源大会上就AI安全发表演讲，这是自ChatGPT发布以来他首次在中国公开演讲。
ChatGPT展示了AI强大的翻译、理解和推理能力，在多项考试中超越人类水平，既带来通用人工智能（AGI）的曙光，也引发AI导致失业、虚假信息甚至取代人类的担忧。奥尔特曼多次强调AI安全问题，今年2月他在文章中称AGI有赋能人类和招致社会混乱的双重风险，OpenAI的使命是确保AGI造福全人类。3月底，包括马斯克、沃兹尼亚克等科技领袖签署联名信，呼吁暂停训练比GPT-4更强大的AI系统至少6个月，共同开发安全协议；若无法暂停，政府应介入。奥尔特曼虽未参与签名，但认同谨慎行事的重要性，并在5月中旬的参议院听证会上敦促政府与立法机构对AI进行规范与监管。
奥尔特曼提出，可尝试使用AI系统监督其他AI系统，OpenAI正在进行相关研究。这一路径的优势在于监督技术能同步发展。演讲后，智源研究院理事长张宏江提问，奥尔特曼透露OpenAI近期不会研发GPT-5，并期待中国AI研究者为AI安全做出贡献。
奥尔特曼强调AI安全至关重要，未来十年全球可能诞生非常强大的AI系统，人类需提前准备。技术进步遵循指数曲线，AI影响不仅规模巨大，速度惊人，未来十年AGI创造的生产力可能超过最大公司。这场AI革命将创造共享繁荣，但需共同管理。全球合作在医疗、科学等领域取得成功，AI领域更需要国际合作，否则可能破坏医疗系统、导致生态破坏。
奥尔特曼呼吁建立国际规范和标准，注重过程包容性，为所有国家建立相同防护措施，同时建立全球互信，以可验证方式安全建立强大AI系统。国际科学界、技术界应合作推动透明度和知识共享机制，发现紧急情况的研究人员应分享发现。AI对齐研究需持续进行，OpenAI通过人类反馈强化学习（RLHF）训练AI系统，并研发新方法。GPT-4完成预训练后，OpenAI持续进行对齐和安全研究才部署，但更高级AI的对齐仍是未解决问题，需要新方法政府更多监督。
奥尔特曼提出可扩展监督和可解释性等新研究方向，目标是训练AI系统辅助对齐研究。这种方法能跟随AI技术同步发展。实现AGI好处并减轻风险是时代重要挑战，全球研究人员有巨大潜力，若合作成功，能利用AGI解决世界重要问题，显著提高人类生活质量。
在问答环节，张宏江询问奥尔特曼环球访问成果，奥尔特曼表示国际社会对制定安全开发AI系统标准感到兴奋，讨论了部署前测试、建立数据库和分享安全研究机制等。张宏江询问AGI距离，奥尔特曼认为未来十年可能诞生强大AI系统，AI安全问题迫切重要。张宏江询问对齐是否能解决AGI安全，奥尔特曼认为需解决整个挑战，对齐是其中一部分，还包括验证系统运行方式。张宏江询问是否需改变AGI模型架构以使其更安全，奥尔特曼认为可能需要不同架构，有助于解释当前模型。张宏江询问控制模型数量是否能让大模型更安全，奥尔特曼认为更重要是建立机制限制强大模型，确保创建者有资源和责任确保系统安全。张宏江询问OpenAI和AGI下一步计划，奥尔特曼表示对未来发展充满好奇，不会很快研发GPT-5。张宏江询问OpenAI发展方向和推动AI安全原因，奥尔特曼认为安全的AGI是最令人兴奋、最重要的工作，坚信这是最具变革性的事情之一。