太浩湖的雪夜,赌场酒店内一场秘密竞拍正悄然进行。湖面如蓝宝石般闪耀,雪道蜿蜒,这里不仅是北美最大的高山湖泊,更是硅谷后花园——太浩湖距旧金山湾区仅200多英里,扎克伯格、埃里森等科技巨头在此圈地建豪宅。竞拍对象是一家成立仅1个月、仅有3名员工的公司——DNNresearch,创始人是多伦多大学教授杰夫·辛顿及其两名学生。这家公司虽无有形资产,却引来Google、微软、DeepMind和百度四大巨头的角逐。
65岁的辛顿瘦削苍老,腰椎间盘疼痛折磨着他,他坐在酒店703房间的地板上为竞拍定下规则:起拍价1200万美元,每次加价至少100万美元。几个小时后,价格飙升至4400万美元,辛顿头晕目眩,”感觉像在拍电影”,最终将公司卖给Google。这场竞拍的缘起,竟来自6个月前Google的”谷歌猫”项目。
2012年6月,Google Brain公开了”谷歌猫”研究成果——用算法识别YouTube视频中的猫。项目由斯坦福转投Google的吴恩达发起,Jeff Dean参与,并获得Larry Page巨额预算。他们搭建神经网络,从YouTube下载海量视频让模型自主学习,动用16000个CPU训练,最终实现74.8%识别率,震惊业界。吴恩达在项目尾声离职创办教育项目,推荐辛顿接替工作。辛顿虽婉拒大学邀约,却以64岁高龄成为Google史上最年长的暑期实习生。
作为深度学习宗师,辛顿敏锐发现”谷歌猫”存在缺陷:”他们运行了错误的神经网络,并使用了错误的计算能力。”他找来两名学生Ilya Sutskever和Alex Krizhevsky,创建新神经网络,在ImageNet图像识别比赛中以84%准确率夺冠,彻底震撼学术界和产业界。2012年10月佛罗伦萨会议上,辛顿团队展示的AlexNet,仅用4块GPU就超越谷歌的16000个CPU,成为计算机科学史上最 influential 论文之一。
DNNresearch的余凯读完论文后激动不已,立即与辛顿联系合作。辛顿提议将团队打包成公司,邀请巨头竞拍,最终Google以4400万美元胜出。这场竞拍开启了更大竞赛:Google乘胜追击收购DeepMind,后者推出AlphaGo震惊全球;百度虽败却决心押注AI,十年投入千亿,请来吴恩达;微软虽慢却赢得OpenAI,其创始人之一正是Ilya Sutskever。辛顿则继续在Google工作至2023年,荣获ACM图灵奖。
从”谷歌猫”到AlexNet,再到太浩湖竞拍,AI浪潮的伏笔在6个月内埋下。2012年6月至12月的180天,碳基人类的命运被永远改变,却只有少数人意识到。李飞飞正是其中之一,她创办ImageNet数据集,推动深度学习发展。
ImageNet的诞生源于李飞飞观察三岁孩子学习世界的启示:孩子通过大量接触标注图片掌握概念。2006年,她开始搭建ImageNet数据集,用亚马逊众包平台解决标注难题。2009年,包含320万张图片的ImageNet数据集诞生,但规模仍显不足。李飞飞举办ImageNet图像识别大赛,吸引参赛者自带算法,推动深度学习成为主流。
AlexNet采用卷积神经网络(CNN)算法,模拟人脑识别机制。相比传统方法,CNN能处理非结构化数据,如”液体猫”。AlexNet用6000万个参数和65万个神经元,在两块GPU上完成262千万亿次浮点运算,震惊产业界。GPU的崛起始于2006年,英伟达发布Tesla架构和CUDA平台,大幅降低深度学习算力门槛。
2012年ImageNet挑战赛后,人工智能领域面临严重人才短缺。科技公司不惜高价挖人,如百度挖辛顿团队、Facebook挖杨立昆、苹果挖Ruslan Salakhutdinov。这场人才争夺战推动AI产业化进程,从人脸识别到自动驾驶,从GPU订单到大模型时代,AI理论大厦日复一日浇筑。
2017年,Google提出Transformer模型,开启大模型时代。ChatGPT横空出世,一切可追溯到2012年的ImageNet。而推动这场”大爆炸时刻”的历史进程,始于2006年。辛顿提出解决梯度消失问题的方案,李飞飞搭建ImageNet数据集,英伟达发布GPU,深度学习上空的三朵乌云消散。
2006年之前,深度学习的大厦虽已建成,却因算法、算力、数据三座乌云而无法发光。2006年发生的三件事改变了这一切:辛顿提出梯度消失解决方案,李飞飞开始搭建ImageNet,英伟达发布GPU。这三件事吹散乌云,并在2012年交汇,改写高科技产业乃至人类命运。
AI革命启示我们:产业厚度决定创新高度,人才重要性越前沿技术领域越突出,创新难度在于面对不确定性。深度学习先驱们面对质疑和自我怀疑,坚持到黎明前的黑暗,最终创造伟大。推动历史的人往往猜不到自己在历史进程中的坐标,但他们的孤独和汗水终被铭记。
