
神经网络早就有了,可没人当回事;它被骂过、被扔进冷柜三十年;最后怎么活过来的?
。

我前两天翻老论文,发现个怪事:人工神经网络这玩意儿,比第一台通用计算机ENIAC还早出生。1943年,一个神经科医生麦卡洛克和一个逻辑学研究生皮茨,凑一块写了篇纸面文章,不算代码,不接电路,就用布尔代数推神经怎么“开”和“关”。他们真没想造AI,就想搞明白人脑里一个细胞怎么响应信号。连“计算机”这个词当时都还飘在空气里,哪来的训练数据?哪来的GPU?纯靠笔算加脑补。
后来1957年,罗森布拉特真捣鼓出个“感知器”,能分苹果和梨的图片——当然图特别小,还全是手画的。但问题来了:它只能画直线切分类,遇到“异或”这种得绕个弯的问题,直接卡死。1969年,明斯基和佩珀特出书点破这事,不是为了封杀,是实打实算出来的数学边界。可书一出,资助没了,会议不收稿,学生转行去写规则引擎。这事被后来人叫“第一次寒冬”,其实压根没冻死,只是挪地方了——心理学系接着调权重,物理系拿它模拟磁畴,连苏联那边都有人在用类似结构做模式识别。
BP算法,就是现在人人嘴里的“反向传播”,1974年就被一个叫沃博斯的美国博士写进论文里了。结果呢?投稿被拒,导师说“这东西太像生物学,不像计算机科学”。他只好把论文塞进控制论冷门会议,没人读。一直到1986年,鲁梅尔哈特团队在实验室里又推一遍,配上VAX小型机和几万张带标签的手写数字,大家才“啊”一声:原来能跑通。但这时候,专家系统正崩盘——MYCIN看病是厉害,可一换科室就要重写几百条规则,维护成本高到医院不买账。市场空了一块,连接主义才悄悄爬回来。
2006年辛顿发DBN那会儿,我已经上小学了。他没发明新神经元,就是给深层网络“搭个梯子”:先一层层预训练,再整体微调。这招听着土,但管用,让网络能扎下去十层还不散架。可光有这招也没用——2012年AlexNet夺冠,靠的是俩东西:英伟达GTX580显卡堆出的算力,和李飞飞团队整理的1400万张标注图。没有GPU,训练要跑几个月;没有图,模型连猫狗都分不清。
中国这边动作不慢。2017年国家发文件,头一次把“类脑智能”写进人工智能规划里,后面跟着拨钱建实验室,批项目搞脉冲神经网络、忆阻器芯片。不是跟风,是早有人蹲在神经科学、微电子和统计学习三个岔路口等了十几年。比如清华有个组,2010年就在用FPGA跑三层SNN,功耗只有CPU的三十分之一,但没人报道,因为不刷分、不发顶会,纯属自用。
现在的大模型动不动千亿参数,可拆开看,每个神经元还是那个1943年的老配方:加权求和,过阈值,输出0或1(或者软一点的0.99)。连激活函数用的ReLU,也还是从逻辑斯蒂回归里慢慢长出来的变体。所谓“革命”,其实就是把老树苗挪到新土上,浇水(大数据)、施肥(算力)、搭架子(工程框架),它自己抽枝展叶罢了。
很多人以为技术是一锤子买卖,谁先喊出来谁赢。其实不是。神经网络这根线,从1943年拉出来,中间断过、埋过、接错头、绕远路,但一直没断。它不在聚光灯下活,就在课桌底下、实验室角落、甚至苏联某本泛黄的控制论讲义夹缝里喘气。
实盘配资门户提示:文章来自网络,不代表本站观点。