从人工神经网络的发展中,看我们脑网络如何训练得更好_训练_神经网络_网络

大家好,我叫吴思,来自北京大学心理与认知科学学院。

我想这段时间引起社会最大震动的一件事情就是ChatGPT的横空出世(ChatGPT是一种语言加工和对话的人工智能系统),ChatGPT它目前表现出来的智能水平超过几乎所有专家学者的预期。比尔·盖茨甚至说,ChatGPT带来的改变,可以类比于我们个人电脑、智能手机、互联网对社会引起的变革。

其实在此之前,人工智能已经给整个社会带来了震动。比如说在图像识别方面,它的水平已经超过了我们人类,人脸识别已经在社会各个方面得到了应用,AlphaGo已经击败了我们人类的世界冠军,AlphaFold在蛋白质结构解析方面,取得了革命性的突破,这些所有的技术革命,正在不断地改变着我们这个社会。

这一切从某种意义上来说也是一种恐慌,我想从我自己的科研的角度,来谈一谈人工智能技术的底层逻辑。其实,大家都觉的人工智能非常强大。其实,在很多技能上,人工智能还有很多的不足。

这里我演示了一个图片,是在学术界经常用的一个例子,表现了人工智能对噪音的鲁棒性的缺乏,这是一个熊猫,我加一点点特别设计的噪音,我们人是没有问题轻松的识别这是一个熊猫,但是机器它却认为是一个长臂猿,在这个带有噪音的鲁棒性的图片识别上,它比我们人还差得很远。

展开全文

左下角是13个动点,这是一个人在走动是吧,13个点代表人的走动,这个任务对我们人类来说很轻松,但是对于目前的人工智能,还是一个很挑战的问题。

右下角是一个熊的图像,我们人类丢掉了细节,只是抓住了熊的一个整体轮廓,就能识别出来这是个熊,但是对于目前的人工智能的识别还是很困难。

我们人还具有小样本学习的能力,比如说一个小朋友,也许就看了几张兔子的照片,在生活中所有的兔子他都能识别了,这就是举一反三的小样本学习的能力,目前的人工智能还需要大数据的训练。

还有右边显示的就是一种概念学习,我们在读书的时候,我们是拿着书本来学习知识,这些知识都是一种抽象的概念,我们人都没有问题,我们都在读书中学习了知识、认识世界,但是目前的人工智能还需要大数据,需要具体的例子才能干好这样的事情。

所以,虽然目前人工智能在一些专项技能上取得了长足进步,但是它对比我们人脑,实际上还有很多的不足。我们依然可以说,人脑仍然是宇宙中最智能的信息的加工机器。这个机器让我们能感知这个世界,能让我们学习,能让我们产生记忆,能进行推理抉择,能产生情绪喜好,这都是我们大脑干的事情。

大脑要实现这些复杂的认知功能,它最核心的计算特点就是网络计算。在我们的大脑中有上千亿个神经元,每个神经元平均的连接数是上万,这些复杂的网络,就构造了一个特别复杂的信息加工的网络,我们大脑实现各种智能任务,都是靠这个网络进行的信息加工的。

我的研究领域叫计算神经科学,它的就是要用数学建模和计算机仿真的方法,来分析大脑网络工作的基本原理,从而能发展更好的人工智能。

既然大脑是用这种复杂的神经网络进行信息加工,所以很自然的一个想法是,我们为什么不模仿大脑网络的特点,来构造一个人工的计算系统来处理信息呢?

其实,这就是当前人工智能的最核心技术,人工神经网络的思想诞生的源泉,就是要模仿大脑的网络怎么做计算,我们模仿这样一个网络,我们就构造了一个计算的框架,但是当我们在做具体任务的时候,我们需要训练这个网络,所谓训练就是我要给它学习的样本,我有一些输入和输出的,就是已知答案的学习样本,然后我把这个样本就喂给这个网络,然后我调节这个网络神经元之间连接的权重和它的结构,使得这个网络的输出如我所愿,这就是所谓的训练的过程。

大家谈到大数据的训练,其实都隐含了这样一个你给它大的数据,它作为学习的样本来调节网络的结构和参数,使得它能实现你想要完成的任务。

其实,我们人的一生也是一个训练脑网络的过程。我们在婴幼儿的时期,就通过各种玩耍学习怎么去感知世界,比如说在运动时,就学会了手眼的协调,到了读书期间,我们就读书本上的知识,要知道在每一个学习的过程中,我们大脑的神经网络的连接都在发生着变化,实际上我们的网络也像人工神经网络,是在被训练的过程。

终其一生,我们通过生活,学习和工作,实际上是不断地激发我们大脑内部在发生变化,我们实际上在训练我们的脑网络,只是我们可能没有意识到我们是如何形成了我们的世界观,人生观的。

孔子说得很好,十有五而志于学,二十弱冠,三十而立,四十不惑,五十而知天命,但后面还有,因为我现在只到50岁,我就在这stop了。

现在的人工智能已经发展了很多的算法和技巧来优化人工神经网络,我们也许可以从人工神经网络的发展中,反过来去看我们脑网络是怎么训练得更好,同时给我们人生的发展提供一些启示。

要训练好一个人工神经网络,我们第一步就要选择一个目标函数,所谓目标函数 就是我们要定量化,定什么样的人工神经网络训练是好是坏,我们要定量化地刻画它,在数学上就叫目标函数,这个目标函数选的好与坏,就直接决定了最终你这个网络的上限。对应着我们的人生就是我们要选择一个人生的目标,这个目标既要实现我人生的个人价值,同时也要服务这个社会。

有了一个好的目标,我们的人生才有一个好的发展,可以说我们的人生的目标,实际上决定了我们脑网络训练的上限,我们一定要定好我们人生的目标,我们人生的路才能走得好。

有了目标函数就要开始训练网络,所谓训练,就是你给这个网络提供一个样本,然后你要调节这个网络的参数,使得这个网络的输出如你所愿,在AI中,就是要讲究用海量的数据,用所谓大数据海量的样本,来训练这个网络,比如说,现在火的ChatGPT,它能成功的一个很大原因,就是它用了互联网的海量的数据,比如说,它用了大量书本上的知识,还有互联网上大量的文本知识,训练了上千亿的参数,训练完了以后,就出现了一些智能的行为。

训练人工神经网络数据特别关键,所以叫数据为王。

对应着我们人生,我们要训练好我们的网络意味着什么呢,我们需要丰富多彩的人生给我们脑网的训练提供素材,就是所谓的读万卷书、行万里路,丰富多彩的人生经历,实际上为我们训练好脑网络提供了样本。尼采有一句话是我自己特别喜欢的,他说:“每一个不曾起舞的日子,都是对生命的荒废”。

用人工智能的术语就是说,你又浪费了一天,你没有收集训练你脑网络的素材。

有了目标函数,有了大样本,在训练的时候,你还有很多训练的技巧,在人工神经网络训练中,大家就发展了一些数学上的技巧,比如,人工神经网络训练的一个最基本的算法叫做误差反传算法,它的本质思想是我给一个样本,我就做个输出,我发现这个网络的输出和我想要的结果之间的误差,把这个误差反传来调整我的网络,这就相当于我们在学习中,我们需要从试错中去学习。

更先进一点的算法叫动量加速算法,这个算法说的意思就是我在调节网络参数的时候,我不仅依赖于当前的样本,我还依赖过去的历史,对于我们人生的学习就是说,我们要不思反省,我们要总结经验来提高我们脑网络的训练。

此外,在人工神经网络中还有模仿学习,就是你在训练一个网络的时候,你可以模仿一个已经训练好的网络,然后你来通过学习,来更好地提高你对一个新网络的训练,那么这对我们人生来说就是,三人行,必有我师,我们要从他人的优点中学习。

总结起来就是说,我们人生要敢于试错,要不思反省,要学习他人的优点,其实和我们人生的发展一样。我们在人工神经网络训练中,也不是一帆风顺的,你会碰见各种各样的难题。

人工神经网络这个领域,它也发展了一些数学技巧来解决这个难题,我这就举两个例子,一个就是你在训练人工神经网络的时候,你训练的所谓的能量函数,会落入一个局部极小,简单说就是网络的表现很难再提高了,那么,我们人工智能的专家怎么做呢,我们会重置网络参数,从头再训练,对应着我们人生来说就是,我们人生可能在某个时候陷入一个困境,这个时候我们要勇于求变,重新开始。

在人工神经网络中也是,我们会有一种所谓的平台期,你进入那个平台期了,你会发现你训练很长时间,你网络的表现都提高不了,然后你锲而不舍坚持训练的话,在某一时刻,网络的表现就会突然有个大的提高,这就相当于我们人生中,你碰见了一个低谷,你不要轻言放弃,你要锲而不舍,最终能从低谷中逃脱出来。

最后一个类比,我想讲的是人工智能中现在面临一个挑战,我们真正的目的是当我训练好了后,来了个新的从来没见过的样本,我们这个网络依然表现很好,在人工神经网络中这叫泛化能力,这才是我们真正关心的问题,因为我们训练的样本是已知答案的,我们在网上都能找到的答案,我们真正的关心的是,网络对新的没见过的样本,它依然还表现好,就是个泛化能力。在人工神经网络领域怎么才能有网络的泛化能力是个很难的问题,也是还没有解决的问题。

我们经常会碰见一个经典的难题叫做过拟合现象。就是,如果一个神经网络,你用样本去训练它的时候,你训练得越久,可能反而泛化能力越差,就是你的网络的参数,过度的拟合了你学习的样本,最后你对新样本的表现就会很差,这个就叫过拟合现象。

这个对应着我们教育的目的,我们在读书的时候,我们做了很多题,但我们做题目的的本身不是只记住死的知识,我们是希望一个能力,一种创造性的能力,当遇到一个新的没见过的问题的时候,我们还会做它,那么在训练中就面临着一个很大的挑战,如果我们过度训练,所谓的题海战术,我们实际上是只记住了死的知识,反而导致过度的训练,像神经网络的过拟合一样,我们反而会失去了创造性,造成了思维的定式。

所以说,这是人工智能这个领域,它目前还没解决的问题。

怎么有针对性地提高训练的泛化性,只是有些数学技巧来避免实现过拟合,这个对我们的教育也是个难题,大家都在说,我们要培养学生的创造性,但怎么培养呢,也没有给出一个明确的答案,关于教育的本质的话,爱因斯坦说了一个特别有哲理的话,“教育是一个人,忘记了他在学校里学到了一切知识之后剩下的东西”。就是你通过学习已知答案的东西,但你要忘掉它,你真正需要掌握的是泛化的能力,对新知识的解决的能力。

在我们中国的哲学里面,也有类似的思想,我这里就把金庸的《倚天屠龙记》里面暗含了这种思想的一段特别精彩的对话分享给大家。当魔教攻上了武当山,由于张三丰受伤没法应战,他需要在短时间内,让张无忌学会太极拳,下面徒孙俩的对话。

张三丰做演示,张无忌快速学习。演示以后,张三丰问,无忌,我教你的东西还记得多少。张无忌就回答说,回太师爷,我只记得一大半。张三丰说,那你继续练吧,过了一会儿,张三丰又问,那现在呢?张无忌说,已经剩下一小半了。又过了一会儿,张三丰说,那现在呢,张无忌说,我现在已经把所学的全忘掉了,张三丰说,好,你可以上了!最后他出战,把魔教的玄冥二老给击败了。

这里面暗含了一个思想,就是张三丰只是给张无忌提供了一个样板,实际上张无忌最终是学会了一种人工神经网络的泛化能力,或者说太极拳的精髓。这里实际上和爱因斯坦的想法是一样的,我们学习的本质是通过样本,从某种意义上来说是一个悖论。

我们要学习,我们需要样本,但是我们不希望这个样本,破坏我们的创造性,所以说这是我们教育面临的难题,也是我们学习的难题。人工智能这个领域,大家都在关心怎么提高这个神经网络的泛化能力,也许有一天,人工神经网络把这个泛化能力给解决了,它反过来可以反馈我们什么样的教育方式是最好的。

最后,我总结一下,人工智能它是模拟我们大脑的网络,通过大数据的训练优化我们的人工神经网络,我们人是在学习和工作中来训练大脑的网络来实现自我的价值,这两者都是在训练一个网络,都是在实现一种智能,只不过一个是人工智能,一个是生物智能,所以,我们每个人其实都是我们自身网络的训练者。

当我们今天在惊叹于人工智能高速发展的同时,请不要忘了我们自己大脑,是一个更强大、更有潜力的网络,它需要也更值得我们去训练好它,因为训练好大脑的网络,就意味着我们度过了一个美满幸福的人生,谢谢大家。

编辑:王海龙

特别声明

本文仅代表作者观点,不代表本站立场,本站仅提供信息存储服务。

分享:

扫一扫在手机阅读、分享本文