当下比较主流的神经网络有“深度神经网络”，“卷积神经网络”，“生成对抗网络”，“循环神经网络”等等。
其中卷积神经网络在图像识别、目标检测等领域有非常好的表现。
循环神经网络在处理“序列数据”时则非常有优势，循环神经网络具有循环连接，使得信息可以在网络中传递并保持记忆，它的每个时间步都接收一个输入和一个隐藏状态，然后根据当前输入和前一个时间步的隐藏状态计算当前时间步的输出和新的隐藏状态。
王杉科普完说道：“现在业内对循环神经网络是比较看好的，他对自然语言的解析记忆算是非常不错的了。”
“但要把它作为主攻的方向，我心底总觉得哪里不太对劲。”
吕尧看着王杉画在纸上的循环神经输入输出模型示意图，发现这个流程其实跟transformer已经很像了。
区别只在于中间层的设计。
于是吕尧绞尽脑汁把自己关于transformer的理解说出来：“我觉得这都不太对劲，循环神经网络有种死记硬背的感觉，能不能设计一种算法，来捕捉输入数据中的内在算法呢？”
“如果是处理自然语言，那我们说话肯定都有重点嘛，如果能通过算法模型找出重点，然后给予数据反馈，是不是会更好？”
王杉本来没把吕尧的建议当回事，可他那聪明的大脑却下意识开始运转起来。
通过算法找重点？
好像也不是不行。
找重点本质上可以认为是求一个离散概率分布的数学期望，这个通过算法，很容易找到简单自然语言中的重点。
“嘶”
王杉忽然低头抱住脑袋，无数的方程式，构想开始在他脑海里翻涌，那一瞬间喷薄而出的灵感仿佛要把他的脑子撑爆。
吕尧这时候不敢说话了，他悄悄退走，并嘱咐别墅内外的人不要打扰王杉。
人工智能发展到现在，其实很多东西已经积累的差不多了，就像一个世纪前的科学理论。
而王杉差的可能就是这么一点灵感火光，而这一点灵感的火光，甚至要比百分之九十九的努力还要重要。
吕尧今晚没怎么睡，一直在一楼大厅陪着王杉。
这一晚的王杉先是抱着脑袋冥思苦想，然后就忽然眼神灼灼的在电脑前疯狂敲击键盘，然后敲着敲着就抓耳挠腮起来。
这种状况一直持续到天亮。
等到天亮时分，醒来的陆小亦，甘晓曦和林永珍全都一脸纳闷的来到一楼，看着头发油油的，脸也油油的王杉，也同样纳闷的看着陪在旁边的吕尧。
甘晓曦刚想张嘴说什么，就被陆小亦一把抓住胳膊，然后冲她摇摇头。