第113章:滚雪球之前的筹备113(1 / 2)

“‘婴儿’的目标是,学会编程的语法和语义,当前的问题是:模型太小。”郑夺关闭程序,向他们展示“婴儿”的源代码。

“但起码,最难的部分——底层逻辑,我已经写出来了。剩下的技术性问题,就交给尹兄来完善。”

尹文杰苦笑一下,说:“这么看得起我?那我想想。”

他开始挠头,边想边说,语言有些跳跃:“在训练阶段,要提供一些已经注释或标记的代码样本来作为训练数据,指示代码的功能、语法或结构。

“在生成代码时,编码器把输入的源代码转换成一个固定长度的向量表示,这个向量可以被看为源代码的特征。解码器就使用这个特征向量来生成新的。

“更重要的是,在训练过程中,程序要会自我优化才行,就是你说的,模型太小,要让它自己长大。

“那神经网络就会自己扩展、加层,可调参数会越来越多。哇——我想到了细菌繁殖的画面,感觉好恐怖!

“对了,你现在这个模型,有多少参数?”

郑夺回答:“一万六千多个。”

尹文杰惊讶地瞠目结舌,“一万六千多个?全是你自己一个人干的?”

李旭东这位未来的计算机软件工程专家,在这一刻傻傻问道:“一万多个啥玩意儿,听着不少啊!很厉害吗?”

尹文杰伸手拍拍他的后背,用上了报复性的力量,重重地拍,拍得对方猛咳嗽,“兄弟,人傻多读书,以后自己试试就知道啦!”

李旭东瞪眼要打人,尹文杰起身抄石凳子,发现是用水泥粘死在地里的,搬不动。

两个人又围着桌子你追我赶。

这个工作量对于一个人单枪匹马独立完成,的确非常惊人。

但郑夺其实不算是一人。

他从数以百计的数学专家、软件专家、硬件专家、生物专家、脑科学专家那里,集合了超群的智慧结晶,直接读取了大量在未来已经成熟的研究结果,和许多难题的答案。

一万六千多个初始的超参数,基本上都是已知信息,不需要他进行大量的实验、比较、记录、分析,直接拿来就用。

算法和源代码,大部分都是从“巨人”们那里截胡来的财宝。

他就像掌握了时空穿梭门的阿里巴巴,偷走了四十大盗在若干年后才会得到的宝物。

尽管如此,这项工作依然具有很大的挑战性,要有分辨宝物和垃圾的眼光,还要有自己独特的,领先于所有人的大创意。

否则,为什么那么多“巨人”在二十年后都没做到的事,能被他经过简单的信息整合,就能提前做到?

返回