第769章 大语言模型训练(第2/3 页)

🎁美女直播

它总共有五个关键节点,第一个也是最重要的大型神经网络模型,其次深度学习、大规模数据训练、不断优化算法以及硬件支持。

神经网络学习其实是模拟人脑的神经元网络,这个技术早在20世纪80年代就提出了,如今基础的神经网络技术和算法已经存在。

硬件方面,天下云这里安装了30台超高性能的GpU,专门用来训练大语言模型。

深度学习方面,斯坦福和mIt等名校在这方面具有全球领先的研究和教育资源,陈阳这些年持续在米国挖这方面的人才,缺的只是海量的数据。

2005年,网络上能收集到的文本和数据还相对较少,但是两年时间过去了,互联网上已经充满了可用的资源。

比如新闻网站、论坛、博客等等,还有英文互联网上数据也都是呈现几何式增长。

人人网这一年多的数据,也全部都是存储在天下云,已经为训练大语言模型打下了基础。

苏泽迅速回答道,“已经有一定成效,但还是只能回答一些简单明确的问题,距离你要求的还有一定的差距。”

“最主要的麻烦在哪里?”

苏泽苦笑着道,“还是优化算法的问题,算法和深度学习这方面的人才太少了。

导致我们虽然拥有算力支持,但是计算的效率却很低。”

陈阳闻言也不意外,他点了点头道,“现在做AI的都不太重视深度学习,那些高校也不会专门去培养这方面的人才。

我近期会在米国成立分公司,到时候会专门在那边挖人。

到时候国外和国内实验室一起推进,能解决这方面的问题。”

陈阳说完又吩咐道,“现在着重要推进tpU的研究,一旦研究成功,它的性能会是cpU和GpU的数十倍。

不仅能提升计算效率,还能降低能源消耗,对AI的发展至关重要。”

苏泽点了点头,“还是人才的问题,tpU是深度学习算法专用的集成电路,天下云有深度学习算法的人,没有设计集成电路的......”

“你去天芯公司找李南光院士,将深度学习的要求告诉他,他会帮你们的。”

“好的。”

陈阳跟苏泽聊了许久天下云的发展,等吃过午饭,才离开了。

天下云需要的人才,等金融危机来了,其实就能解决很大一部分。

因为那个时候米国所有人都遭到了金融危机