以造出世界上更大加速器芯片CS-2 Wafer Scale Engine闻名的公司Cerebras宣布，他们已经在利用巨芯进行人工智能训练上走出了重要的一步，训练出了单芯片上全世界更大的NLP（自然语言处理）AI模型。
该模型具有20亿个参数，基于CS-2芯片进行训练。
这块全世界更大的加速器芯片采用7nm制程工艺，由一整块方形的晶圆刻蚀而成。
它的大小数百倍于主流芯片，具有15KW的功率，集成了2.6万亿个7nm晶体管，封装了850000个内核和40GB内存。
图1 CS-2 Wafer Scale Engine芯片
单芯片训练AI大模型新纪录
NLP模型的开发是人工智能中的一个重要领域。利用NLP模型，人工智能可以理解文字含义，并进行相应的动作。OpenAI的DALL.E模型就是一个典型的NLP模型。这个模型可以将使用者的输入的文字信息转化为图片输出。
比如当使用者输入牛油果形状的扶手椅后，AI就会自动生成若干与这句话对应的图像。
图：AI接收信息后生成的牛油果形状扶手椅图片
不止于此，该模型还能够使AI理解物种、几何、历史时代等复杂的知识。
但要实现这一切并不容易，NLP模型的传统开发具有极高的算力成本和技术门槛。
实际上，如果只讨论数字，Cerebras开发的这一模型20亿的参数量在同行的衬托下，显得有些平平无奇。
前面提到的DALL.E模型具有120亿个参数，而目前更大的模型是DeepMind于去年年底推出的Gopher，具有2800亿个参数。
但除去惊人的数字外，Cerebras开发的NLP还有一个巨大的突破：它降低了NLP模型的开发难度。
「巨芯」如何打败GPU？
按照传统流程，开发NLP模型需要开发者将巨大的NLP模型切分若干个功能部分，并将他们的工作负载分散到成百上千个图形处理单元上。
数以千百计的图形处理单元对厂商来说意味着巨大的成本。
技术上的困难也同样使厂商们痛苦不堪。
切分模型是一个定制的问题，每个神经网络、每个GPU的规格、以及将他们连接（或互联）在一起的网络都是的，并且不能跨系统移植。
厂商必须在次训练前将这些因素统统考虑清楚。
这项工作极其复杂，有时候甚至需要几个月的时间才能完成。
Cerebras表示，这是NLP模型训练中最痛苦的方面之一，只有极少数公司拥有开发NLP所必要的资源和专业知识。对于人工智能行业中的其他公司而言，NLP的训练则太昂贵、太耗时且无法使用。
但如果单个芯片就能够支持20亿个参数的模型，就意味着不需要使用海量的GPU分散训练模型的工作量。这可以为厂商节省数千个GPU的训练成本和相关的硬件、扩展要求，同时这也使厂商不必经历切分模型并将其工作负载分配给数千个GPU的痛苦。
Cerebras也并未仅仅执拗于数字，评价一个模型的好坏，参数的数量并不是标准。
比起希望诞生于巨芯上的模型努力，Cerebras更希望的是模型聪明。
之所以Cerebras能够在参数量上取得爆炸式增长，是因为利用了权重流技术。这项技术可以将计算和内存的占用量解耦，并允许将内存扩展到足以存储AI工作负载中增加的任何数量的参数。
由于这项突破，设置模型的时间从几个月减少到了几分钟，并且开发者在GPT-J和GPT-Neo等型号之间只需几次按键就可以完成切换。这让NLP的开发变得更加简单。
这使得NLP领域出现了新的变化。
正如Intersect360 Research 首席研究官 Dan Olds 对Cerebras取得成就的评价：Cerebras 能够以具有成本效益、易于访问的方式将大型语言模型带给大众，这为人工智能开辟了一个激动人心的新时代。
本文来自“浅时光”用户投稿，该文观点仅代表作者本人，不代表华夏信息网立场，本站不对文章中的任何观点负责，内容版权归原作者所有、内容只用于提供信息阅读，无任何商业用途。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站（文章、内容、图片、音频、视频）有涉嫌抄袭侵权/违法违规的内容，请发送邮件至1470280261#qq.com举报，一经查实，本站将立刻删除、维护您的正当权益。如若转载，请注明出处：http://www.xxxwhg.com/ls/40414.html
