老黄一举揭秘三代GPU!打破摩尔定律,打造AI帝国,量产Blackwell解决ChatGPT全球耗电难题

TechQuester 2024-06-15 11:31:02 阅读 84

近日,老黄手持Blackwell向全世界展示的那一刻,全场观众沸腾了。

这是迄今为止世界上最大的芯片!

用老黄的话来说,它是「全世界迄今为止制造出来的最复杂、性能最高的计算机。

GPT-4o深夜发布!Plus免费可用!

icon-default.png?t=N7T8

https://www.zhihu.com/pin/1773645611381747712

没体验过OpenAI最新版GPT-4o?快戳最详细升级教程,几分钟搞定:

升级ChatGPT-4o Turbo步骤

icon-default.png?t=N7T8

https://www.zhihu.com/pin/1768399982598909952

英伟达产品的迭代速度,已经彻底无视摩尔定律。

一手硬件,一手CUDA,老黄胸有成竹地穿过「计算通货膨胀」,豪言预测——在不久的将来,每一个处理密集型应用都将被加速,每一个数据中心也肯定会被加速。

到目前为止,计算机行业已有60多年的历史,而现在,一个全新的计算时代已然开始。

1964年,IBM的System 360首次引入了CPU,通用计算通过操作系统将硬件和软件分离。

架构兼容性、向后兼容性等,所有我们今天所了解的技术,都是从这个时间点开始的。

直到1995年,PC革命开启让计算走进千家万户,更加民主化。

2007年,iPhone推出直接把「电脑」装进了口袋,并实现了云端链接。

可以看出,过去60年里,我们见证了2-3个推动计算行业转变的重要技术节点。

而如今,我们将再一次见证历史。

老黄表示,「有两个最基础的事情正在发生」。

首先是处理器,性能扩展已经大大放缓,而我们所需的计算量、需要处理的数据都在呈指数级增长。 按老黄的话来说,我们正经历着「计算通货膨胀」。

过去的20年里,英伟达一直在研究加速计算。比如,CUDA的出现加速了CPU负载。事实上,专用的GPU效果会更好。

当我们运行一个应用程序时,不希望它需要100秒甚至100小时才能完成。

因此,英伟达首创了异构计算,让CPU和GPU并行运行,将过去需要100个时间单位的任务,加速到仅需1个时间单位。

这实现了100倍的速率提升,而功耗仅增加3倍,成本仅为原来的1.5倍。

除了GPU,英伟达还做了业界难以企及的事,那就是重写软件,以加速硬件的运行。

如下图所示,从深度学习的cuDNN、物理模拟的Modulus、通信的Aerial RAN、基因序列的Parabricks,到量子计算模拟的cuQUANTUM、数据处理的cuDF等领域,都有专用的CUDA软件。

也就是说,没有CUDA,就等同于计算机图形处理没有OpenGL,数据处理没有SQL。

而现在,采用CUDA的生态遍布全球。

就在上周,谷歌宣布将cuDF加入谷歌云,并加速世界上最受欢迎的数据科学库Pandas。

现在,只需点击一下,就可以在CoLab中使用Pandas。数据处理速度快得令人难以置信。

 

推荐阅读:

如何免费使用GPT-4o?如何升级GPT...

LSTM卷土重来之Vision-LSTM横空出世!!

新架构Mamba-2正式发布!!真实版“man, what can i say”!!

黎曼猜想取得重大进展!!



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。