香港六合彩官网网址 这类芯片，比GPU更好！

要是您但愿不错频频碰头香港六合彩官网网址，接待标星保藏哦~

着手：内容编译自IBM，谢谢。

比年来，东说念主工智能模子的性能越来越高，但范围也越来越大。神经齐集权重占用的内存量一直在稳步增长，有些模子的参数多达 5000 亿以致数万亿。在传统计较机架构上进行推理时，每次迁徙这些权重进行计较皆会破费时刻和动力。模拟内存计较将内存和计较合伙在沿路，搁置了这一瓶颈，纯粹了时刻和动力，同期仍能提供超卓的性能。

在三篇新论文中，IBM 议论科学家展示了他们在可扩张硬件方面的职责，该硬件包括用于大型模子的 3D 模拟内存架构、用于紧凑旯旮大小模子的相变存储器以及加快变压器凝视力的算法改进。

IBM 议论团队的一项新议论标明，基于模拟内存计较的芯片绝顶合适开动顶端的巨匠混杂 (MoE) 模子，在多个方面的施展皆优于 GPU。他们的议论恶果刊登在《当然计较科学》杂志的封面上，标明 MoE 齐集层中的每个巨匠皆不错映射到 3D 非易失性存储器的物理层上，这种存储器是 3D 模拟内存计较芯片中私有的大脑芯片架构。通过渊博的数值模拟和基准测试，该团队发现这种映射不错在开动 MoE 模子时杀青出色的浑沌量和能效。

连同 IBM Research 的另外两篇新论文，它展示了内存计较为旯旮和企业云期骗体式使用调养器架构救济 AI 模子的出路。凭据这些新论文，刻下是时候将这项实验本领带出实验室了。

专科常识层

“将模拟内存计较带入第三维度，不错确保即使大型变压器架构的模子参数也不错十足存储在芯片上，”IBM 议论科学家、MoE 论文的主要作家 Julian Büchel 示意，该论文评释将 MoE 的每个“巨匠”在 3D 模拟内存计较图块中堆叠在沿路是成心的。

在MoE 模子中，神经齐集的特定层不错拆分红更小的层。每个较小的层皆称为“巨匠”，指的是它挑升处理数据子集。当输入到来时，路由层会决定将数据发送给哪个巨匠（或哪些巨匠）。当他们将两个表率 MoE 模子开动到性能模拟器用中时，模拟硬件的施展优于源流进的 GPU。

“这么，你就不错更好地扩张神经齐集，部署一个大型且功能浩大的神经齐集，而计较占用空间却要小得多，”带领新论文团队的 IBM 议论科学家 Abu Sebastian 示意。“你不错念念象，它还不错最大规章地减少推理所需的计较量。” Granite 1B 和 3B使用这种模子架构来减少蔓延。

在这项新议论中，他们使用模拟硬件将 MoE 齐集的各层映射到模拟内存计较图块上，每个图块由多个垂直堆叠的层构成。这些包含模子权重的层不错单独窥探。在论文中，该团队将这些层描画为一栋高层办公楼，有多个楼层，每个楼层皆有不同的巨匠，不错凭据需要随时调用。

将巨匠层堆叠到不同的层级上是直不雅的，但这种战术的终局才是最弥留的。在他们的模拟中，与开动相似模子的商用 GPU 比较，3D 模拟内存计较架构在开动 MoE 模子时杀青了更高的浑沌量、更高的面积遵循和更高的动力遵循。在动力遵循方面，上风最大，因为 GPU 在内存和计较之间迁徙模子权重时会糟跶渊博时刻和动力——而模拟内存计较架构中不存在这个问题。

参与此项职责的 IBM 议论科学家 Hsinyu (Sidney) Tsai 示意，这是迈向进修的 3D 模拟内存计较的枢纽一步，最终不错加快云环境中的企业 AI 计较。

旯旮计较香港六合彩官网网址

该团队撰写的第二篇论文是一项加快器架构议论，该议论于 12 月在 IEEE 国外电子建设会议的受邀演讲中发表。他们展示了使用超低功耗建设在旯旮期骗上执行 AI 推理的可行性

相变存储器 (PCM) 建设通过一块硫属化物玻璃的导电性来存储模子权重。当更多的电压通过玻璃时，它会从晶体重新摆设成非晶态固体。这会使它的导电性镌汰，从而变嫌矩阵向量乘法运算的值。

“在旯旮建设中，存在动力终局、老本终局、面积终局和活泼性终局，”参与撰写该论文的 IBM 议论科学家 Irem Boybat 示意。“因此，咱们建议了这种架构，以鲁莽旯旮 AI 的这些条款。”她和她的共事轮廓了一种神经处理单位，其中混杂了基于 PCM 的模拟加快器和数字加快器节点，它们协同职责以处理不同级别的精度。

Boybat 示意，由于这种活泼的架构，多样神经齐集皆不错在这些建设上开动。为了撰写本文，她和共事们探索了一种为迁徙建设定制的调养器模子，名为MobileBERT。凭据他们我方的浑沌量基准，该团队建议的神经处理单位的性能优于阛阓上现存的低老本加快器，况且凭据 MobileBERT 推理基准的测量，它的性能接近一些高端智高手机。

Sebastian 示意，这项职责代表着向改日迈出了一步，即模拟内存计较建设不错低老本批量坐蓐，将统共模子权重存储在芯片上，用于 AI 模子。此类建设不错成为微适度器的基础，匡助旯旮期骗进行 AI 推理，举例自动驾驶汽车的录像头和汽车传感器。

模拟变压器

终末但并非最不弥留的小数是，议论东说念主员轮廓了在模拟内存计较芯片上初度部署变压器架构，包括波及静态模子权重的每个矩阵向量乘法运算。与统共运算皆以浮点数执行的场景比较，它在名为Long Range Arena的基准测试中执行的准确度在 2% 以内，该基准测试测试长序列的准确性。终局发表在《当然机器智能》杂志上。

从更大角度来看，这些实验标明，使用模拟内存计较不错加快凝视力机制——这是 Transformer 的一个主要瓶颈，IBM 议论科学家 Manuel Le Gallo-Bourdeau 示意。“Transformer 中的凝视力计较必须完成，而这不是不错径直通过模拟加快的事情，”他补充说念。按捺在于凝视力机制中需要计较的值。它们是动态变化的，这需要束缚重新编程模拟建设——从动力和永恒性的角度来看，这是一个不切本色的指标。

为了克服这一按捺，他们使用一种称为核类似的数学本领，用他们的实验模拟芯片执行非线性函数。塞巴斯蒂安说，这一发展很弥留，因为往时东说念主们以为这种电路架构只可处理线性函数。该芯片聘任大脑启发式筹算，将模子权重存储在相变存储器中，这些存储器摆设成横杆，就像 MoE 实验中模拟的系融合样。

“凝视力计较是一个非线性函数，关于任何东说念主工智能加快器来说，这皆是一个令东说念主很是不惬心的数学运算，尤其是关于模拟内存计较加快器，”塞巴斯蒂安说。“但这评释了咱们不错用这个技能作念到这小数，而且咱们还不错擢升通盘系统的遵循。”

核类似这一技能处分了非线性函数的需求，它使用迅速采样向量将输入投影到高维空间，然后在获得的高维空间入网算点积。核类似是一种通用本领，不错期骗于多样场景，而不单是是使用模拟内存计较的系统，但它恰巧很是合适这一想法。

IBM 院士 Vijay Narayanan 褒贬说念：“这些论文为改日当代 AI 职责负载不错在云表和旯旮上开动带来了重要破裂。”

https://research.ibm.com/blog/how-can-analog-in-memory-computing-power-transformer-models

半导体宏构公众号推选

专注半导体界限更多原创内容

随和民众半导体产业动向与趋势

*免责声明：本文由作家原创。著述内容系作家个东说念主不雅点，半导体行业不雅察转载仅为了传达一种不同的不雅点，不代表半导体行业不雅察对该不雅点赞同或救济，要是有任何异议，接待关系半导体行业不雅察。

今天是《半导体行业不雅察》为您共享的第4025期内容，接待随和。

但归根究底，湖人输给火箭这场球，是输在了天赋差距。更具体的来说，没对手跑得快，也没对手跳得高。

『半导体第一垂直媒体』

及时 专科 原创 深度

公众号ID：icbank

可爱咱们的内容就点“在看”共享给小伙伴哦

• 新片
• 更好
• 这类
• GPU