存内计算之路——道阻且长，行则将至
来源:电子发烧友网发布时间:2022-05-24987浏览
询问 AI 如今随着技术发展，计算任务越来越复杂，而在冯诺依曼架构中，数据需要在存储、内存、缓存、计算单元中不断搬运，造成大部分时间、带宽、缓存、功耗都消耗在数据搬运上，而不是计算上，因此存储墙成了一个越来越严重的问题。
存内计算，故名思义就是把计算单元嵌入到内存当中，理想中是可以完美解决存储墙的问题，近几年，三星、SK海力士、台积电、英特尔、美光、阿里等半导体领域巨头都在积极研发，许多新兴企业也陆续加入进来，并取得了不错进展。面对打得火热的存内计算，也有人认为，存内计算可能行不通，有几个方面的原因：一是AI算法模型的容量比较大，而这个在存储器里面做计算，成本会非常高；二是受限于存储芯片的工艺，比如说密度要做到很高，良品率要比较高，工艺就比较难以做到。那么存内计算到底可不可行？存内计算未来的市场机会点在哪里？苹芯科技CEO杨越在接受电子发烧友采访时，针对在存储器内做计算成本不会太高，存储芯片工艺能不能行，存内计算的主要的应用场景方向，做了详细的分享和解答。存内计算到底可不可行
针对“AI算法模型的容量比较大，而这个在存储器里面做计算，成本会非常高”的疑问，杨越解释道，有人认为在存储器里面做计算，成本会高，是因为他们认为要容下非常多网络参数，就需要把存储器做得非常大，存储器做大就意味着成本高。针对这个问题，杨越表示目前已经有很多方法可以解决。第一，在算法模型上进行解决，即将网络模型轻量化，比如知识蒸馏，简单来说就是减少算法模型中的参数的存储需求，目前已经有很多非常成熟的方法，比如CNN压缩，就是属于这一类。苹芯科技以S200为基础搭建的功能演示平台，在这个演示系统里，就采用了其中一种基于神经网络架构搜索NAS的方法来得到轻量化的模型，而且能完成非常高的识别率，可以达到99%的关键字识别功能。S200是苹芯首款可商用的存内计算芯片，以S200为基础搭建功能演示平台，目的是演示在28nm工艺节点上的存内计算可以跑通端对端的神经网络。第二，从可扩展的架构设计上着手。杨越表示我们可以试图打破将整个算法模型必须同时全部加载到内存中之后，才可以开始计算的固化假设。相应地，一个好的存算架构是可以支持以计算负载为主或以存储负载为主的不同任务，从而形成一个基于存内计算的向上适配能力强的算力平台。第三，可以通过使用新型存储器解决这个问题，包括磁性存储器MRAM和忆阻器RRAM，相比于SRAM来说，MRAM和RRAM都有更高的存储密度，所以从存储单元介质本身就可以做到更大，这样可以达到存储更多计算参数的目的。可以看到，从这三个方面着手，都可以达到解决AI算法模型太大，存储器要放下这么多数据，需要把存储器做得很大，从而带来成本高的问题。针对存储芯片的工艺可能带来限制的问题，杨越谈到，苹芯科技主要是基于SRAM的存内计算，目前SRAM的工艺已经非常成熟，就存储器器件本身来说，市面上已经有7nm、5nm的产品，成熟工艺的良率很有保证。“另外，对于新型存储器MRAM和RRAM，头部代工厂也已经有22nm甚至更高制程的量产线。”杨越说，所以在他看来，存内计算技术可以跟随新型存储器器件本身的技术逐步共同走向成熟。另外需要提到的一点是，新型存储器MRAM和RRAM虽然可以解决容量不大这个问题，但是作为一个新的产品类型，还存在一些挑战，比如在可靠性，耐用性上存在一些挑战。不过杨越预计在近期未来新型存储就会达到商业成熟化的程度。苹芯科技虽然成立时间不长，但是团队在创业前期就已经有很长时间的积累，存内计算是一项技术壁垒非常高的工程，而苹芯科技在包括从底层内存器件的物理特性的理解，到上层芯片架构的设计，再到最后产品落地成本的控制上都有足够的积累，在各个技术栈都有自己的IP，苹芯科技也是第一个拥有工业级28nm SRAM存内计算加速单元DEMO的团队，并首次利用RRAM存内计算完成基于LeNet的CIFAR10的识别任务。苹芯科技下一代芯片S300已从代工厂回片，据杨越介绍，目前工程团队，正在进行相应的测试和展示工作，相较于S200，S300具有更强大的计算能力，可以兼容更多网络模型，从而支持更丰富的边缘端应用场景。存内计算的机会点在哪里
我们知道，存内计算有多种不同的技术路线，每个技术路线各有特点，比如Flash的优点是密度比较高，DRAM成本会比较低，磁性存储器MRAM、忆阻器RRAM除了存储密度比较高之外，功耗也比较低，杨越说：“这两类新型存储器MRAM和RRAM代表着存内计算的未来。”不过因为是新技术，就如上文所言，在工艺成熟度和商业化上还需要一些耐心。苹芯科技采用的是SRAM+MRAM和RRAM混合技术路线。杨越解释说：“之所以选择这样的技术路线，背后的原因是，SRAM作为读写速度最快的内存介质，具备很多优势，比如，它可以向更先进的制程节点兼容，具备高能效比的计算优势，同时它又不存在其他非易失性存储所具备的耐久性问题，更重要的是，基于SRAM的设计方案，可以支持纯数字化设计，从而能够解决很多应用场景所关心的精度问题。”苹芯选择新型存储器，一是因为它具有高性能天花板，二是这也有利于团队核心成员更好地发挥过往的技术积累和工程经验。存内计算未来的应用个机会点在哪里呢？现在很多具有AI计算功能的芯片，包括GPU、FPGA以及NPU、SOC等，都是基于传统的冯诺伊曼架构设计的，会受到存储墙、功耗墙的约束，这就导致他们在绝对计算上很强，但在整个计算效率上存在天花板。而存内计算就可以弥补这些问题，短期来看，存内计算的主要市场机会主要会出现在端侧的产品上，因为存内计算的技术优势，能够提供比较高的计算效率和比较低的功耗，比如可穿戴设备、智能家居等是非常适合存内计算的应用方向。长期来看，随着新型存储器工艺的成熟，它不但会给低功耗的市场带来机会，同时会把计算能力提升2-3个量级，让存内计算的应用扩展到更多场景中，比如在一些用电量受限，但对绝对算力仍然有要求的场景层面，存内计算就可以给客户带来差异化的选择机会。小结
如Gardner曲线的解读，任何新兴技术在发展初期都会经历一些起伏，尤其像存内计算这种在底层上有巨大突破的技术，从最初的热捧，到发展期的理性，到成长期的企稳上升，再到最后产品商业化。扎实的技术背景和可靠的工程化能力，是存内计算企业立足市场并获得客户认可的重要基础。我们期待着更多更好的技术与产品，为智能化场景描绘出更美好的未来。
新闻来源：电子发烧友网，文中所述为作者独立观点，不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议，请联系微信客服specltkj。
