在過去的兩年里，為了滿足機(jī)器學(xué)習(xí)的需要，特別是深度神經(jīng)網(wǎng)絡(luò)的需要，出現(xiàn)了一股對創(chuàng)新體系架構(gòu)研究的熱潮。我們已經(jīng)在《The Next Platform》中報道了無論是用于訓(xùn)練側(cè)還是推理側(cè)的許多架構(gòu)可選方案，并且正是因為所做的這些，我們開始注意到一個有趣的趨勢。一些面向機(jī)器學(xué)習(xí)市場定制 ASIC 的公司似乎都在沿著同一個思路進(jìn)行開發(fā)——以存儲器作為處理的核心。

存儲器內(nèi)處理（PIM）架構(gòu)其實不是什么新東西，但是因為存儲器內(nèi)相對簡單的邏輯單元很好地迎合了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需求（特別是卷積網(wǎng)絡(luò)），所以存儲器正變成未來下一個平臺。我們已經(jīng)介紹過了很多公司的深度學(xué)習(xí)芯片，比如 Nervana Systems（2016 年被英特爾收購）和 Wave Computing，以及其它有望碾壓 AlexNet 等 benchmark 的新架構(gòu)，存儲器都是其性能與效率的關(guān)鍵驅(qū)動因素。

今天，我們還要為這種存儲器驅(qū)動的深度學(xué)習(xí)體系架構(gòu)家族再介紹一個新成員。那就是 Neurostream，它由博洛尼亞大學(xué)提出，在某些方面與 Nervana、Wave、以及其它采用下一代存儲器（比如 Hybrid Memory Cube （HMC） 和 High Bandwidth Memory （HBM））的深度學(xué)習(xí)架構(gòu)很相似。而且該架構(gòu)還提供了一種新思路，可以進(jìn)一步深入了解我們剛才提到的那些公司是如何設(shè)計深度學(xué)習(xí)架構(gòu)的。在過去的介紹里，我們已經(jīng)從 Nervana、Wave 等發(fā)布的架構(gòu)中提取出了一些設(shè)計細(xì)節(jié)，而這次架構(gòu)的設(shè)計團(tuán)隊為我們帶來了有關(guān)為什么存儲器驅(qū)動型設(shè)備將會成為未來深度學(xué)習(xí)定制硬件主流更深入的見解。

“雖然卷積神經(jīng)網(wǎng)絡(luò)是計算密集型算法，但它們的可擴(kuò)展性和能量效率被主存儲器極大地限制住了，而這些網(wǎng)絡(luò)中的參數(shù)和通道都比較大，所以都需要存儲在主存中。鑒于上述原因，僅僅改進(jìn)卷積網(wǎng)絡(luò)加速器的性能和效率而不考慮主存儲器的瓶頸將會是一個錯誤的設(shè)計決策。”

Neurostream 把它的存儲器內(nèi)處理方法用在擴(kuò)展卷積神經(jīng)網(wǎng)絡(luò)上。該設(shè)計采用了一種 Hybrid Memory Cube 的變種，他們稱之為“Smart Memory Cubes”。“Smart Memory Cubes”增強了被稱為 NeuroCluster 的多核 PIM 平臺。NeuroCluster 采用了基于 NeuroStream 浮點協(xié)處理器（面向卷積密集型計算）和通用處理器 RISC－V 的模塊化設(shè)計。他們同樣也提到了一種易于 DRAM 陣列化的機(jī)制及其可擴(kuò)展的編程環(huán)境。該架構(gòu)最吸引人的地方在于它用僅占晶片面積 8％ 的 HMC 獲得了 240GFLOPS 的性能，而其總功耗僅為 2．5 瓦。

“該平臺能夠以較小的系統(tǒng)功耗使得卷積神經(jīng)網(wǎng)絡(luò)計算任務(wù)能完全下放到存儲器組中。這意味著主 SoC 中的計算邏輯能夠被釋放出來干其它事。而且，相對于一個基本 HMC 系統(tǒng)，其額外的開銷幾乎可以忽略不計。”

該設(shè)計團(tuán)隊正在大肆宣傳其 Neurostream 架構(gòu)的每瓦特性能指數(shù)。“在單個三維堆疊封裝中我們達(dá)到了每瓦特 22．5GFLOPS（每秒浮點計算數(shù) 22．5G 次）的計算能量效率，這是當(dāng)前能買到最好 GPU 性能的 5 倍以上。”他們同樣提到“少量的系統(tǒng)級功耗升高和可以忽略不計的面積增長使得該 PIM 系統(tǒng)成為一種既節(jié)約成本又高效利用能量的解決方案，通過一個連接 4 個 SMC 的網(wǎng)絡(luò)，其可以輕松擴(kuò)展到 955 GFLOPS。”他們用來對比的 GPU 是 Nvidia Tesla K40，該 GPU 在 235 瓦功率下可以達(dá)到 1092 GFLOPS 的處理速度。“Neuro 陣列可以在 42．8 瓦達(dá)到 955GFLOPS，且超過了其對手 4．8 倍的能量使用效率，”該團(tuán)隊同時評論說，由于降低了對串行鏈路的需求，該架構(gòu)還可以擴(kuò)展至更多節(jié)點。

Neurostream 的創(chuàng)造者們期望通過進(jìn)行一些面向應(yīng)用的調(diào)優(yōu)和降低算術(shù)計算精度的方法來使它的能效對比獲得進(jìn)一步增長。就像他們著重提到的，“降低計算精度有望使功耗降低達(dá) 70％。”在他們的下一次改進(jìn)里，他們將著重在硅片上實現(xiàn)帶有四個 NeuroClusters 的架構(gòu)，這將使它能夠監(jiān)控其自身是如何反向傳播和訓(xùn)練的。

我們已經(jīng)介紹過了許多協(xié)處理器、ASIC、GPU、以及采用針對深度學(xué)習(xí)框架進(jìn)行額外軟件優(yōu)化的 x86 處理器的性能和效率的 benchmark 比分。盡管我們對這些都半信半疑，盡我們可能地去對比，但時間最終會告訴我們哪種體系架構(gòu)會最終勝出。這里想說的不在于 benchmark 比分，而在于體系結(jié)構(gòu)本身。Neuro 陣列就像 Nervana、Wave、以及其它方法一樣，都把 HMC 和 HBM 用到了極致——利用有限的存儲器內(nèi)處理能力，結(jié)果已經(jīng)差不多能很好地處理卷積神經(jīng)網(wǎng)絡(luò)的計算了。

不僅如此，對該類架構(gòu)的更深入觀察，還能幫助我們更好地評估我們提到的機(jī)器學(xué)習(xí)芯片初創(chuàng)公司正在做的事。我們期待經(jīng)過初創(chuàng)公司和學(xué)術(shù)研究的共同努力，2017 年將開辟設(shè)計許多在深度學(xué)習(xí)框架領(lǐng)域內(nèi)的存儲器驅(qū)動型處理器。