江苏龙网

  1. 首页 > 生活 > >

寒武纪神经网络处理器效能怎样( 三 )


■网友
我比较喜欢这个工作，一直在想谁能做个NN的ISA才有用。之前那些 NN accelerator 水paper 都没什么用，基本功能太固定。整套 deep learning 的算法还在不断演进，明天的 network architecture 跟你昨天做的CNN就不一样了，paper也就是发完就忘, doesn\u0026#39;t stand over time.这个设计可以非常灵活地实现各种NN架构，把 CNN, RNN, LSTM, 等等等等都规整到最基本的几种矩阵和向量操作指令，每个指令的进行的计算量又足够广，保持了domain-specific加速的优势。 ISA总的来说比较像一个 super-SIMD, 编程起来不像 GPU 那样那么烦，不用想 parallel programming 的各种问题，一条指令算一整套。再一个，这个ISA没有其他 old commercial 的历史遗留问题，很简单， fetch/decode 可以保持得高效，至少一开始可以这样。这个工作继续下去有潜力把一整套系统做出来， chip tape-out, compiler/language support, multi-chip interconnect, 等等，但是继续下去有很多 design consideration 需要讨论:1. Accelerator 和 CPU 的通信怎么做，像 nvidia 对他的GPU有一整套通信机制，只是没有开源。这些CPU和accelerator的通信模型是很烦的，需要的支持团队也不小。他怎么从 CPU instruct accelerator 去load数据，怎么保持数据一致性，这些design很费脑子，退一步说，这一整套 API 的实现可不简单。2. 这个编译器，还有programming model怎么做，是准备在C/C++里面加特定的pragma/library，还是让python自动compile某一部分代码到这个ISA，然后下面的runtime自己manage CPU-accelerator 通信。3. 现在工业界搞的NN都巨大无比，你单个加速器就算是power8那么大的，全是SIMD lanes也不够。这个加速器怎么支持distributed计算，怎么和tensorflow/CNTK的framework融合。我觉得把这套东西做成 IP 模式比较好，不然很容易搞成 nvidia 的独立显卡 + CUDA 编程模式，物理尺寸可能没那么大，但是 硬件集成，软件编程可能会变得很像，这样不可能有市场。基于CUDA的一整套library很强大了，nVidia显卡的设计和制造又怎么厉害，新生的project从产品成熟度上面拼不过他们，用户没有足够的动力专门买一套还不够成熟的硬件产品，如果编程模式陌生的话大家就更加不可能用了。再一个，所有ISA的问题都是，一开始大家都觉得可以非常简洁，但是慢慢地都开始往上面加一堆东西。。。这个问题可以参考nVidia的PTX virtual ISA设计，说到底还是编译器，和programming model的问题。就像 @谢丹 说的，这个基于ISA的. 略灵活的加速器，想法不难，我特么一看到一堆 NN accelerator 都能立马想到这东西，没什么太大 intellectual merit. 成功define了这个问题，并且把ISA设计出来是好的。关键的，有价值的地方，在 software support.
■网友
做个玩具灌个水不难（虽然也不容易）。想当年想做通信用处理器的有多少？现在的很多架构上还能看到当年的影子。问题是，到最后谁的能够实用了？像华为什么的还是自己搭的啊。本质上，这不是个学术问题，这是个用现有技术手段可以完成的工程问题。再者，这是个软硬件一体设计的问题。只有内生了足够强的需求，才有完成这个工作的动力和能力。所以，我更看好有实际需求的大公司而不是学校的实验室来解决这个问题。
■网友
跟CPU比毫无意义，要跟google 的TPU 对比才有意义 。毕竟这是专用芯片。我知道的国内就有近10家在做，而且目标是商业应用。这个做的人很多。65nm工艺明显落后工业界28nm至少两代工艺。1，ASIC 5-10倍 DSP/GPU , 10-100倍CPU，这是正常值，拿ASIC对比CPU无意义。2，ASIC需要对应的底层，需要配套的开发环境。所以你可以对比google 的TPU ，如果你想直接用tensorflow 做为开发环境。你可以对比GPU。如果你用nvda的库做开发环境。3，所以，这个比芯片更高一级的成本在开发环境上面，免费的、库齐全的开发环境需要比芯片至少10-100倍的投入。Dadiannao没有证明自己有这个能力。所以，这个要对比，类似当年的wintel ，目前只有两条路：1，你采用google 和nvda的环境，你的设计和TPU/GPU 进行对比。2，你的投资额与google，nvda 进行对比。


推荐阅读


上一篇：咋认识程序员

下一篇：用高端电脑玩扫雷是怎么样一种体验