_ConchNest🐚

文章名与作者单位列出如下，来自清华大学刘永攀组。 从名称可知，这个work主要目标是部署一个能够感知两次activation输入相似性的CNN神经网络。由于在视频处理中，相邻的两帧之间差别很小。把相邻的两帧作差，得到的feature map包含大量的sparsity (为0的值)。 软件层面，控制帧重用的flow的工作模式如下： 对神经网络的每一层，第一帧作为一个完整的图像进行处理，但接下来的帧仅仅处理与上一帧作差的结果，我将其称为帧间残差（difference frame）。由于帧间相似性，这个difference frame可以被量化为4b低精度矩阵与8b高精度稀疏矩阵的结合，之后可对两部分矩阵可以进行分治操作。由于ReLU操作的处理目标为原始图像，神经网络中除ReLU以外的所有操作都由difference frame作input activation。在进行ReLU之前，difference frame将会还原当前帧的原始图像（Recover frame），上图中左路的分支为当前帧的原始图像，而右路分支为前一帧。两者都进行ReLU之后，再重新生成difference frame ...

【DC】怎样保持住设计的hierarchyDesign hierarchy反应了设计的分割策略(partitioning)，良好的hierarchy不仅便于理顺数据流，有利于对边界进行时需优化，更方便了后续PR阶段对各个HInst进行布局。 在读入RTL后，可以使用report_hierarchy检查当前设计的hierarchy，如图 但是，如果不进行分组(grouping)，后续综合出来，DC会进行自动auto group，最终的hierarchy可能并不能像我们预想的那样。 使用group命令将Digit_Sparsity_Exploiting_Engine0模块单独分组group {Digit_Sparsity_Exploiting_Engine0} -desgin_name DSEE -cell_name DSEE 再report hierarchy，可见DSEE加入到了整个设计的hierarchy中 之后将ungroup属性设置为false，避免优化器进行flattenset_ungroup DSEE false 重新综合后可见DSEE并没有被flatt ...

数据和模型设计层面怎样让Transformer更加高效——ACL2023去年在ACL2023会议上发表的一篇综述性文章，系统地介绍了近年来可以应用在自然语言处理（NLP）任务中提高计算效率的方法。文章名，作者以及单位贴出如下： 将这些方法整理为一个工具包，可以总结成下图： 数据（data）层面：data filtering，目标是减少无效的训练样本，比如减少样本的重复性。active learning, 和data filtering不同，主动学习动态地更新训练集的样本，其流程如下：Curriculum Learning，通过改变训练集样本的顺序来提高计算效率，其并不改变训练集的大小。模型设计（Model design）层面：Compress Attention, Transforer-XL引入了循环机制和相对位置编码，使其inference比vanillar Transformer快300~1800倍。另一个案例是$ \infty $-former, 其目的是为了让系统能够hold住任意序列长度的attention。由对attention map （过Normalized Softm ...

从残差入手——ISSCC2024中的diffusion model加速器设计$ \color{Green}{y = ax^2 + bx + c} $ Diffusion Model怎样生成图片这里简单叙述一下diffusion model生成图片的过程。Diffusion model出现之前，GAN一直主导着图像生成领域，直到OpenAI的问世，diffusion model才真正在图像生成领域击败了GAN。OpenAI采用了一种新的采样方法——classifier guidance，使得模型能够对输入的条件来选择生成什么样的图片。但Diffusion model的运算是非常消耗计算资源的，一台Nvidia A100生成$ 256 \times 256 $的图片需要50次迭代，一共消耗2560ms的时长与250W的功耗。 发表于CPVR2023的U-ViT模型： ISSCC2024 20.2的加速器设计正巧在今年ISSCC2024，由清华大学发表的20.2设计了加速器，给我们提供了一种思路和方向。 由于diffusion model生成图片是一个不断去噪的过程，每两次迭代中input ...

SystemVerilog验证报错解决方案1.在initial块外定义全局变量，赋值时会报语法错误。 其原因是在SV程序结构中，initial外的语句都要经过elaboration。等于号“=”会被默认理解为硬件描述语言，而硬件描述语言中“=”操作前需要跟assign。 加入assign之后尽管不报错了，但输出结果不对。 只有将其写为软件程序的格式才能保证输出成功：

探索bit级别sparsity的存内计算核——JSSC2023.1 该篇文章由电子科大与北大联合发表。摘要截图如下： 这个加速器的工作原理是bit-serial的存内计算（CIM）架构，将input activation中同一个bit-level的36个bit接在CIM模块的字线（WL）上，接下来每一个clock cycle激活一条WL。如果当前的WL为1，位线（BL）上读出RRAM中存储的weight bit。在每一条BL的下方用一个counter记录BL输出脉冲的个数。BL输出一个脉冲，代表当前input activation与weight的bit相乘等于”1”。而下面的counter就用于这些”1”的累加，最后通过shifter移位器左移相应的bit level即可。尽管这种架构能够节省ADC/DAC的面积和功耗，但也带来了计算密度低的缺点，它的macro大小为36$\times$128，平均一个clock cycle只能计算128个1bit乘法。根据该文章后边的数据，在22nm工艺下这样的cell大小为443.8$\mu m^2$。对于100MHz的工作频率而言，一个macr ...