好文档就是一把金锄头!
欢迎来到金锄头文库![会员中心]
电子文档交易市场
安卓APP | ios版本
电子文档交易市场
安卓APP | ios版本

三维片上网络体系结构研究综述.pdf

17页
  • 卖家[上传人]:ldj****22
  • 文档编号:44657361
  • 上传时间:2018-06-14
  • 文档格式:PDF
  • 文档大小:1.12MB
  • / 17 举报 版权申诉 马上下载
  • 文本预览
  • 下载提示
  • 常见问题
    • 书书书第3 9卷 第9期2 0 1 6年9月计  算  机  学  报CH I N E S EJ OUR NA LO FC OMP UT E R SV o l . 3 9 N o . 9S e p t . 2 0 1 6 收稿日期:2 0 1 5  0 5  2 0; 出版日期:2 0 1 5  1 0  1 0 .本课题得到国家自然科学基金(6 1 1 3 3 0 0 7,6 1 3 0 3 0 6 5) 、 教育部博士点基金(2 0 1 3 4 3 0 7 1 2 0 0 2 8)资助.李 晨, 男,1 9 8 9年生, 博士研究生, 主要研究方向为片上网络. E  m a i l:l i c h e n@n u d t . e d u . c n .马 胜( 通信作者) , 男,1 9 8 6年生, 博士, 助理研究员, 中国计算机学会(C C F) 会员, 主要研究方向为计算机体系结构. E  m a i l:m a s h e n g@n u d t . e d u. c n.王 璐, 女,1 9 9 1年生,硕士研究生, 主要研究方向为计算机体系结构.郭 阳, 男,1 9 7 1年生, 博士, 研究员, 博士生导师, 中国计算机学会(C C F) 高级会员, 主要研究领域为微处理器设计验证技术.三维片上网络体系结构研究综述李晨 马胜 王璐 郭阳( 国防科学技术大学计算机学院 长沙 4 1 0 0 7 3)摘 要 伴随着三维集成电路的迅速发展, 三维片上网络受到国内外研究者的广泛关注.三维片上网络主要用于实现三维堆叠芯片的互连通信, 为三维集成电路提供超低的延迟和竖直方向上超高的带宽, 从而解决系统集成度增加导致的通信瓶颈问题, 有利于克服存储墙问题并提高三维堆叠芯片的性能.文章介绍了三维集成电路研究现状及其结构优势, 分析三维片上网络体系结构的特点和存在的问题, 包括竖直方向的单跳传播问题、 路由器交叉开关的复杂度控制问题以及热效应的控制问题, 从系统层、 微结构层和电路层对三维片上网络体系结构的研究热点及其实例进行了深入分析, 最后对三维片上网络所面临的挑战和设计方法进行了总结和展望.关键词 计算机体系结构; 三维堆叠; 三维集成电路; 三维片上网络中图法分类号T P 3 9 3   犇 犗 犐号1 0. 1 1 8 9 7/S P. J . 1 0 1 6. 2 0 1 6. 0 1 8 1 2犃犛 狌 狉 狏 犲 狔狅 狀犃 狉 犮 犺 犻 狋 犲 犮 狋 狌 狉 犲 犳 狅 狉犜 犺 狉 犲 犲犇 犻 犿 犲 狀 狊 犻 狅 狀 犪 犾犖 犲 狋 狑 狅 狉 犽 狊  狅 狀  犆 犺 犻 狆L IC h e n  MAS h e n g  WANGL u GUOY a n g(犆 狅 犾 犾 犲 犵 犲 狅 犳犆 狅 犿 狆 狌 狋 犲 狉,犖 犪 狋 犻 狅 狀 犪 犾犝 狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犇 犲 犳 犲 狀 狊 犲犜 犲 犮 犺 狀 狅 犾 狅 犵 狔,犆 犺 犪 狀 犵 狊 犺 犪 4 1 0 0 7 3)犃 犫 狊 狋 狉 犪 犮 狋  3 Di n t e g r a t e dc i r c u i t,s t a c k e d m u l t i p l es i l i c o nl a y e r sv e r t i c a l l y,c a ns i g n i f i c a n t l yr e d u c e l a t e n c ya n de n e r g yc o n s u m p t i o n.W i t ht h ed e v e l o p m e n to ft h e3 Di n t e g r a t e dc i r c u i t,3 DN e t w o r k s  o n  C h i p(N o C s)h a sw i d e l yr e c e i v e da t t e n t i o n f r o mr e s e a r c h e r s a l l o v e r t h ew o r l d . T h e3 DN o Ci su s e df o r i n t e r c o n n e c t i o na m o n g3 Ds t a c k i n gc h i p s . I tp r o v i d e su l t r al o wl a t e n c ya n du l t r ah i g hb a n d w i d t hf o rt h e3 Di n t e g r a t e dc i r c u i tt h r o u g hv e r t i c a ld i r e c t i o n . I tc a na d d r e s st h eb o t t l e n e c ko f c o mm u n i c a t i o nc a u s e db yt h e i n c r e a s i n go f s y s t e mi n t e g r a t i o n,t h e nt h ep r o b l e mo fm e m o r yw a l l c a na l s ob ea d d r e s s e d . I tw i l l l a r g e l y i m p r o v e t h ep e r f o r m a n c eo f 3 Ds t a c k e dc h i p s .T h i sa r t i c l e f i r s t r e v i e w s t h ec u r r e n tr e s e a r c hp r o g r e s sa n da d v a n t a g e s i n3 Ds t r u c t u r e,a n a l y z e sf e a t u r e sa n dc h a l l e n g e so f3 D N o C,i n c l u d i n gs i n g l e  h o pt r a n s f e r r i n gp r o b l e mt h r o u g hv e r t i c a ld i r e c t i o n,t h ec o m p l e x i t yc o n t r o lo fr o u t e rc r o s s b a ra n dt h eh e a tc o n t r o lp r o b l e m,a n dt h e ni n t r o d u c e s r e s e a r c hh o t s p o t so f 3 DN o Cf r o mt h e s y s t e ml a y e r,m i c r o a r c h i t e c t u r e l a y e r a n dc i r c u i tl a y e r,i n c l u d i n gt h e i n t r o d u c t i o na n da n a l y s e so f e x a m p l e s . T h e s e r e s e a r c hh o t s p o t s a r ee x t e n d e df r o m3b a s i cN o Cp o r t i o n s,i n c l u d i n gt o p o l o g y,r o u t i n ga l g o r i t h ma n dr o u t e rm i c r o a r c h i t e c t u r e .F i n a l l y,s o m eo p e n i s s u e sa n df u t u r ed i r e c t i o n s i n3 DN o Ca r ed i s c u s s e d .犓 犲 狔 狑 狅 狉 犱 狊  c o m p u t e ra r c h i t e c t u r e;3 Ds t a c k i n g;3 Di n t e g r a t e dc i r c u i t;3 DN o C1 引 言摩尔定律实际上是半导体集成电路行业的一条学习曲线, 一直引导和促进集成电路工艺技术的发展和进步.在2 0 0 4年以前, 摩尔定律主要通过工艺缩减来维持, 然而当工艺缩减到2 0 n m后, 成本下降的空间非常有限, 开发难度也陡然增加, 晶体管尺寸 的线性缩减有所减缓[1], 因此出现了多核、 虚拟化等并行策略来维持这一学习曲线.随着技术的继续发展, 多核、 多线程和虚拟化等策略又会遇到存储墙的问题[2], 需要提供更高的存储带宽和更大的存储空间来保证其性能.在这个背景下, 急需找到一种新的方式来维持这一学习曲线的速率, 因此, 三维芯片堆叠的方法应运而生[3].三维集成技术是一种新的集成电路工艺, 其将多个硅片垂直堆叠并以三维封装的方式封装成一个芯片[4], 是在工艺尺寸缩减受限的情况下提高系统性能的一种新的方式[5], 从延伸摩尔定律和超越摩尔定律两方面实现芯片上晶体管密度和芯片性能的大幅度提升[6  8].三维集成电路具有以下4点优势:(1) 更短的互连线长.三维集成电路技术最大的吸引力就在于工艺缩减受限的情况下, 通过芯片堆叠, 降低互连线的平均长度[9], 从而缩短延迟并降低功耗; (2) 更高的存储带宽.三维集成电路通过对存储部件的堆叠, 一方面提高了C a c h e容量, 另一方面减少了平均访存时间, 从而提升了吞吐率和能效;(3) 支持异质集成的实现.三维集成电路增加的一维空间使得芯片可以在更大的密度下实现更高的性能, 也使集成电路的异质集成能力得以更好地体现,即体系结构设计者可以通过灵活的方法实现各种异质结构的堆叠来满足功能的多样性; (4) 更小的系统尺寸.三维集成电路技术将二维芯片竖直堆叠,通过纵向垂直互连进行通信.该方式在提升了芯片集成度的同时缩小了芯片面积.三维片上网络通过三维立体的互连通信, 为三维集成电路提供超低的延迟和竖直方向上超高的带宽, 在现阶段对于提高三维芯片性能并控制热效应问题有着非常重要的意义.三维集成电路必将是未来集成电路的发展方向, 三维片上网络作为三维集成电路最重要的互连通信方式, 具有非常广阔的发展前景.基于此, 本文针对目前三维片上网络的研究热点, 从系统层、 微结构层和电路层三个层次对三维片上网络体系结构进行热点综述.分析了三维拓扑结构和路由器微结构的发展轨迹; 对路由算法、 垂直互连的T S V优化设计以及热管理等方面研究进行了分类总结; 同时还对非常有前景的2 . 5维片上互连硅中介技术进行介绍和讨论; 此外, 对于三维片上网络在设计方法学、 缓存分配以及新型堆叠方式等方面的研究也作了分析介绍.通过这些文献综述和讨论, 分析现有研究的优势和不足, 总结三维片上网络研究所面临的问题和挑战, 并针对这些问题和挑战提出下一步的研究前景和发展方向.2 三维片上网络体系结构特点与研究层次三维片上网络体系结构的最大特点是三维集成堆叠以及与此相适应的竖直通信链路.目前, 三维集成逻辑堆叠的商用芯片产品并未普及, 主要是以存储堆叠为主, 但按可能批量生产的时间顺序可以分为存储堆叠、 硅中介层、 存储层堆叠逻辑层和逻辑三维堆叠4种形式[1 0], 这些三维堆叠都是通过纵向的垂直互连进行通信.纵向垂直互连技术包括引线接合法(w i r eb o n d i n g) 、 微焊点(m i c r o b u m p) 、 无触点(c o n t a c t l e s s) 以及硅通孔连接(T S V) 等几种方式,这几种连接方式在纵向连接密度和实现特点方面各具特色[1 1].就目前来看, 采用T S V的垂直互连技术通过在硅晶圆上穿孔并以钨金属填注进行芯片间互连, 相对来说是最有前景的垂直互连技术, 最有潜力提供最大的互连密度, 虽然其制造成本目前还比较高, 但由于其出色的性能,T S V垂直互连技术有望获得最广泛的应用[1 2].片上网络作为一种在芯片内部通过拓扑结构将各个模块连接, 并采用路由和分组交换技术进行数据交换的通信方式, 可有效解决复杂S o C通信问题[1 3  1 4].三维片上网络是指将资源节点分布在竖直堆叠在一起的不同的物理层上, 并采用了三维立体的结构实现节点间的互连通信, 实现低延迟、 高带宽的片上网络结构[1 5  1 6].三维片上网络的体系结构设计对于网络延迟、 吞吐率、 功耗、 应用映射以及芯片的面积、 复杂度都有着非常重要的影响[1 7  1 8].三维片上网络和二维片上网络最大的区别在于新增加的连接不同层的竖直链路, 纵向竖直链路可以实现传统二维片上网络的平面结构所无法实现的性能.因此,如何利用好这些特别的竖直链路成为三维片上网络的研究重点.这就要求设计者选择一个合适的竖直链路体系结构, 并设计高性能低开销的路由器来减少竖直方向上的节点跳数.三维片上网络最关键的研究目标就是如何在相对较小的面积和功耗开销下, 为三维芯片提供更高的互连性能.相对于二维片上网络, 三维片上网络系统结构层的大部分研究集中在解决3个问题:(1) 竖直方向的单跳传播问题, 即在层间互连中, 由于竖直方向距离相对于水平方向可忽略不计,31819期李晨等:三维片上网络体系结构研究综述 因此要求任意两层之间在竖直方向都采用单跳传播以降低延迟.(2) 路由器交叉开关的复杂度控制问题, 由于三维结构增加一维需要增加交叉开关的端口数量,进而大幅增大交叉开关的复杂度, 使得硬件开销不可接受, 因此需要对交叉开关进行简化设计以降低硬件开销.(3) 热效应的控制问题, 三维堆叠技术使得集成电路晶体管密度增大, 单位面积产生的热量也相应增大, 同时三维堆叠增大了散热难度, 所以热效应成为必须控制的问题.上述问题的研究产生了几大研究热点, 这些研究热点分别分布在系统层、 微结构层和电路层, 概括如图1所示.这种分层的视角可以更好地理解三维片上网络研究层次.在系统层, 主要是对片上网络进行全局性研究, 如拓扑结构、 路由算法、 硅中介技术[1 9]、图1 三维片上网络研究层次图设计方法学、 新型芯片堆叠方式以及热管理的部分内容; 在微结构层研究方面, 主要包括路由器缓存分配、 路由器微体系结构研究以及热管理部分涉及路由器结构的设计研究; 在电路层方面, 主要是以垂直T S V互连相关内容的研究为主.下面将针对这些体系结构研究热点进行分析.3 三维片上网络体系结构研究进展3  1 拓扑结构片上网络主要由链路通道和路由器节点组成,而网络拓扑结构则决定了其物理布局和路由器节点与链路的连接方式.拓扑结构的评价指标有节点的度、 平均节点跳数、 最大通道负载以及路径多样性等.对于三维片上网络来说, 增加的一维纵向竖直连接不同于传统二维片上网络的平面连接方式, 为了利用好纵向连接的短距离和高带宽的特性, 垂直通信在三维拓扑结构的设计上也需要特别考虑.目前对三维片上网络拓扑结构的研究非常多[2 6,2 8  3 0], 其发展路线如图2所示, 主要可以分为两类, 一类将二维片上网络已有的拓扑结构直接应用于三维片上网络, 发挥三维立体结构的空间优势, 实现资源利用的最大化; 另一类则是根据三维片上网络的特点单独设计, 包括利用竖直方向相对于二维平面上可忽略不计的距离、 竖直方向上T S V通信的高带宽等.下面将介绍这两类拓扑结构设计思路的研究现状.图2 三维拓扑结构发展路线三维对称网络结构[2 0]是最基本的三维网络结构, 它由二维网络结构向竖直方向直接拓展而成.如图3(a) 所示, 该结构相当于在二维网络结构的路由器上增加两个端口, 分别是在竖直方向朝上和朝下的两个端口.显然, 增加这些端口需要相应地增加缓存、 仲裁器以及交叉开关的规模.所谓对称的网络结构是指报文在片间和片内都是每节点一跳地传输,即报文从一个四层芯片的底层某节点传输到顶层某4181计  算  机  学  报2 0 1 6年 图3 三维拓扑结构节点至少需要经过3跳.三维对称网络结构非常简单、 易实现, 但存在两个主要缺陷: 一是片间多跳传输浪费了其相对于片内可忽略不计的距离; 另一个是增加额外的端口, 需要一个7×7的交叉开关, 开销非常大.三维对称网络在竖直方向上按跳传输是极大的资源浪费, 因此, 文献[2 1] 提出了三维片上网络总线混合结构以解决该问题.如图3(b) 该结构在片内采用包交换网络, 片间采用总线结构, 通过这种混合机制, 很好地解决了片间多跳传输的问题.片内的包交换网络与二维片上网络相似, 而在片间采用的总线则是被称为“ 通信柱” 的动态时分多路访问总线(d T DMA).这些通信柱为任意两层芯片的节点提供单跳通信.限制通信柱数量的因素主要包括通孔的密度和路由器复杂度.采用三维片上网络总线混合结构相对于三维对称片上网络结构解决了片间多跳传输的问题, 降低了硬件复杂度, 将交叉开关规模从7×7降低为6×6.然而, 该结构在竖直方向上不支持并行通信, 在高流量下冲突严重, 因此对于节点数目和层数的限制非常严格.三维片上网络总线混合结构在竖直方向存在不支持并行通信的问题, 而三维纤毛片上网络结构[2 2]很好地解决了这个问题.它是一种单S w i t c h连接多I P模块的三维片上网络结构.如图3(c) 所示, 该3×3×3的三维纤毛结构由9个S w i t c h和2 7个I P模块组成, 其中每个S w i t c h连接3个I P模块. S w i t c h只存在于三维结构的最底层, 各层的I P模块都与最底层对应的S w i t c h相连接.在层内互连中, 只有接近散热模块的底层具有较好的连通性, 其他层的层内通信都需要经过底层S w i t c h来完成.这种结构面积和功耗开销低, 在一些特定的流量模型下能发挥较好的性能, 但单S w i t c h多I P模块的设计降低了该结构的连通性, 因此全局带宽是该结构的瓶颈, 影响其整体性能.图4 X NO T S路由柱X NO T S是一种通过交叉开关S w i t c h进行层间互连的片上网络结构[2 3], 各层内可采用任意直接拓扑逻辑结构, 而层间则通过交叉开关S w i t c h非直接相连.如图4所示, 这种交叉开关S w i t c h被称为路由柱. X NO T S三维片上网络结构的另一特点就是除了底层外, 无需保证各层内部任意两节点之间的连通性, 这类似于三维纤毛结构, 各层之间可根据性能和开销需要独立定制设计.由于散热器离底层51819期李晨等:三维片上网络体系结构研究综述 较近, 易于对底层散热, 因此, 对于不连通的上层网络节点, 均通过底层网络连接.这种设计还采用了热感知路由算法, 具有较好的散热性能和较高的吞吐率, 但是竖直方向上的交叉开关设计对于面积和功耗的需求相对较高.为了降低三维片上网络的报文传播延迟,X u等人[2 4]提出了一种如图5(a) 所示的低开销路由器组成的低直径三维片上网络设计.在采用与传统三维M e s h片上网络相同的7阶路由器的基础上, 通过在C a c h e层使用长连线的方式组成网络直径非常低的三维片上网络结构.由于计算核所在层的内部C a c h e一致性通信特别频繁, 故保留M e s h结构,而在C a c h e层则采用长连线的方式.如图5(b) 所示, 采用传统三维M e s h结构从犃节点传送消息到犅节点需要7拍, 而如图5(c) 所示, 若采用长连线, 则从节点犃到节点犅 ′再到节点犅只需要3跳,而该拓 扑 结 构 是 由 整 数 线 性 规 划 (I L P) 根 据 目标函数和约束函数计算得出.由于该方法只适合3 6个节点以下的网络, 作者还提出了两个扩展规模的方法.这种设计降低了网络直径且具有较高的性能, 但是不规则的长连线设计也增加了布局复杂度.图5 低阶低直径片上网络结构前面介绍的这几种拓扑逻辑都是在三维对称结构的基础之上针对三维集成电路的特点设计优化的, 而下面这3种拓扑逻辑均是由二维片上网络直接引入到三维片上网络中, 同时能够非常契合三维结构的特点, 具有各自的优势.在二维片上网络中, 树形结构是一种常用的拓扑结构, 根据应用需求, 可分为蝶形胖树、 一般胖树和遗传胖树等[3 6,5 0  5 1]. F e e r o等人[2 2]将树形结构引入到三维片上网络.这种胖树结构通过层次化的连接具有较小的网络直径, 并且能达到非常高的性能提升.然而这种设计存在的缺点是后端设计较为复杂且温度控制不够理想.D eB r u j i n图是一种直径小、 路由简单且具有容错等特性的网络拓扑, 为了获得简单、 可靠、 吞吐率高与延时短等优势, 该拓扑首先被应用在二维片上网络[5 2].电子科技大学的C h e n等人[2 5]设计了一种在水平面和垂直平面上均采用D eB r u j i n图作为拓扑结构的三维片上网络.在大多数情况下, 基于D eB r u j i n图的三维片上网络结构能够同时取得延时和功耗的最佳性能, 可以解决由于网络规模增大导致延迟增大的问题, 具有良好的可扩展性.该方法的缺点是性能效率不高, 传统的一些布局布线算法无法复用, 且对节点分布也有要求.二维蜂巢结构[5 3]相比于传统的矩形M e s h或T o r u s结构, 可降低大约4 0%的网络开销.芬兰图尔库大学的Y i n等人[2 6]根据蜂巢片上网络的这一特点, 提出了图6的三维蜂巢片上网络结构, 同时设计了一种死锁避免路由算法.该设计实际上是从二维片上网络延伸到三维片上网络.增加了维度后, 在水平方向上依然保持蜂巢拓扑结构; 在垂直方向上,为控制路由节点的阶, 作者将节点分为奇数节点和偶数节点两类, 一类只有向上的连线, 一类只有向下的连线, 通过该方法进一步降低硬件开销和功耗.然而这种结构也无法采用传统的布局布线算法, 同时平均节点跳数较高, 影响性能.图6 三维蜂巢片上网络结构上述拓扑结构都各具特点, 基于M e s h的三维片上网络形状规则, 布局布线相对来说难度不大, 非常适合于商业化产品的应用, 但是这一类拓扑结构又6181计  算  机  学  报2 0 1 6年 均存在网络延时大、 功耗开销大等问题.其他基于非M e s h结构的三维片上网络, 如低直径低阶网络、 基于D eB r u j i n图的网络结构虽然性能高、 直径小, 但又存在芯片布局布线复杂、 实现难度较大等问题.因此, 未来三维片上网络拓扑结构设计将面向可扩展性强、 布局布线简单、 充分利用垂直空间等方向发展.3  2 路由算法路由算法定义了一个消息从源节点到目的节点的路径, 分为确定性路由、 健忘路由和自适应路由3类,根据传输路径的长度也被划分为最短路由或非最短路由.路由算法的性能对于网络吞吐率和延迟有着直接影响, 越好的路由算法越能均衡网络负载.对于三维片上网络的路由算法, 要求其满足简单、 高性能和鲁棒性三个关键目标.同时, 随着三维片上网络设计规模的不断增大, 系统出现错误的概率也相应提高, 需要更多的容错设计来解决这些问题以提高可靠性.此外, 三维集成电路对于异构体系结构的支持, 使得片上网络通信流量形成一定的特征, 如何通过路由算法均衡网络负载, 提高带宽利用率并降低功耗也成为路由算法研究的一大热点.现有的路由算法研究主要集中在这两方面, 根据路由算法的分类分别介绍容错路由、 全局流量均衡、 层间流量均衡和低功耗路由4个路由算法, 其路由思路和功能特点见表1.表1 三维路由算法路由算法路由思路功能特点A F RA容错路由算法[3 1]流量平衡路由算法[3 2]层复用健忘路由算法[3 3]面向功耗免死锁路由算法[3 4]Z  X Y→X  Z  X Y根据网络状态自适应Z  X Y  Z/Z  Y X  Z分8个象限, 功耗自适应对T S V容错且可靠性高缓解拥塞并降低热效应层间负载均衡且结构简单功耗低且无死锁A F R A是一种低开销的三维M e s h片上网络容错路由算法[3 1], 主要针对竖直T S V出现的永久性错误而设计.该路由算法在默认情况下采用Z  X Y算法, 若Z  X Y路径的Z方向出现了永久性错误, 则采用X  Z  X Y路由算法.第1步, 消息将先从源节点传递到X方向最短路径上距离源节点最近的逃脱节点上, 第2步, 从该逃脱节点再经过Z X Y路由送到目的节点.若在最短路径上没有合适的逃脱节点,则会选择最小I D号的节点作为逃脱节点.在死锁避免机制上, 该文证明了当所有Z方向的链路错误是同向的, 则无需虚通道避免死锁.该算法是对Z  X Y算法的改进, 开销较低且可靠性较高, 并具有较好的性能.该算法的局限性在于只能支持竖直方向的容错, 且全是同向错误时才无需虚通道.为解决三维片上网络的拥塞问题, 缓解热效应,C h a n g等人[3 2]提出了一种流量平衡的路由策略.该路由策略包括一个高级临时转接路由算法, 该算法主要采用3个方法: (1) 收集网络中的拥塞和节流信息以均衡负载; (2) 减少路径复杂度以降低平均延迟; (3) 调整路由路径来散热.这种动态的路径选择算法简单高效, 不仅具有较低的延迟, 同时有利于网络的流量均衡以及热管理.但是在随机流量模型下, 部分节点具有非常高的通信频率, 性能并不好.当三维片上网络的各层负载不均衡时, 效率非常低.因此,R a m a n u j a m等人[3 3]提出了一种多层复用三维片上网络结构, 这种结构其实是一种Z  X Y  Z或Z  Y X  Z的健忘路由算法, 可有效实现各层的负载均衡.该文献用一种输入分层与输出层恢复的结构替代传统的一层一跳结构.如图7所示, 报文从节图7 层复用网络结构示意图(R犽为第犽层路由器对应的I P模块)71819期李晨等:三维片上网络体系结构研究综述 点注入后, 首先进入输入分层阶段, 该输入分层结构连接对应于该位置的各层的路由器, 根据路由器报文计数器状态, 将报文随机分配到负载较轻的一层,通过维序路由到达目的节点对应的该层节点, 再进入输出层恢复结构, 由交叉开关分配到目标节点所在层的路由器.虽然多层复用三维片上网络结构具有负载均衡和路由器结构简单等优点, 但该结构仍存在两个缺点, 一是在竖直方向上需要两跳通过, 二是增加的输入分层和输出层恢复结构是两个4×4的交叉开关, 每次报文通信需要多经过两个交叉开关, 降低了性能.在控制网络功耗并避免死锁方面, 南京大学的虞潇等人[3 4]提出一种面向功耗免死锁三维全动态路由算法.该算法将二维平面上的奇偶转弯模型扩展到三维结构, 将路由空间划分为8个象限, 在每个象限选取对应的路由策略, 即先走不同的轴, 到达对应的象限后采用自适应路由, 一方面避免互相之间的打扰; 另一方面也避免回路的产生从而避免死锁.该算法还通过比较三维空间中6个方向的功耗指标选择节点功耗较小的路径从而降低功耗, 并使报文分布均匀.与传统的Z  X Y算法、 静态X Y Z算法和T TAR[5 4]算法相比, 该设计在功耗方面显著下降, 但是在平均延迟和网络吞吐率等性能方面却略有损失.三维片上网络的路由算法已经不仅是为了将消息从源节点传输到目的节点, 它还能发挥容错、 负载均衡等功能性的作用.三维芯片密度增加, 热效应问题严重, 对于芯片可靠性的要求更高, 同时三维片上网络相对于二维片上网络在路径多样性上有了很大提升, 有更多的空间和路径来实现容错、 负载均衡的功能.因此, 未来三维片上网络路由算法的研究应面向多功能应用算法研究, 提高可靠性和降低功耗将与提高性能一样重要.3  3 路由器微结构传统的路由器微结构主要包括如下模块: 注入缓存、 路由计算模块、 虚通道分配器、 交叉开关分配器、 交叉开关以及输出单元等.路由器的功能主要是通过流水线来提高吞吐率.在片上网络中每一个路由器延迟占了总的通信延迟的很大一部分, 需要通过减少路由器流水线段来降低延迟并提高吞吐率.由于三维片上网络的规模增大, 维数增加, 无论是路由器端口数量还是交换开关的复杂度都不可避免地增加, 因此, 三维片上网络的路由器微结构研究重点是降低交叉开关复杂度等方面.图8显示了以降低开销为目的的三维片上网络路由器微结构设计方向.现有的研究一类通过三维分解降低路由器交叉开关的开销; 一类通过减少端口的数量来降低路由器开销; 另一类则通过层次化设计实现三维高阶S w i t c h.图8 三维片上网络路由器微结构文献[2 0] 考虑一种纯三维交叉开关的实现, 即将交叉开关三维化.如图9所示, 采用6个晶体管将交叉开关的连接点向三维扩展, 这种连接点称为连接盒.垂直链路嵌入到交叉开关中, 不需要额外的物理链路, 性能非常好.例如一个报文从底层的东输入端口传播到顶层的南输出端口仅需要一拍.尽管性能非常高, 连通性非常好, 但这种设计致命的缺点是在交叉开关的连接点增加了大量垂直链路, 造成了严重的路径冗余和复杂度开销.对于一个位宽为1的完整三维交叉开关, 需要2 5个连接盒, 由于每个连接盒需要6个晶体管, 则一个交叉开关需要1 5 0个晶体管.控制这些晶体管又需要至少1 5 0个控制信号, 一个4×4×4的三维片上网络结构, 则需要接近1 0 0 0 0个晶体管.同时, 其路径复杂度又严重过剩,在真实应用程序中, 这些连接的利用率非常低.因此, 对于延迟和面积约束非常严格的片上网络路由器来说, 这种设计是不现实的.图9 连接盒结构示意图D i mD e路由器微结构[2 0]是对纯三维交叉开关的改进.由于纯三维交叉开关开销过大, 考虑将其化简成三个模块, 即将X Y Z三个维度分解成行模块、列模块和纵模块, 分别仲裁.如图1 0所示, 该设计将5×5的交叉开关简化为行模块和列模块的两个4 ×2的交叉开关, 尽管增加了交叉开关的数量, 但其规模依然小于一个单体的5×5交叉开关.在仲裁设计上, 对于一个X Y Z维序路由算法, 第1步先仲裁单层本地报文, 需要传播到其他层的报文胜出, 第2步8181计  算  机  学  报2 0 1 6年 图1 0 D i m D e交叉开关将这些纵向传播的所有报文进行全局仲裁, 该仲裁器的设计是为了满足更多的并行通信. D i mD e三维片上网络结构相对于总线结构提供了较高的全局带宽, 相对于纯三维片上网络结构降低了大量硬件开销.L a s t Z路由器微结构[4 2  4 3]是对片上网络总线混合结构的路由器的改进, 减少端口数量以达到降低路由器开销的目的, 其结构如图1 1所示.该结构基于L a s t Z路由规则, 即非层内的报文传播, 最后一跳必须是竖直方向上的.因此, 作者根据这个规则做了两点结构设计: (1) 去掉一个输入端口, 将6×6的路由器简化为5×6的路由器结构; (2) 为每个处理核单元设计一个外包结构, 该结构由一个有限状态机和一个两路选择器组成.通过这样的结构设计,使得报文在最后一跳直接从d T DMA总线跳到处理核, 而无需经过最后一个路由器.这种设计相对于前面介绍的三维片上网络和总线混合结构, 具有较小的面积开销, 平均节点跳数降低了一跳, 简化的路由器结构使得路由器可以工作在更高的频率.虽然一定程度上缓解了总线拥塞问题, 但总线无法并行通信依然是这种结构的瓶颈, 导致在一些特定流量模型中效率降低.图1 1 L a s t Z结构的特点在三维高阶路由器的研究方面, 密歇根大学的B l a a u w领导的研究小组提出了一种支持单周期仲裁的高阶三维集成的H i  R i s eS w i t c h[4 4].该高阶S w i t c h基于2 DS w i z z l eS w i t c h[5 5]和三维折叠S w i t c h结构[5 6]设计, 一方面将仲裁逻辑集成到交叉开关的交叉点中, 使得仲裁器复用数据通路, 降低开销; 另一方面优化三维折叠S w i t c h结构, 如图1 2所示将其划分为层次化的S w i t c h, 本地S w i t c h负责每层的报文分配, 层间S w i t c h负责层间的报文分配.在设计上关注两个点, 一个是降低垂直通路的数量,控制T S V数量并降低开销; 另一个是层次化结构带来的分配不公平问题, 设计了一种基于类的最近最少分配仲裁策略(C L R G) , 为每个输入配置一个三优先级的计数器来实现.该S w i t c h支持6 4阶4层结构的实现, 相对于二维设计和传统三维折叠S w i t c h有更 高的性能和更低的开销. H i  R i s eS w i t c h设计在图1 2 H i  R i s eS w i t c h结构图(犖为端口数目,犔为层数、犆为任意两层间链路数目)91819期李晨等:三维片上网络体系结构研究综述 M e s h拓扑结构中能实现支持千核的超大规模三维结构.该S w i t c h的不足是垂直链路根据输入或输出分档, 每个输入都固定到一条垂直通道, 当多个输入竞争该通道时容易拥塞, 该策略不够公平, 仍有提升空间.  现有的三维片上网络路由器微结构研究以降低硬件开销为主要目的, 这是由于三维结构相对于二维结构性能已经有了很大提升, 而三维结构面临的硬件复杂度、 热效应等问题必须以降低开销作为主要解决方式.因此, 未来短期内路由器微结构的研究将依然集中于实现低复杂度低功耗的路由器结构.3  4 2  5维硅中介技术硅中介(S i l i c o ni n t e r p o s e r) 技术即2 . 5维堆叠技术是在三维堆叠技术尚未成熟前的一种过渡技术, 相对来说能较好地支持现有的一些设计工具和设计方法, 目前也已成为三维片上网络研究者重点关注的研究方向.如图1 3所示,2 . 5维集成电路是将多个同构或异构的部件相邻地堆叠在硅中介层上, 相邻部件之间通过硅中介层进行通信.通过2 . 5维堆叠可以大量增加存储容量, 同时避免三维堆叠中的热效应.现在已经出现了许多商用2 . 5维堆叠产品[5 7].硅中介技术的研究目前依然是比较新的方向, 其主要研究如何利用硅中介层进行通信, 硅中介层作为多个异构部件层的下一层, 负责这些部件间的通信.图1 3 2 . 5维堆叠集成电路如图1 4(a) 所示, 在传统的2 . 5维堆叠设计中,只会利用一小部分硅中介层的连线资源, 作为相邻部件间的通信.多伦多大学的J e r g e r等人[3 5]开发利图1 4 2 . 5维片上网络硅中介层连线资源的利用用了硅中介层的大量未用资源, 达到性能的大幅提升.该文献提出了一种如图1 4(b) 所示的通用方法来利用硅中介层的连线资源, 使得片内通信或片间通信均可以利用硅中介层的连线资源.在实现细节上一方面区分访存报文和一致性消息报文, 使之分别利用不同层的网络进行通信, 另一方面通过负载均衡方法和快速通路合理控制并均衡了网络流量,同时还降低网络直径.该方法在带来非常小的额外资源开销的同时大幅度提高了性能, 可以有效缓解网络拥塞, 同时大幅提高了等分带宽.作者还提出了一些拓 扑 逻 辑在 各 层的 设 计 方 法 以 及 报 文 转 发策略.  该文献第一次开发了硅中介层的设计空间, 许多现有的技术都能在此应用, 以达到较高的性能, 具有非常广阔的前景. 2 . 5维片上网络硅中介层的下一步研究一方面可以从结构和算法设计入手, 对硅中介层拥塞控制、 容错、 路由算法等进行深入研究;另一方面, 可以将2 . 5维片上网络硅中介技术应用到更多的环境, 例如C P U、G P U、 其他硬件加速器以及D R AM等组合的环境里, 更好地实现异构集成,将其潜能更大地挖掘出来.3  5 热管理热效应不仅是三维集成电路, 同样也是三维片上网络所面临的严峻挑战.在二维集成电路或是二维片上网络中热效应并不明显, 但当更多地设备器件层竖直堆叠在一起时, 功耗密度和热传导路径的长度均增加.高温所带来的问题是更长的传播延迟和更高的静态功耗.在超出芯片工作范围的温度工作可能会导致错误输出和可靠性降低等问题.此外,热效应使得散热和封装成本均增加.目前对于热效应的研究也非常多, 在系统结构层的研究一方面通0281计  算  机  学  报2 0 1 6年 过结构设计降低功耗和热的产生, 另一方面通过路由控制热点区域报文流向消除热点, 平衡通信量.“ 国立” 台湾大学的H u a n g等人[4 1]提出了一种共享路由器的三维片上网络的热管理结构设计, 通过降低路由器数量来降低芯片温度, 解决热效应问题.由于远离散热器的犿层路由器即使是在空闲状态仍然会产生较大的静态功耗, 并导致热效应的问题.作者将远离散热器的犿层存储和P E模块的路由器去掉, 通过T S V总线将这些部件与其他犖  犿层的路由器相连, 实现路由器共享.该策略与传统三维结构相比, 在8 0℃的温度约束下可将报文接收率提高两倍, 并节省1 3 . 4%的功耗开销.在热效应严重的三维芯片中, 温度每升高1 0℃,连线延迟将增加大约5%, 而漏电流将呈指数增长.宾夕法尼亚州立大学的A d d o  Q u a y e[3 9]提出采用遗传算法来进行热和通信感知的三维片上网络应用任务的映射和布局.相比于随机映射布局方法, 该方法热管理效果较好, 明显降低了系统通信量.因此, 功耗和温度的增加都得到直接缓解, 对三维片上网络性能可靠性有着直接影响.高温给系统性能、 功耗、 可靠性和开销等带来了一些不可避免的问题, 针对三维片上网络的热效应这一问题,C h a o等人在文献[4 0] 提出了一个三维片上网络流量和热感知的实时热管理策略.该策略包括两个部分: (1) 主动向下路由策略; (2) 垂直反馈节流策略.主动向下路由策略是一种流量感知策略,将部分流量迁移到底层, 靠近散热器的同时, 分散拥塞流量.垂直反馈节流策略则是一种热感知策略, 将过热的路由器节流以提升网络可靠性, 但该策略对三维片上网络的性能有一定的影响.热管理的研究在二维片上网络研究中就被提出, 由于堆叠散热困难, 在三维片上网络中热管理的重要性凸现出来.对热管理的研究一方面可以缓解热效应的问题; 另一方面也能提高系统可靠性.目前对于三维片上网络热管理的研究主要在系统层, 通过全局策略进行控制, 未来热管理的研究还将更多地面向微结构层和电路层, 从底层缓解和消除热效应问题.3  6 犜 犛 犞设计优化三维堆叠垂直互连的几种技术中,T S V最有潜力提供最大的连接密度. T S V连接技术并不限制芯片堆叠的数量, 但堆叠后的热效应和产能是制约其发展的关键因素.如图1 5所示,T S V连接技术可以用在B u l k工艺或S O I工艺下,S O I相对于B u l k工艺具有相对更小的垂直中 心距 (V e r t i c a lP i t c h).T S V技术的优势非常多, 然而也存在一些缺点, 包括面积开销大、T S V产能较低、 寄生电容问题、 路由拥塞问题等.目前在三维片上网络垂直互连研究领域, 对于T S V连接技术的研究和发掘最为活跃, 主要目的是提高T S V可靠性, 减少引脚数量和面积以控制通孔周围的应力问题.图1 5 T S V工艺对于竖直方向的T S V, 竖直连接的引脚面积对于垂直互连的开销影响很大, 文献[4 6] 提出了一种竖直T S V连接的串行通信方法以减少T S V数量.该串行通信方法基于移位寄存器, 由一个串行发射器和一个串行接收器组成.数据通过一条串行传播通路进行传播.作者测试了不同的串行程度对性能的影响, 在4 ∶ 1或2 ∶ 1的串行程度下较为实际, 即采用4条或2条串行传播通路传播数据.在这种串行程度下性能损失和功耗开销都较小, 引脚面积可大幅减少.该设计使得竖直方向的热T S V分布更为合理, 峰值温度也相应降低, 节省的空间方便了芯片核的布局规划.但这种设计的缺点是需要增加逻辑复杂度完成串行通信, 且对性能有所影响.文献[4 7] 也通过减少垂直T S V连接的引脚数量, 来减少面积和热功耗, 该文献作者提出了一种三维片上网络结构B B V C, 即一种基于双向双同步垂直通道的三维片上网络.该结构可以动态的自配置竖直链路的方向来传递报文, 在竖直方向用一个高频率双向通道替代一对单向通道以达到更高的带宽利用率、 更小的引脚面积和更高的可靠性.图1 6为B B V C结构的示意图, 为垂直端口配置控制模块, 使之具有双向通信能力. B B V C结构的优点是显著减少了T S V引脚面积, 简化了布局, 同时异构集成能力强; 缺点则是增加了竖直方向上的跳步数, 路由器交叉开关开销也较大.12819期李晨等:三维片上网络体系结构研究综述 图1 6 B B V C结构示意图文献[4 8] 为了减少T S V高开销这一缺陷, 设计了一种性能与开销较合算的三维片上网络结构.该结构的目的就是为了减少T S V的个数.通过对每一层的节点进行分类, 将节点归到几个虚拟组, 每个虚拟组连接一个T S V通信通道, 并设计了一系列算法来管理通信, 减少垂直T S V出现空闲的时间, 以提高T S V的带宽利用率, 继而提高全局性能.该方法可以显著减少T S V面积且性能下降非常小.国内对于T S V设计优化的研究也取得了显著的成果.合肥工业大学的欧阳一鸣等人[4 9]提出了一种T S V复用容错策略.传统的容错方法是增加一定数目的冗余链路, 然而针对T S V故障, 由于T S V是数量的限制, 该方法难以适用.因此, 作者提出通过对故障链路中功能良好的T S V复用, 并通过将数据微片多次传输的方式实现对T S V硬故障的容错.此外还通过添加E C C编码解码模块来实现瞬时故障容错功能.该策略一定程度地控制了硬件开销, 时延和吞吐率都有提高, 但是由于容错策略复用T S V,出现错误时, 微片在垂直方向分多次传输, 导致零负载延迟增加.上述T S V的设计优化研究均是以降低T S V开销或控制T S V数量提高可靠性为目的, 这是由于目前的制造工艺使得T S V的产品良率较低, 成本较高.然而在现有技术条件下, 垂直方向上采用T S V互连性能较高且最容易商业化应用, 所以目前受到广泛关注.未来对于垂直T S V互连的体系结构研究一方面继续对其设计优化降低开销; 另一方面还需要挖掘更多更有前景的垂直互连技术, 如无触点或交流耦合互连通信等.3  7 其他研究除了前面所介绍的6个研究热点外, 对于三维片上网络的研究还包括新型芯片堆叠方式、 设计方法学研究、 任务映射、 缓存布局、 三维光互连研究[5 8  5 9]以及性能评估等许多方面.由于篇幅限制, 本文无法全面完整地介绍, 只针对具有代表性的新型芯片堆叠方式、 设计方法学研究和缓存布局三个方面的研究进行介绍.P u t t a s w a m y和L o h在文献[3 7] 中提出一种三维处理器设计, 其每个独立功能模块贯穿多个芯片层, 虽然这一结构在当前技术条件下还存在一定困难, 但随着多层堆叠处理器技术的成熟, 这种结构非常灵活有效. M I R A三维片上网络结构是由美国宾夕法尼亚大学的P a r k等人[3 8]基于该技术提出的一种多层路由器结构.在逻辑结构上, 其与二维M e s h结构的路由器类似, 在竖直方向上, 其路由器结构贯穿多层网络, 与二维M e s h相比具有较小的节点面积和路由器间较短的距离.此外.路由器无需增加额外的功能结构, 只需要将功能模块合理地布局在多层结构中.这种结构具有非常高的性能, 但是其针对的是三维设计处理器核, 难以重用目前已经高度优化的二维处理器核设计技术, 且S w i t c h设计复杂度也很高.在三维片上系统中, 如何设计一个能效高的片上网络结构并满足三维堆叠技术的诸多约束是研究者在体系结构设计时最为关心的问题之一.为了解决这个问题, 文献[3 6] 提出了一种高能效三维片上网络设计的综合方法.该方法根据核的位置以及三维片上网络的各种约束, 决定最合适的拓扑结构和各层路由器的位置.三维片上网络的诸多约束除技术约束外, 还包括针对特定应用的网络通信特征.这种定制的三维片上网络拓扑结构针对其通信特征可以大幅度的减少功耗开销并降低传输延迟.在三维多核片上系统中, 一般将共享存储部件设置在顶层.当D R AM都在三维片上网络的顶层时, 一般都采用W i d eI O接口进行通信[6 0], 外部存储端口不再是片上系统的性能瓶颈.新的性能瓶颈将是网络热点导致的链路拥塞和饱和.文献[6 0] 针对这一新瓶颈, 提出了一个新的性能评估分析方法[6 1]来分配链路缓存, 以这种方式缓解热点区域的拥塞.该方法在网络设计阶段, 通过采用U n i f o r mR a n d o m和H o t s p o t混合流量模型寻找网络中可能存在的热点区域, 计算并分配各链路所需的合适的缓存数量, 以提升网络性能.然而, 这种方法不具有实时控制能力, 链路缓存分配在设计阶段已确定, 因此不能根据网络状态进行调整.本节主要从系统层、 微结构层和电路层3个层次出发, 介绍了三维片上网络体系结构的最新研究进展.事实上, 这些研究热点之间并不是相互独立2281计  算  机  学  报2 0 1 6年 的, 它们的关系错综复杂, 每一个研究点都涉及其他多个研究点, 而几乎所有的三维片上网络研究最终都回归到拓扑结构、 路由算法以及路由器微结构设计等问题. T S V的设计优化、 低功耗和热管理、 提高可靠性和性能、2 . 5维硅中介技术、 容错以及负载均衡等方面的研究, 都是通过针对拓扑结构、 路由策略和路由器微结构做具体设计来实现的; 同时所有针对拓扑结构、 路由策略和路由器微结构的设计, 其目的又都是为了提高性能和可靠性、 实现容错、 降低功耗等.不同于二维片上网络研究, 三维片上网络的研究结合其自身结构的特点以及面临的问题, 更多地出现在热管理、T S V设计优化、2 . 5维硅中介层利用以及对层间极短距离的利用上.这些研究的成果能够更好地发挥三维结构的优势特点.表2则将本文介绍的文献以这种方式呈现出来.表2 三维片上网络体系结构研究分类拓扑结构路由算法路由器微结构提高性能[2 1] [2 2] [2 3][2 4] [2 5] [3 5][3 6][3 2] [3 3] [3 5][3 8]降低开销[3 6] [5 3][3 3][2 0] [4 2] [4 3][4 4] [4 8]容错和提高可靠性[3 1] [4 0][4 7] [4 9]均衡负载[3 2] [3 3] [3 5]热管理和低功耗[2 3] [3 2] [3 4][4 0][4 1] [4 6]T S V设计优化[2 1][4 6] [4 7][4 8] [4 9]硅中介利用[3 5]缓存分配[6 0]4 研究方法与产品研发4  1 模拟环境与性能测试在片上网络体系结构研究中, 其巨大的设计空间需要模拟器来有效地评估其性能, 并选择合适的参数优化设计.二维片上网络和三维片上网络的主要功能都是连接各节点实现通信, 三维片上网络体系结构模拟器目前主要沿用二维结构的模拟器.由于在体系结构研究中, 我们更多地关心链路层以上层次的结构, 只需要考虑节点连通性、 链路延迟、 链路带宽以及路由器内部结构等设计, 而较少地关心T S V等结构的具体实现.因此, 将二维片上网络模拟器升级为三维片上网络模拟器, 最主要是在拓扑结构的增维.需要在片上网络垂直方向增加相应的链路, 同时在路由器微结构增加相应的端口.垂直方向的链路主要模拟T S V的设计, 其延时相应较短, 垂直链路的带宽位数代表了T S V的数量, 因此还需要注意垂直链路数量、 密度和带宽的控制.而路由算法、 流控机制、 网络流量模型等方面则可根据设计相应实现.现有的片上网络体系结构模拟器按照实现编程语言划分为三类, 包括以C++实现的B o o k s i m[6 2]、G a r n e t[6 3]、O P E N C  S i m[6 4]; 以S y s t e m C实现的N o x i m①、N i r g a m[6 5]以及以v e r i l o g或VHD L等硬件描述语言实现的模拟器.这些模拟器可以模拟片上网络的拓扑结构、 路由算法、 路由器微结构、 流控机制、 网络流量模型等各种机制和特性, 通过对代码的修改, 可以实现各种设计, 并测试其性能和硬件开销.此外,这些片上网络模拟器还可以链接到G e m 5等全系统模拟器或T r a c e模拟器N e t r a c e[6 6]、S y n F u l l[6 7]等实现全系统环境下测试片上网络的性能.除了上述性能模拟器之外, 还有专门测试片上网络功耗和面积 的 模 拟 器, 如O r i o n[6 8]、D S E NT[6 9]和R T LR o u t e r[7 0]等.三 维 片 上 网 络 专 用 模 拟 器VNO C 3②是 由C r i s t i n e lA b a b e i领导的小组采用C++语言开发的仿真平台.该仿真平台是研究两层或三层的三维片上网络架构的一个框架, 建立在一个VNO C仿真平台和一个B树布局之上.该平台是专门针对三维片上网络结构设计的, 然而在灵活性和功能全面性方面不及B o o k s i m模拟器.此外, “ 国立” 台湾大学的A c c e s s I CL a b也开发了 一 个 三 维 片 上 网 络 联 合 模 拟 平 台A c c e s sN o x i m③.其代码结构集成了N o x i m和H o t s p o t两个模拟器, 因此该平台集成了网络模型、 功耗模型和热模型.该模拟平台采用S y s t e m C语言实现, 对于重视热管理的设计实现有很高的应用价值.4  2 产品研发  由于三维集成电路依然面临着众多挑战, 对于三维集成电路的研发还处于先期发展阶段, 三维逻辑堆叠芯片的商业化产品并没有问世.目前的三维堆叠产品主要是对于存储部件的堆叠以及采用2 . 5维硅中介层技术的堆叠.在实验研究型芯片方面, 如表3所示,2 0 0 7年32819期李晨等:三维片上网络体系结构研究综述①②③N o x i m:N e t w o r k  o n  c h i ps i m u l a t o r,2 0 0 8. h t t p: / /s o u r c e f o r g e . n e t/p r o j e c t s/n o x i mVN O C 3,2 0 0 9. h t t p: / /v e n u s . e c e . n d s u . n o d a k . e d u/~c r i s/s o f t w a r e . h t m lA c c e s sN o x i m,2 0 1 5. h t t p: / /a c c e s s . e e . n t u . e d u . t w/n o x i m/i n d e x . h t m l I n t e l推 出 了 实 验 性 三 维 芯 片T e r a f l o p s处 理 器;2 0 0 8年罗切斯特大学的F r i e d m a n领导的小组研发了第一款堆叠芯片, 主频达到1 . 4GH z; 乔治亚理工学院研制的3 DMA P S三维芯片[7 1], 包含了一层逻辑层和一层D R AM层, 采用1 3 0n m工艺, 主频仅2 7 7MH z .其逻辑层6 4核的核间通信采用的是2 DM e s h结构, 垂直互连方面采用了T e z z a r o n的1 . 2μm直径的T S V技术.密歇根大学研制的C e n t i p 3 D e是一款大规模三维CMP处理器[7 2], 采用两层结构, 一层为包含6 4个A RM C o r t e x  M 3核心的系统, 该6 4核被组织成1 6个群, 通过c r o s s b a r相连接, 另一层是C a c h e .两 层 通 过T S V总 线 连 接. I BM的W o r d e m a n等人[7 3]研制了一个三维原型系统, 由一层存储层和一层逻辑层组成.其中存储结构采用的是e D r a m, 其存储逻辑来自I BM P o w e r 7p r o c e s s o rL 3C a c h e, 其垂直互连采用的是三维S w i t c h结构.表3 研究型堆叠芯片产品/技术出现时间单位堆叠类型堆叠层数T e r a f l o p s处理器2 0 0 7I n t e l实验性存储堆叠-R o c h e s t e rC u b e2 0 0 8罗切斯特大学逻辑堆叠-3 DMA P S2 0 1 1乔治亚理工学院存储+逻辑堆叠2~5C e n t i p 3 D e2 0 1 2密歇根大学存储+逻辑堆叠23 DS y s t e mP r o t o t y p e2 0 1 2I BM存储+逻辑堆叠2目前, 三维逻辑堆叠的芯片由于技术原因并没有产品化, 主要是作为实验性芯片由一些研究机构进行研究开发.由于堆叠层数都非常少, 一般都是两层堆叠, 故其片上网络结构相对简单, 多为在逻辑层的2 DM e s h或S w i t c h, 垂直互连采用总线或S w i t c h为主.商业化产品方面, 如表4所示, 目前最主要的两种存储堆叠 标准分别 是 由 美 光 公 司 领 导 设 计 的HMC(H y b r i d M e m o r yC u b e)①和AMD和H y n i x领导设计的H BM(H i g hB a n d w i d t hM e m o r y)②.它们均是采用T S V互连堆叠的高性能R AM接口标准, 应用到各种芯片的实现上. H BM与HMC的区别体现在D R AM运行频率、 总位宽、 发热以及扩展性层面.在应用方面, 采用H BM的AMDF i j iX T已经于2 0 1 5年6月问世.英伟达2 0 1 6年将推出的下一代G P U架构的P a s c a l也将采用H BM. HMC则将广泛地应用到I n t e l第二代至强P h i处理器以及三星存储堆叠芯片等产品中.在国内的产品研发方面, 武汉新芯在2 0 1 5年5月宣布其9层结构的三维存储器芯片通过了基本功能的电学验证, 预计2 0 1 7年将实现量产.在2 . 5维堆叠集成方面, 赛灵思公司则在2 0 1 1年推出了第一款2 . 5维堆叠的V i r t e x  72 0 0 0 TF P GA[5 7].该F P GA芯片在硅中介层上装配了4块F P GA子芯片, 通过硅中介层互连打破了I/O瓶颈, 提供了F P GA间1 0 0 0 0条数据路径的通信.实现同样的性能, 比起二维结构面积只有四分之一,功耗更是只有六分之一.表4 商业堆叠芯片产品/技术出现时间单位堆叠类型堆叠层数量产时间HMC2 0 1 1美光存储堆叠4~82 0 1 4HBM2 0 0 9AMD/H y n i x存储堆叠4~82 0 1 5三维数据型闪存2 0 1 5武汉新芯存储堆叠92 0 1 73 DV  NAN D2 0 1 4三星存储堆叠3 22 0 1 43 DNAN DF l a s h2 0 1 5东芝存储堆叠4 82 0 1 6V i r t e x  72 0 1 1赛灵思2 . 5维堆叠22 0 1 1商业化产品主要出现在存储堆叠上, 由于其结构较为规整, 热效应并不严重, 因此技术逐渐成熟,并出现了许 多商业产 品.在 其 互 连结构 方面, 以HMC标准为例, 底层存储控制器通过高阶S w i t c h相连, 上层存储部件通过总线, 与对应的存储控制器连接, 组成三维存储结构.5 挑战与展望目前, 三维片上网络依然面临着许多问题和挑战, 除了本文第二部分提到的三维片上网络的三大问题之外, 其进一步发展还面临一系列的挑战和技术瓶颈[7 4  7 5], 主要包括:(1) 缺乏商业化的E D A工具[7 6]和设计方法.由二维结构的设计转换到三维结构的设计, 片上网络结构从空间上获得了非常多的结构优势和性能优势, 同时, 在设计上所要考虑的约束条件和设计因素4281计  算  机  学  报2 0 1 6年①②HMCS p e c i f i c a t i o n1 . 0,2 0 1 3. h t t p: / /ww w. h y b r i d m e m o r y c u b e . o r gH i g hB a n d w i d t hM e m o r y(H B M) ,2 0 1 5 . h t t p: / /w w w. a m d .c o m/z h  c n/i n n o v a t i o n s/s o f t w a r et e c h n o l o g i e s/h b m 也不断增加.然而目前没有成熟和合适的E D A工具和设计方法支持三维片上网络设计, 这直接导致三维堆叠的商业化产品无法实现.随着设计空间的增大, 设计空间探索难度急剧增加[7 7], 如何发挥三维堆叠优势, 设计高性能的三维堆叠产品也困难重重, 因此, 对于支持三维集成电路的E D A工具和设计方法的研究势在必行.(2) 散热问题.芯片堆叠所产生的热效应来源于功耗密度的急剧增加, 它带来的散热问题目前是限制三维集成电路及其片上网络发展的最大瓶颈,对于芯片可靠性和稳定性的影响非常大, 许多设计都受到散热问题的限制而被迫进行缩减, 三维片上网络也因此需要各种结构设计来降低开销.解决该问题需要研究者从电路层到系统层提出思路, 对三维堆叠的热效应建立模型, 研究可能的解决办法以迁移热效应.(3) 通孔周围的应力问题.在三维片上网络的垂直T S V周围会出现应力问题, 限制了T S V阵列与器件的间距以及T S V在竖直方向布局密度, 从而影响网络带宽和器件布局.这就要求在垂直T S V的设计中考虑全局性因素, 需要与电源、 时钟网络等因素共同考虑网络资源分配, 同时需要在三维片上网络进行体系结构设计与优化.(4) 测试问题.目前研究者对于三维堆叠技术的测试问题的研究还非常不足, 缺乏针对三维片上网络的测试方法.测试问题最大的局限就是对于堆叠的硅片难以探测访问, 难以判断堆叠芯片内部网络的情况, 为高可靠性产品的实现带来了隐患.因此, 三维堆叠及三维片上网络技术急需研究者提出测试设计的解决办法.上述挑战虽然带来了许多困难, 但同时也指引了三维片上网络发展的方向, 现在和未来的研究除了提高三维片上网络的性能之外, 主要研究目标就是解决这些问题.结合三维片上网络研究热点以及系统结构设计的未来发展, 三维片上网络体系结构层设计主要有两个大的发展方向.一方面是将二维片上网络已有的结构或机制引入或移植到三维片上网络中, 并根据三维结构特点进行优化设计, 包括拓扑结构、 路由算法、 路由器微结构等方面, 这对于三维片上网络研究的快速发展进步是非常有利也非常有必要的; 另一方面, 在三维片上网络的设计中最重要的一点就是注重混合设计.由于片上网络的三维结构在水平方向上的两维与竖直方向的第三维并不是对称的, 因此在设计时可以分别结合片内和片间网络的特点进行不对称设计, 发挥不同结构各自的优势特点, 这种不对称性既可以适用于拓扑结构、 路由器微结构等物理结构上, 也适用于路由算法、 流控机制等通信流量的管理上, 从而更好地发挥出三维片上网络结构的优势.综上所述, 三维片上网络由于具备二维片上网络所不具备的空间优势, 其发展空间非常广阔, 必将伴随三维集成电路的发展成为下一代多核甚至众核系统的主流片上通信架构.参考文献[1]K u m a rH,S i n g hS,K u m a rC. 3 Di n t e g r a t i o n  o p p o r t u n i t i e sa n dc h a l l e n g e s . I n t e r n a t i o n a l J o u r n a l o fE l e c t r o n i c a n dE l e c t r i c a lE n g i n e e r i n g,2 0 1 0,3(3) :1 2 5  1 3 1[2]W u l fW A,M c K e eSA. H i t t i n g t h em e m o r yw a l l:I m p l i c a t i o n so f t h eo b v i o u s . A C MS I G A R C HC o m p u t e rA r c h i t e c t u r eN e w s,1 9 9 5,2 3(1) :2 0  2 4[3]B l a c kB,A n n a v a r a m M,B r e k e l b a u m N,e ta l .D i es t a c k i n g(3 D)m i c r o a r c h i t e c t u r e/ /P r o c e e d i n g so ft h e3 9 t h A n n u a lI E E E/A CMI n t e r n a t i o n a lS y m p o s i u mo n M i c r o a r c h i t e c t u r e .O r l a n d o,U S A,2 0 0 6:4 6 9  4 7 9[4]R a mmP,K l u m p pA,W e b e rJ . 3 Di n t e g r a t i o nt e c h n o l o g i e sf o rMEM S/I Cs y s t e m s/ /P r o c e e d i n g so f t h eB i p o l a r/B i CMO SC i r c u i t sa n dT e c h n o l o g yM e e t i n g . C a p r i,I t a l y,2 0 0 9:1 3 8  1 4 1[5]T o p o lA W,L aT u l i p eDC,S h i L,e t a l . T h r e ed i m e n s i o n a li n t e g r a t e dc i r c u i t s . I BMJ o u r n a l o fR e s e a r c ha n dD e v e l o p m e n t,2 0 0 6,5 0(4 . 5) :4 9 1  5 0 6[6]X i aY a n . P r e s e n t s i t u a t i o na n dd e v e l o p m e n t o f 3 Di n t e g r a t i o n .C h i n aI n t e g r a t e dC i r c u i t,2 0 1 1,2 0(7) :2 3  2 8(i nC h i n e s e)( 夏艳. 3 D集成的发展现状与趋势.中国集成电路,2 0 1 1,2 0(7) :2 3  2 8)[7]L o hGH,X i eY,B l a c kB. P r o c e s s o rd e s i g n i n3 Dd i es t a c k i n gt e c h n o l o g i e s . I E E E M i c r o,2 0 0 7,2 7(3) :3 1  4 8[8]L o iGL,A g r a w a lB,S r i v a s t a v aN,e t a l . At h e r m a l l y  a w a r ep e r f o r m a n c ea n a l y s i so f v e r t i c a l l y i n t e g r a t e d(3  D)p r o c e s s o r m e m o r yh i e r a r c h y/ /P r o c e e d i n g so ft h e4 3 r d A n n u a lD e s i g nA u t o m a t i o nC o n f e r e n c e . S a nF r a n c i s c o,U S A,2 0 0 6:9 9 1  9 9 6[9]X i eJ,Z h a oJ,D o n g X,e ta l .A r c h i t e c t u r a lb e n e f i t sa n dd e s i g nc h a l l e n g e sf o rt h r e ed i m e n s i o n a l i n t e g r a t e dc i r c u i t s/ /P r o c e e d i n g so ft h e2 0 1 0I E E E A s i aP a c i f i cC o n f e r e n c eo nC i r c u i t s a n d S y s t e m s . K u a l a L u m p u r,M a l a y s i a,2 0 1 0:5 4 0  5 4 3[1 0]X i eY,C o n gJ,S a p a t n e k a rSS . T h r e eD i m e n s i o n a l I n t e g r a t e dC i r c u i tD e s i g n .N e wY o r k:S p r i n g e r,2 0 1 0[1 1]D a v i sW R,W i l s o nJ,M i c kS,e ta l .D e m y s t i f y i n g3 DI C s:T h ep r o sa n dc o n so fg o i n gv e r t i c a l .D e s i g n & T e s to fC o m p u t e r s,2 0 0 5,2 2(6) :4 9 8  5 1 0[1 2]X i eY.P r o c e s s o ra r c h i t e c t u r ed e s i g nu s i n g3 Di n t e g r a t i o nt e c h n o l o g y/ /P r o c e e d i n g so f t h e2 3 r dI n t e r n a t i o n a lC o n f e r e n c eo nV L S ID e s i g n. B a n g a l o r e,I n d i a,2 0 1 0:4 4 6  4 5 152819期李晨等:三维片上网络体系结构研究综述 [1 3]D a l l yWJ,T o w l e sBP. P r i n c i p l e s a n dP r a c t i c e so f I n t e r c o n n e c t i o nN e t w o r k s . E l s e v i e r,M o r g a nK a u f m a n n,U S A,2 0 0 4[1 4]H e m a n iA,J a n t s c hA,K u m a rS,e ta l .N e t w o r ko nc h i p:A na r c h i t e c t u r e f o rb i l l i o nt r a n s i s t o re r a/ /P r o c e e d i n g so f t h eI E E EN o r C h i pC o n f e r e n c e . T u r k u,F i n l a n d,2 0 0 0,3 1:1  8[1 5]L iL i,Z h a n g Y u  A n g,F u Y u  X i a n g,e ta l .T h es t u d yo fm e m o r ya r c h i t e c t u r e sf o r3 Dc h i pm u l t i  p r o c e s s o r s . J o u r n a lo fN a n j i n gU n i v e r s i t y(N a t u r a l S c i e n c e s) ,2 0 1 4,5 0(3) :3 3 0 3 3 5(i nC h i n e s e)( 李丽,张宇昂,傅玉祥等.三维众核片上处理器存储架构研究.南京大学学报( 自然科学) ,2 0 1 4,5 0(3) :3 3 0  3 3 5)[1 6]L i uCC,C h e nJH,M a n o h a rR,e t a l .M a p p i n gs y s t e m  o n c h i pd e s i g n s f r o m2  Dt o3  DI C s/ /P r o c e e d i n g so ft h eI E E EI n t e r n a t i o n a lS y m p o s i u m o n C i r c u i t sa n d S y s t e m s .K o b eJ a p a n,2 0 0 5:2 9 3 9  2 9 4 2[1 7]H uJ,M a r c u l e s c uR. E n e r g y  a n dp e r f o r m a n c ea w a r em a p p i n gf o r r e g u l a rN o Ca r c h i t e c t u r e s . I E E ET r a n s a c t i o n so nC o m p u t e r A i d e d D e s i g n o fI n t e g r a t e d C i r c u i t sa n d S y s t e m s,2 0 0 5,2 4(4) :5 5 1  5 6 2[1 8]J e a n gYL,W e yT,W a n gHY,e t a l .M e s h  t r e e a r c h i t e c t u r ef o rn e t w o r k  o n  c h i pd e s i g n/ /P r o c e e d i n g so f t h e2 n dI n t e r n a t i o n a lC o n f e r e n c eo nI n n o v a t i v eC o m p u t i n g,I n f o r m a t i o na n dC o n t r o l .K u m a m o t oJ a p a n,2 0 0 7:2 6 2[1 9]D e n gY,M a l y W P. I n t e r c o n n e c tc h a r a c t e r i s t i c so f2 . 5  Ds y s t e mi n t e g r a t i o ns c h e m e/ /P r o c e e d i n g so f t h e2 0 0 1I n t e r n a t i o n a lS y m p o s i u m o n P h y s i c a l D e s i g n.S o n o m a C o u n t y,U S A,2 0 0 1:1 7 1  1 7 5[2 0]K i mJ,N i c o p o u l o sC,P a r kD,e t a l . An o v e l d i m e n s i o n a l l y d e c o m p o s e d r o u t e r f o r o n  c h i p c o mm u n i c a t i o n i n 3 Da r c h i t e c t u r e s/ /P r o c e e d i n g so ft h e3 4 t hA n n u a lI n t e r n a t i o n a lS y m p o s i u m o n C o m p u t e r A r c h i t e c t u r e(I S C A’0 7). N e wY o r k,U S A,2 0 0 7:1 3 8  1 4 9[2 1]L iF,N i c o p o u l o s C,R i c h a r d s o n T,e ta l .D e s i g n a n dm a n a g e m e n to f3 D c h i p m u l t i p r o c e s s o r su s i n gn e t w o r k  i n m e m o r y/ /P r o c e e d i n g s o f t h e 3 3 r d A n n u a l I n t e r n a t i o n a lS y m p o s i u m o nC o m p u t e rA r c h i t e c t u r e .N e w Y o r k,U S A,2 0 0 6,3 4(2) :1 3 0  1 4 1[2 2]F e e r oBS,P a n d ePP . N e t w o r k s  o n  c h i p i na t h r e ed i m e n s i o n a le n v i r o n m e n t:Ap e r f o r m a n c ee v a l u a t i o n . I E E ET r a n s a c t i o n so nC o m p u t e r s,2 0 0 9,5 8(1) :3 2  4 5[2 3]M a t s u t a n i H,K o i b u c h i M,Am a n o H.T i g h t l y  c o u p l e dm u l t i  l a y e rt o p o l o g i e sf o r3  D N o C s/ /P r o c e e d i n g s o ft h eI E E EI n t e r n a t i o n a lC o n f e r e n c eo nP a r a l l e lP r o c e s s i n g .X i’a n,C h i n a,2 0 0 7:7 5[2 4]X uY,D uY,Z h a oB,e ta l .Al o w  r a d i xa n dl o w  d i a m e t e r3 Di n t e r c o n n e c t i o nn e t w o r kd e s i g n/ /P r o c e e d i n g so f t h e I E E E1 5 t hI n t e r n a t i o n a l S y m p o s i u mo nH i g hP e r f o r m a n c eC o m p u t e rA r c h i t e c t u r e . R a l e i g h,U S A,2 0 0 9:3 0  4 2[2 5]C h e nY,H uJ,L i n gX. D eB r u i j ng r a p hb a s e d3 DN e t w o r ko nC h i pa r c h i t e c t u r ed e s i g n/ /P r o c e e d i n g so f t h e I n t e r n a t i o n a lC o n f e r e n c eo nC o mm u n i c a t i o n s,C i r c u i t s a n dS y s t e m s . M i l p i t a s,U S A,2 0 0 9:9 8 6  9 9 0[2 6]Y i nA W,X u T C,L i l j e b e r g P,e ta l .E x p l o r a t i o n so fh o n e y c o m bt o p o l o g i e sf o rn e t w o r k  o n  c h i p/ /P r o c e e d i n g so ft h e6 t h I F I P I n t e r n a t i o n a l C o n f e r e n c e o n N e t w o r k a n dP a r a l l e lC o m p u t i n g . G o l dC o a s t,A u s t r a l i a,2 0 0 9:7 3  7 9[2 7]T a nH a i,H eY u eS h u n,J i n W e n  B i n g,e ta l .V  M e s h:Al o w  l a t e n c ya n de n e r g y  e f f i c i e n tn e t w o r k  o n  c h i ps t r u c t u r ef o r3 Ds t a c k e d m a n y  c o r e .C h i n e s eJ o u r n a lo fC o m p u t e r s,2 0 1 4,3 7(1 0) :2 1 3 9  2 1 5 2(i nC h i n e s e)( 谭海,何月顺,靳文兵等.V  M e s h:面向三维堆叠芯片的低时延低功耗片上网络结构.计算机学报,2 0 1 4,3 7(1 0) :2 1 3 9  2 1 5 2)[2 8]Z h a n g D a  K u n,S o n g G u o  Z h i,W a n g L i a n  L i a n,e ta l .S u r v e yo nt o p o l o g i e so ft h r e ed i m e n s i o n a ln e t w o r ko nc h i p .J o u r n a lo fF r o n t i e r so fC o m p u t e rS c i e n c e & T e c h n o l o g y,2 0 1 5,9(2) :1 2 9  1 6 4(i nC h i n e s e)( 张大坤,宋国治,王莲莲等.三维片上网络拓扑结构研究综述.计算机科学与探索,2 0 1 5,9(2) :1 2 9  1 6 4)[2 9]R a h m a n iA M,L a t i fK,L i l j e b e r gP,e ta l .R e s e a r c ha n dp r a c t i c e so n3 Dn e t w o r k s  o n  c h i pa r c h i t e c t u r e s/ /P r o c e e d i n g so f t h eN O R C H I P. T a m p e r e,F i n l a n d,2 0 1 0:1  6[3 0]C h e n Y i  O u,H u J i a n  H a o,L i n g X i a n g . R e s e a r c h o nt o p o l o g i ca r c h i t e c t u r eo f t h r e ed i m e n s i o n a l n e t w o r ko nc h i p .T e l e c o mm u n i c a t i o n sS c i e n c e,2 0 0 9,2 5(4) :3 9  4 4(i nC h i n e s e)( 陈亦欧,胡剑浩,凌翔.三维片上网络拓扑研究.电信科学,2 0 0 9,2 5(4) :3 9  4 4)[3 1]A k b a r i S,S h a f i e eA,F a t h y M,e ta l .A F R A:Al o wc o s th i g h p e r f o r m a n c e r e l i a b l e r o u t i n g f o r 3 D m e s h N o C s/ /P r o c e e d i n g so ft h eD e s i g n,A u t o m a t i o n & T e s ti nE u r o p eC o n f e r e n c e & E x h i b i t i o n(D A T E).D r e s d e n,G e r m a n y,2 0 1 2:3 3 2  3 3 7[3 2]C h a n g W C,T s e n g H W,K u o C F.A t r a f f i c  b a l a n c e dr o u t i n gs c h e m ef o rh e a tb a l a n c ei n3 D n e t w o r k s  o n  c h i p/ /P r o c e e d i n g so f t h e2 9 t hA n n u a lA CMS y m p o s i u mo nA p p l i e dC o m p u t i n g .N e wY o r k,U S A,2 0 1 4:1 4 3 7  1 4 4 2[3 3]R a m a n u j a m R S,L i n B.Al a y e r  m u l t i p l e x e d3 D o n  c h i pn e t w o r k a r c h i t e c t u r e .I E E E E m b e d d e d S y s t e m s L e t t e r s,2 0 0 9,1(2) :5 0  5 5[3 4]Y uX i a o,L iL i,Z h a n gY u  A n g,e ta l .Ap o w e r  a w a r ed e a dl o c ka v o i dt h r e ed i m e n s i o n a lf u l l  a d a p t i v er o u t i n ga l g o r i t h mf o r3 DN o C.A c t aE l e c t r o n i c aS i n i c a,2 0 1 3,4 1(2) :3 2 9  3 3 4(i nC h i n e s e)( 虞潇,李丽,张宇昂等.一种面向功耗免死锁三维全动态3 DN o C路由算法.电子学报,2 0 1 3,4 1(2) :3 2 9  3 3 4)[3 5]J e r g e rNE,K a n n a nA,L iZ,e ta l .N o Ca r c h i t e c t u r e sf o rs i l i c o n i n t e r p o s e r s y s t e m s:Wh yp a y f o rm o r ew i r e sw h e ny o uc a ng e t t h e m(f r o my o u r i n t e r p o s e r)f o r f r e e? / /P r o c e e d i n g so f t h e4 7 t hA n n u a l I E E E/A CMI n t e r n a t i o n a lS y m p o s i u mo nM i c r o a r c h i t e c t u r e(M I C R O).C a m b r i d g e,E n g l a n d,2 0 1 4:4 5 8  4 7 0[3 6]M u r a l iS,S e i c u l e s c u C,B e n i n i L,e t a l .S y n t h e s i s o fn e t w o r k so nc h i p sf o r3 Ds y s t e m so nc h i p s/ /P r o c e e d i n g so ft h e 2 0 0 9 A s i a a n d S o u t h P a c i f i c D e s i g n A u t o m a t i o nC o n f e r e n c e . P i s c a t a w a y,U S A,2 0 0 9:2 4 2  2 4 7[3 7]P u t t a s w a m yK,L o hG H.T h e r m a lh e r d i n g:M i c r o a r c h i t e c t u r et e c h n i q u e sf o rc o n t r o l l i n gh o t s p o t si nh i g h  p e r f o r m a n c e3 Di n t e g r a t e d p r o c e s s o r s/ /P r o c e e d i n g s o ft h eI E E E 1 3 t hI n t e r n a t i o n a lS y m p o s i u m o n H i g h P e r f o r m a n c e C o m p u t e rA r c h i t e c t u r e . S c o t t s d a l e,U S A,2 0 0 7:1 9 3  2 0 4[3 8]P a r kD,E a c h e m p a t iS,D a s R,e ta l .M I R A:A m u l t i l a y e r e do n  c h i p i n t e r c o n n e c t r o u t e r a r c h i t e c t u r e/ /P r o c e e d i n g s6281计  算  机  学  报2 0 1 6年 o ft h e3 5 t h A n n u a lI n t e r n a t i o n a lS y m p o s i u m o nC o m p u t e rA r c h i t e c t u r e .N e wY o r k,U S A,2 0 0 8:2 5 1  2 6 1[3 9]A d d o  Q u a y eC.T h e r m a l  a w a r em a p p i n ga n dp l a c e m e n tf o r3  D N o C d e s i g n s/ /P r o c e e d i n g s o ft h eI n t e r n a t i o n a lS O CC o n f e r e n c e .H e r n d o n,U S A,2 0 0 5:2 5  2 8[4 0]C h a oC H,J h e n g K Y,W a n g H Y,e ta l .T r a f f i c  a n dt h e r m a l  a w a r er u n  t i m et h e r m a lm a n a g e m e n ts c h e m ef o r3 DN o C s y s t e m s/ /P r o c e e d i n g s o ft h e 2 0 1 0 4 t h A CM/I E E EI n t e r n a t i o n a lS y m p o s i u m o n N e t w o r k s  o n  C h i p(NO C S).G r e n o b l e,F r a n c e,2 0 1 0:2 2 3  2 3 0[4 1]H u a n gY R,P a nJ H,L u Y C.T h e r m a l  a w a r er o u t e r s h a r i n g a r c h i t e c t u r e f o r 3 D N e t w o r k  o n  C h i p d e s i g n s/ /P r o c e e d i n g so ft h e2 0 1 0I E E E A s i aP a c i f i cC o n f e r e n c eo nC i r c u i t sa n d S y s t e m s(A P C C A S).P a r i s,F r a n c e,2 0 1 0:1 0 8 7  1 0 9 0[4 2]R a h m a n iA M,L i l j e b e r gP,P l o s i l a J,e t a l . L a s t Z:A nu l t r ao p t i m i z e d3 Dn e t w o r k s  o n  c h i pa r c h i t e c t u r e/ /P r o c e e d i n g so ft h e1 4 t h E u r o m i c r o C o n f e r e n c eo n D i g i t a lS y s t e m D e s i g n(D S D). O u l u,F i n l a n d,2 0 1 1:1 7 3  1 8 0[4 3]R a h m a n iA,L i l j e b e r gP,P l o s i l aJ,e ta l . P a r t i a l  L a s t Z:A no p t i m i z e dh y b r i d i z a t i o nt e c h n i q u ef o r3 D N o Ca r c h i t e c t u r ee n a b l i n ga d a p t i v e i n t e r  l a y e rc o mm u n i c a t i o n/ /P r o c e e d i n g so ft h e 2 0 1 2 I n t e r n a t i o n a l I E E E C o n f e r e n c e S o C D e s i g nC o n f e r e n c e(I S O C C). J e j uI s l a n d,K o r e a,2 0 1 2:2 8 1  2 8 4[4 4]J e l o k aS,D a sR,D r e s l i n s k iR G,e ta l .H i  R i s e:Ah i g h r a d i xs w i t c hf o r3 Di n t e g r a t i o nw i t hs i n g l ec y c l ea r b i t r a t i o n/ /P r o c e e d i n g so ft h e4 7 t h A n n u a lI E E E/A CM I n t e r n a t i o n a lS y m p o s i u m o n M i c r o a r c h i t e c t u r e(M I C R O).C a m b r i d g e,E n g l a n d,2 0 1 4:4 7 1  4 8 3[4 5]M a t t h i a sT,B u r g g r a f J,B u r g s t a l l e rD,e t a l . T h i nd i e s t a c k i n gf o r w i d eI/O m e m o r y  o n  l o g i c .S o l i d S t a t e T e c h n o l o g y,2 0 1 2,5 5(5) :1 7  2 0[4 6]P a s r i c h aS.E x p l o r i n gs e r i a lv e r t i c a li n t e r c o n n e c t sf o r3 DI C s/ /P r o c e e d i n g so ft h e4 6 t h A n n u a lD e s i g n A u t o m a t i o nC o n f e r e n c e . S a nF r a n c i s c o,U S A,2 0 0 9:5 8 1  5 8 6[4 7]R a h m a n iA M,L i l j e b e r gP,P l o s i l a J,e t a l . B B V C  3 DN o C:A ne f f i c i e n t3 D N o Ca r c h i t e c t u r eu s i n gb i d i r e c t i o n a lb i s y n c h r o n o u sv e r t i c a lc h a n n e l s/ /P r o c e e d i n g so ft h e2 0 1 0I E E EC o m p u t e rS o c i e t y A n n u a lS y m p o s i u m o n V L S I(I S V L S I).L i x o u r iK e f a l o n i a,G r e e c e,2 0 1 0:4 5 2  4 5 3[4 8]Hw a n gY J,L e eJ H,H a n T H.3 D N e t w o r k  o n  C h i ps y s t e mc o mm u n i c a t i o nu s i n g m i n i m u m n u m b e ro fT S V s/ /P r o c e e d i n g so ft h e2 0 1 1I n t e r n a t i o n a lC o n f e r e n c eo nI C TC o n v e r g e n c e(I C T C). S e o u l,K o r e a,2 0 1 1:5 1 7  5 2 2[4 9]O u y a n g Y i  M i n g,Y a n g Y i  Z e,L i a n g H u a  G u o,H u a n gZ h e n g  F e n g . R e u s ea n df a u l t  t o l e r a n t s t r a t e g i e s f o rT S V so ft h r e ed i m e n s i o n a l n e t w o r k  o n  c h i p .J o u r n a lo f E l e c t r o n i cM e a s u r e m e n ta n d I n s t r u m e n t,2 0 1 3,2 7(3) :2 2 9  2 3 5(i nC h i n e s e)( 欧阳一鸣,杨懿泽,梁华国,黄正峰.三维片上网络T S V复用容错策.电子测量与仪器学报,2 0 1 3,2 7(3) :2 2 9  2 3 5)[5 0]G r e e n b e r gRI,G u a nL.A ni m p r o v e da n a l y t i c a lm o d e lf o rw o r m h o l er o u t e d n e t w o r k s w i t h a p p l i c a t i o n t o b u t t e r f l yf a t  t r e e s/ /P r o c e e d i n g so ft h e1 9 9 7I n t e r n a t i o n a lC o n f e r e n c eo nP a r a l l e lP r o c e s s i n g . B l o o m i n g t o n,U S A,1 9 9 7:4 4  4 8[5 1]G r e c uC,P a n d ePP,I v a n o vA,e t a l . As c a l a b l e c o mm u n i c a t i o n c e n t r i cS o Ci n t e r c o n n e c t a r c h i t e c t u r e/ /P r o c e e d i n g so f t h e5 t hI n t e r n a t i o n a lS y m p o s i u mo nQ u a l i t yE l e c t r o n i cD e s i g n .S a nJ o s e,U S A,2 0 0 4:3 4 3  3 4 8[5 2]H o s s e i n a b a d y M,K a k o e eM R,M a t h e wJ,e ta l .R e l i a b l en e t w o r k  o n  c h i p b a s e d o n g e n e r a l i z e d d e B r u i j n g r a p h/ /P r o c e e d i n g so ft h eI E E EI n t e r n a t i o n a lC o n f e r e n c eo n H i g hL e v e lD e s i g nV a l i d a t i o na n dT e s tW o r k s h o p . I r v i n e,U S A,2 0 0 7:3  1 0[5 3]S t o j m e n o v i c I .H o n e y c o m bn e t w o r k s:T o p o l o g i c a l p r o p e r t i e sa n dc o mm u n i c a t i o na l g o r i t h m s . I E E ET r a n s a c t i o n so nP a r a l l e la n dD i s t r i b u t e dS y s t e m s,1 9 9 7,8(1 0) :1 0 3 6  1 0 4 2[5 4]L i nS h u  Y e n,Y i nT z u  C h u,W a n gH a o  Y u,e ta l .T r a f f i c a n dt h e r m a l  a w a r er o u t i n gf o rt h r o t t l e dt h r e ed i m e n s i o n a ln e t w o r k  o n  c h i ps y s t e m s/ /P r o c e e d i n g so f t h e2 0 1 1I n t e r n a t i o n a lS y m p o s i u mo nV L S ID e s i g n,A u t o m a t i o na n dT e s t . T a i w a n,C h i n a,2 0 1 1:3 2 0  3 2 3[5 5]S a t p a t h yS,S e w e l lK,M a n v i l l eT,e ta l .A4 . 5T b/s3 . 4T b/s/W 6 4×6 4 s w i t c h f a b r i c w i t h s e l f  u p d a t i n g l e a s t r e c e n t l y  g r a n t e dp r i o r i t ya n dq u a l i t y  o f  s e r v i c ea r b i t r a t i o ni n4 5 n mCMO S/ /P r o c e e d i n g so ft h e4 7 t h A n n u a lI E E E/A CMI n t e r n a t i o n a lS y m p o s i u m o nS o l i d  S t a t eC i r c u i t sC o n f e r e n c eD i g e s to fT e c h n i c a lP a p e r s(I S S C C).S a nF r a n c i s c o,U S A,2 0 1 2:4 7 8  4 8 0[5 6]S e w e l lK,D r e s l i n s k iRG,M a n v i l l eT,e t a l . S w i z z l es w i t c hn e t w o r k s f o rm a n y  c o r es y s t e m s . I E E EJ o u r n a l o nE m e r g i n ga n dS e l e c t e dT o p i c si nC i r c u i t sa n dS y s t e m s,2 0 1 2,2(2) :2 7 8  2 9 4[5 7]S a b a n K.X i l i n x s t a c k e d s i l i c o n i n t e r c o n n e c tt e c h n o l o g yd e l i v e r s b r e a k t h r o u g h F P GA c a p a c i t y,b a n d w i d t h,a n dp o w e re f f i c i e n c y .X i l i n x Wh i t e p a p e r:V e r t e x  7 F P GA s,2 0 1 1:1  8[5 8]M o r r i sR,K o d iA K,L o u r iA.D y n a m i cr e c o n f i g u r a t i o no f3 Dp h o t o n i cn e t w o r k s  o n  c h i pf o r m a x i m i z i n gp e r f o r m a n c ea n d i m p r o v i n gf a u l t t o l e r a n c e/ /P r o c e e d i n g so f t h e2 0 1 24 5 t hA n n u a l I E E E/A CMI n t e r n a t i o n a lS y m p o s i u mo nM i c r o a r c h i t e c t u r e .W a s h i n g t o n,U S A,2 0 1 2:2 8 2  2 9 3[5 9]R a m i n iL,B e r t o z z iD. P o w e r e f f i c i e n c yo fw a v e l e n g t h  r o u t e do p t i c a lN o Ct o p o l o g i e s f o rg l o b a l c o n n e c t i v i t yo f3 D m u l t i  c o r ep r o c e s s o r s/ /P r o c e e d i n g so ft h e5 t hI n t e r n a t i o n a lW o r k s h o po nN e t w o r ko nC h i pA r c h i t e c t u r e s . N e wY o r k,U S A,2 0 1 2:2 5  3 0[6 0]F o r o u t a nS,S h e i b a n y r a dA,P é t r o tF.C o s t  e f f i c i e n tb u f f e rs i z i n g i n s h a r e d  m e m o r y 3 DM P S o C s u s i n gw i d e I/O i n t e r f a c e s/ /P r o c e e d i n g so f t h e 4 9 t hA n n u a lD e s i g nA u t o m a t i o nC o n f e r e n c e .N e wY o r k,U S A,2 0 1 2:3 6 6  3 7 5[6 1]F o r o u t a nS,T h o n n a r tY,H e r s e m e u l eR,e t a l .A na n a l y t i c a lm e t h o d f o r e v a l u a t i n g n e t w o r k  o n  c h i p p e r f o r m a n c e/ /P r o c e e d i n g so ft h eD e s i g n,A u t o m a t i o n & T e s ti nE u r o p eC o n f e r e n c e & E x h i b i t i o n(D A T E). D r e s d e n,G e r m a n y,2 0 1 0:1 6 2 9  1 6 3 2[6 2]J i a n gN,B e c k e rDU,M i c h e l o g i a n n a k i sG,e t a l .Ad e t a i l e da n d f l e x i b l e c y c l ea c c u r a t e n e t w o r k  o n  c h i p s i m u l a t o r/ /P r o c e e d i n g so ft h e2 0 1 3I E E EI n t e r n a t i o n a lS y m p o s i u m o nP e r f o r m a n c eA n a l y s i so fS y s t e m sa n dS o f t w a r e(I S P A S S).A u s t i n,U S A,2 0 1 3:8 6  9 6[6 3]K u m a rA,A g a r w a l N,P e h L S,e ta l .A s y s t e m  l e v e lp e r s p e c t i v e f o r e f f i c i e n tN o Cd e s i g n/ /P r o c e e d i n g so f t h e I E E E72819期李晨等:三维片上网络体系结构研究综述 I n t e r n a t i o n a l S y m p o s i u mo nP a r a l l e l a n dD i s t r i b u t e dP r o c e s s i n g .M i a m i,U S A,2 0 0 8:1  5[6 4]J u e p i n gC,G a n g H,S h a o l i W,e ta l .O P N E C  S i m:A ne f f i c i e n t s i m u l a t i o nt o o l f o rN e t w o r k  o n  C h i pc o mm u n i c a t i o na n de n e r g yp e r f o r m a n c ea n a l y s i s/ /P r o c e e d i n g so ft h e2 0 1 01 0 t h I E E E I n t e r n a t i o n a l C o n f e r e n c e o n S o l i d  S t a t e a n dI n t e g r a t e dC i r c u i tT e c h n o l o g y(I C S I C T).S h a n g h a i,C h i n a,2 0 1 0:1 8 9 2  1 8 9 4[6 5]J a i nL,A l  H a s h i m iB M,G a u rM S,e ta l .N I R GAM:As i m u l a t o rf o r N o C i n t e r c o n n e c t r o u t i n g a n d a p p l i c a t i o nm o d e l i n g/ /P r o c e e d i n g so f t h eD e s i g n,A u t o m a t i o na n dT e s ti nE u r o p eC o n f e r e n c e . S a nD i e g o,U S A,2 0 0 7:1 6  2 0[6 6]H e s t n e s sJ,G r o tB,K e c k l e rS W.N e t r a c e:D e p e n d e n c y d r i v e nt r a c eb a s e dn e t w o r k  o n  c h i ps i m u l a t i o n/ /P r o c e e d i n g so ft h e3 r dI n t e r n a t i o n a l W o r k s h o p o n N e t w o r k o n C h i pA r c h i t e c t u r e s .N e wY o r k,U S A,2 0 1 0:3 1  3 6[6 7]B a d r M,J e r g e r N E.S y n F u l l:S y n t h e t i ct r a f f i c m o d e l sc a p t u r i n gc a c h ec o h e r e n tb e h a v i o u r/ /P r o c e e d i n g so f t h e2 0 1 4A CM/I E E E 4 1 s t I n t e r n a t i o n a l S y m p o s i u m o n C o m p u t e rA r c h i t e c t u r e(I S C A).M i n n e a p o l i s,U S A,2 0 1 4:1 0 9  1 2 0[6 8]K a h n gAB,L iB,P e hLS,e ta l .O R I ON2 . 0:Af a s ta n da c c u r a t eN o Cp o w e ra n da r e a m o d e lf o re a r l y  s t a g ed e s i g ns p a c ee x p l o r a t i o n/ /P r o c e e d i n g so f t h eC o n f e r e n c eo nD e s i g n,A u t o m a t i o n a n d T e s ti n E u r o p e .E u r o p e a n D e s i g n a n dA u t o m a t i o nA s s o c i a t i o n . L e u v e n,B e l g i u m,2 0 0 9:4 2 3  4 2 8[6 9]S u nC,C h e nC H O,K u r i a nG,e ta l .D S E NT—At o o lc o n n e c t i n ge m e r g i n g p h o t o n i c s w i t h e l e c t r o n i c sf o r o p t o e l e c t r o n i cn e t w o r k s  o n  c h i p m o d e l i n g/ /P r o c e e d i n g s o ft h e2 0 1 26 t hI E E E/A CMI n t e r n a t i o n a lS y m p o s i u mo nN e t w o r k so nC h i p(N o C S). C o p e n h a g e n,D a n m a r k,2 0 1 2:2 0 1  2 1 0[7 0]B e c k e r D U.E f f i c i e n t M i c r o a r c h i t e c t u r ef o r N e t w o r k  o n C h i p R o u t e r s[P h . D.d i s s e r t a t i o n].S t a n f o r d U n i v e r s i t y,S t a n f o r d,U S A,2 0 1 2[7 1]L i mSK. 3 DMA P S:3 D m a s s i v e l yp a r a l l e lp r o c e s s o rw i t hs t a c k e dm e m o r y/ /D e s i g nf o rH i g hP e r f o r m a n c e,L o wP o w e r,a n dR e l i a b l e3 DI n t e g r a t e dC i r c u i t s .S p r i n g e r,N e w Y o r k,U S A,2 0 1 3:5 3 7  5 6 0[7 2]F i c kD,D r e s l i n s k iR G,G i r i d h a rB,e ta l .C e n t i p 3 D e:A3 9 3 0 DM I P S/Wc o n f i g u r a b l e n e a r  t h r e s h o l d 3 D s t a c k e ds y s t e m w i t h6 4A RM C o r t e x  M 3c o r e s/ /P r o c e e d i n g so ft h e2 0 1 2 I E E E I n t e r n a t i o n a l S o l i d  S t a t e C i r c u i t s C o n f e r e n c eD i g e s to fT e c h n i c a lP a p e r s(I S S C C). S a nF r a n c i s c o,U S A,2 0 1 2:1 9 0  1 9 2[7 3]W o r d e m a nM,S i l b e r m a nJ,M a i e rG,e ta l .A3 Ds y s t e mp r o t o t y p eo fa ne D R AM c a c h es t a c k e do v e rp r o c e s s o r  l i k el o g i cu s i n gt h r o u g h  s i l i c o nv i a s/ /P r o c e e d i n g so ft h eI E E EI n t e r n a t i o n a lS o l i d  S t a t eC i r c u i t sC o n f e r e n c eD i g e s to fT e c h n i c a lP a p e r s(I S S C C). S a nF r a n c i s c o,U S A,2 0 1 2:1 8 6  1 8 7[7 4]B e r n s t e i nK,A n d r yP,C a n nJ,e ta l . I n t e r c o n n e c t si nt h et h i r dd i m e n s i o n:D e s i g nc h a l l e n g e sf o r3 DI C s/ /P r o c e e d i n g so ft h e4 4 t h A n n u a lD e s i g n A u t o m a t i o n C o n f e r e n c e .N e wY o r k,U S A,2 0 0 7:5 6 2  5 6 7[7 5]T uKN. R e l i a b i l i t yc h a l l e n g e s i n3 DI Cp a c k a g i n g t e c h n o l o g y .M i c r o e l e c t r o n i c sR e l i a b i l i t y,2 0 1 1,5 1(3) :5 1 7  5 2 3[7 6]T s a iYF,X i eY,V i j a y k r i s h n a nN,e t a l . T h r e ed i m e n s i o n a lc a c h ed e s i g ne x p l o r a t i o nu s i n g3 D C a c t i/ /P r o c e e d i n g so ft h e2 0 0 5I E E EI n t e r n a t i o n a lC o n f e r e n c eo n C o m p u t e rD e s i g n:V L S I i nC o m p u t e r sa n dP r o c e s s o r s . S a nJ o s e,U S A,2 0 0 5:5 1 9  5 2 4[7 7]X i eY,L o hG H,B l a c kB,e ta l .D e s i g ns p a c ee x p l o r a t i o nf o r 3 Da r c h i t e c t u r e s .A CMJ o u r n a l o nE m e r g i n gT e c h n o l o g i e si nC o m p u t i n gS y s t e m s,2 0 0 6,2(2) :6 5  1 0 3犔 犐 犆 犺 犲 狀,b o r ni n 1 9 8 9,P h . D.c a n d i d a t e .H i sm a i nr e s e a r c hi n t e r e s t i s3 DN e t w o r k s  o n  C h i p .犕犃犛 犺 犲 狀 犵,b o r n i n1 9 8 6,P h. D.,a s s i s t a n t r e s e a r c h e r .H i sm a i nr e s e a r c hi n t e r e s t i sc o m p u t e ra r c h i t e c t u r e .犠犃 犖 犌犔 狌,b o r ni n1 9 9 1,M. S . c a n d i d a t e .H e rm a i nr e s e a r c h i n t e r e s t i sc o m p u t e ra r c h i t e c t u r e .犌 犝 犗犢 犪 狀 犵,b o r ni n1 9 7 1,P h . D.,r e s e a r c h e r,P h . D.s u p e r v i s o r .H i sm a i n r e s e a r c h i n t e r e s t s i n c l u d em i c r o p r o c e s s o rd e s i g n&v e r i f i c a t i o n .犅 犪 犮 犽 犵 狉 狅 狌 狀 犱N e t w o r k s  o n  C h i p(N o C s)h a v eb e e np r o p o s e dt ob eu s e di nc o m p l e xS o C sf o rc o mm u n i c a t i o nb e t w e e nc o r e sf o rm o r e t h a n t e ny e a r s,a n ds o m e c o mm e r c i a l p r o c e s s o r s a l r e a d yd e p l o y s u c h n e t w o r k s . A s s e m i c o n d u c t o r m a n u f a c t u r i n gp r o c e s s e sa r ea p p r o a c h i n gt h ep h y s i c a l l i m i t s,i tb r i n g st h ec o mm u n i t yt oe x p l o r et h r e ed i m e n s i o n a l(3 D)V L S Id e s i g n .T h ee m e r g i n g3 Ds t a c k i n gt e c h n o l o g yh a sp r o v i d e dan e wh o r i z o nf o rN o C sd e s i g n sw h i c hb r i n g s t r e m e n d o u sa d v a n t a g e s,i n c l u d i n gs h o r t e rg l o b a l i n t e r c o n n e c t sl e n g t h s,l a r g e rb a n d w i d t h,b e t t e rs c a l a b i l i t ya n dh e t e r o g e n e o u si n t e g r a t i o n .A tt h es a m et i m e,t h e r ea r es t i l lm a n yc h a l l e n g e sf o r3 D N o C,s u c ha s t h e r m a l i s s u e,v e r t i c a l c o n n e c t i o ni s s u e,h i g hr o u t e rd e s i g nc o m p l e x i t y,e t c .E x t e n d i n gN o C s t o t h e t h i r dd i m e n s i o no p e n s an e wa r e ao f r e s e a r c h .H e n c e,t h e r e i sa n i n c r e a s i n gd e m a n dt oc l a s s i f ya n da n a l y z et h ee x i s t i n g3 D N o Ct e c h n o l o g i e s .T h i sp a p e rf i r s tr e v i e w sa d v a n t a g e si n3 D s t a c k i n gt e c h n o l o g i e s,a n dt h e n i n t r o d u c e s t h e c u r r e n t r e s e a r c hp r o g r e s s i n3 DN o Cf r o ms y s t e m l a y e r,m i c r o a r c h i t e c t u r e l a y e r a n d c i r c u i tl a y e r .F i n a l l y,s o m eo p e ni s s u e sa n df u t u r ed i r e c t i o n si n3 D N o Ca r ed i s c u s s e d .T h i sr e s e a r c hi ss u p p o r t e d b yt h e N a t i o n a l N a t u r a lS c i e n c eF o u n d a t i o no fC h i n a(6 1 1 3 3 0 0 7,6 1 3 0 3 0 6 5)a n dt h eD o c t o r a lF u n do fM i n i s t r yo fE d u c a t i o n(2 0 1 3 4 3 0 7 1 2 0 0 2 8).8281计  算  机  学  报2 0 1 6年 。

      点击阅读更多内容
      关于金锄头网 - 版权申诉 - 免责声明 - 诚邀英才 - 联系我们
      手机版 | 川公网安备 51140202000112号 | 经营许可证(蜀ICP备13022795号)
      ©2008-2016 by Sichuan Goldhoe Inc. All Rights Reserved.