茶陵| 泰兴| 新田| 民权| 博乐| 扶余| 松滋| 阿瓦提| 特克斯| 武宁| 萧县| 下陆| 曲松| 扶余| 文安| 科尔沁右翼中旗| 偏关| 正镶白旗| 盐田| 高雄市| 城阳| 滦南| 枞阳| 盖州| 密山| 清苑| 咸丰| 门头沟| 砚山| 唐河| 临漳| 洛隆| 迭部| 鄂托克前旗| 宜州| 沁阳| 公主岭| 都昌| 寿阳| 冕宁| 双柏| 鱼台| 溧阳| 定襄| 化德| 宜君| 芷江| 改则| 富民| 呼玛| 合川| 炉霍| 永修| 天门| 柳河| 东川| 酉阳| 涉县| 曲水| 堆龙德庆| 大兴| 黄梅| 万全| 宁县| 永丰| 格尔木| 常宁| 建平| 青州| 正宁| 大方| 江夏| 蛟河| 上杭| 吐鲁番| 九台| 金山| 德昌| 盐田| 南海镇| 田东| 科尔沁右翼前旗| 池州| 土默特右旗| 博爱| 延庆| 兰坪| 永兴| 珙县| 蓬溪| 望奎| 包头| 汝州| 肇源| 金堂| 莱州| 寿县| 彭山| 迁西| 盐池| 代县| 富县| 富宁| 敖汉旗| 大方| 武功| 拉孜| 子长| 平阳| 陈仓| 平果| 保康| 灵川| 乡城| 合江| 柳城| 商城| 枣强| 班玛| 封开| 济南| 庆阳| 莘县| 攀枝花| 正蓝旗| 胶州| 阜阳| 沧源| 息烽| 曲松| 林芝镇| 迁安| 含山| 新野| 郫县| 慈利| 邱县| 安新| 林甸| 伊宁县| 嵩县| 杜集| 呼伦贝尔| 郓城| 赣榆| 库伦旗| 武清| 乌拉特中旗| 珊瑚岛| 海城| 德昌| 大英| 邢台| 新沂| 汨罗| 龙南| 阿城| 通江| 莱州| 鄂伦春自治旗| 红古| 日喀则| 台湾| 鹤庆| 吴川| 恒山| 满洲里| 东台| 临猗| 襄垣| 遵化| 龙南| 湘东| 苏州| 镇赉| 阿拉善左旗| 绵阳| 商水| 石楼| 祁门| 个旧| 安福| 西盟| 九龙坡| 洛南| 甘南| 翁源| 广东| 乌苏| 会理| 托克托| 高密| 平乡| 镇坪| 崇仁| 龙海| 罗甸| 邵武| 双流| 无为| 双桥| 湘潭市| 高密| 陈仓| 乌达| 皮山| 盖州| 白沙| 南城| 江口| 锡林浩特| 垣曲| 岚山| 鄂州| 平昌| 丁青| 尉氏| 甘泉| 绥德| 安塞| 拉孜| 岷县| 泗县| 咸阳| 榆树| 中宁| 宜川| 巴青| 偃师| 安西| 叶县| 万州| 泰顺| 洛浦| 怀化| 郑州| 青阳| 海盐| 永胜| 澧县| 益阳| 黄陵| 藤县| 蚌埠| 克东| 文山| 班玛| 和平| 滦县| 铜陵县| 洪雅| 灵山| 清水河| 阳东| 郧县| 仙桃| 鄯善| 辽阳市| 娄底| 道真| 渝北| 蒙阴| 贵定| 偃师| 蒲城| 淳安| 双流| 泽库| 江达| 萨嘎| 元坝| 福山| 连城| 泰顺| 宣汉| 贵德| 栾城| 南充| 平和| 祁阳| 陇南| 宽城| 华池| 达日| 准格尔旗| 杜集| 阳山| 普陀| 佛冈| 下陆| 郎溪| 博乐| 马祖| 霸州| 揭西| 图们| 长垣| 漯河| 什邡| 榆中| 理县| 凌源| 平鲁| 若羌| 邵东| 乌海| 特克斯| 安远| 驻马店| 常州| 芷江| 永和| 新洲| 郯城| 凌海| 德令哈| 安县| 上犹| 工布江达| 博兴| 马龙| 安县| 莱西| 田林| 潮州| 花都| 木里| 宿迁| 新沂| 虞城| 竹山| 秭归| 阜平| 岱山| 澳门| 猇亭| 通许| 龙胜| 金平| 崇左| 宜丰| 木里| 苍山| 汝城| 涪陵| 天山天池| 宁阳| 泌阳| 澜沧| 太白| 长白| 连州| 戚墅堰| 北戴河| 罗甸| 蒲江| 索县| 瓦房店| 邹城| 祁门| 南宁| 宁阳| 南雄| 内蒙古| 曲水| 临潼| 肥西| 荥阳| 隆子| 鄂尔多斯| 保康| 七台河| 嘉义市| 株洲县| 郾城| 连江| 荥经| 福安| 台安| 盐都| 北川| 黄龙| 庐江| 任丘| 泉港| 青岛| 洛南| 陇南| 筠连| 固安| 漳平| 通化市| 新县| 泰安| 喀喇沁旗| 进贤| 沾益| 宁乡| 榆社| 理县| 孝感| 佛山| 南召| 叙永| 富蕴| 那曲| 桃园| 颍上| 班玛| 恭城| 哈尔滨| 龙岩| 雷州| 乐业| 建始| 恭城| 崇左| 宜兰| 青田| 浑源| 察哈尔右翼前旗| 浏阳| 东西湖| 郁南| 辽源| 博野| 内丘| 云林| 龙凤| 咸丰| 博罗| 黄埔| 南宫| 通州| 炎陵| 丹凤| 合川| 靖江| 南漳| 南靖| 南康| 连城| 建德| 本溪市| 峨边| 襄樊| 普安| 景县| 达拉特旗| 阿瓦提| 石屏| 光泽| 桃江| 富蕴| 荣县| 阿克塞| 普宁| 永春| 丰顺| 灵武| 三门峡| 延津| 永靖| 承德市| 偏关| 让胡路| 苏尼特左旗| 海宁| 佳县| 霍城| 高雄县| 户县| 郁南| 祁县| 馆陶| 漾濞| 罗城| 札达| 闽侯| 博湖| 洛扎| 永清| 吉隆| 太和| 安塞| 绛县| 绥中| 新田| 中牟| 海原| 静乐| 灵武| 丽江| 荆门| 公安| 馆陶| 宾县| 阿荣旗| 昌宁| 镶黄旗| 畹町| 梁子湖| 霍邱| 舞阳| 蓝山| 敦化| 尼木| 安西| 麦盖提| 资源| 肥东| 江达| 蒲城| 漾濞| 镇原| 花溪| 理县| 溧水| 马龙| 嵊州| 三河| 内丘| 平川| 江陵| 都安| 松滋| 黄岛| 西安|

徐家堡:

2018-08-17 13:09 来源:中国经济网陕西

  徐家堡:

  紧接着第二天,中国外交部新闻发言人华春莹就在当日的例行记者会上表示,按照中俄两国元首年度互访惯例,普京总统年内将访华。短短几天内,受害者就会因多种器官衰竭或心血管休克而死亡,区区几毫克就足以致人于死地。

不过,据台湾中央社报道,美国国务院却在19日重申一中政策不变,并表示,在符合所谓与台湾关系法下,美国数十年来已维持包括美国政府高层与台湾代表互访的非官方接触。(编译/刘宗亚)2月10日,在以色列北部哈德福,安全人员在被击落后坠毁的F-16I战机残骸旁警戒。

  最早于1984年推出的爱国者导弹目前的版本的最大射程约为43英里,最高飞行高度只有万英尺。此外,中国国务院机构改革也是本次会议的重要议题之一。

  前三者建制撤销,对内保留原呼号,对外统一呼号为中国之声。这两家公司的股价去年分别上涨%和40%,超过了香港恒生指数同期35%的涨幅。

报道称,商务部说,中国已经拟定包含128个税项产品的清单,如果两国无法就贸易问题达成协议,中国就将对清单上的产品征税。

  报道称,詹姆斯认为这样的方式太不公平,我的常规赛战绩比你好,却因附加赛一场比赛的得失就把季后赛门票拱手送人,这根本不符合常理。

  从10月1日起,日本和外籍游客若在收费不足2万日元(1日元约合元人民币)一晚的酒店里过夜,则每人每晚必须额外支付200日元。报道称,如果贸易战引发全球保护主义风潮,就将最终严重影响全球繁荣,这就是世界终极贷款人国际货币基金组织的主要担忧。

  以石头对抗持枪歹徒的消息在媒体曝光之后,赫尔塞尔成为了话题人物。

  另据香港《南华早报》网站3月19日报道,3月19日被任命为中国四位副总理之一后,曾受教于哈佛大学的刘鹤将与央行新行长易纲一起,在管理中国规模达到12万亿美元的经济上发挥关键作用。我们敦促美方恪守一个中国原则和中美三个联合公报规定,停止与台进行任何形式的官方往来与接触,慎重妥善处理涉台问题,以免对中美关系和台海和平稳定造成严重损害。

  报道称,民众因此颇有怨言,一名退休警员6日经过被警员拦查,他在脸书贴文表示,警员笑嘻嘻带点尴尬地说不好意思执行酒驾,他往车内看一眼后就说没事。

  有趣的是,在俄官方发布的介绍核动力巡航导弹的动画视频中,核动力巡航导弹最终指向美国本土。

  目前,硅谷仅在信息技术领域就有超过万专业人士。在此期间,普京大体上维系了政权的稳固,和执政方向的一致。

  

  徐家堡:

 
责编:
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
雷锋网 读懂智能&未来
人工智能 正文
发私信给程弢
发送

0

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

本文作者:程弢 2018-08-17 14:03
导语:从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。
报道称,习近平主席的经济顾问刘鹤出任副总理。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

在谷歌发布TPU一年后,这款机器学习定制芯片的神秘面纱终于被揭开了。

昨日,谷歌资深硬件工程师Norman Jouppi刊文表示,谷歌的专用机器学习芯片TPU处理速度要比GPU和CPU快15-30倍(和TPU对比的是英特尔Haswell CPU以及Nvidia Tesla K80 GPU),而在能效上,TPU更是提升了30到80倍。

从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。

据雷锋网(公众号:雷锋网)了解,早在四年前,谷歌内部就开始使用消耗大量计算资源的深度学习模型,这对CPU、GPU组合而言是一个巨大的挑战,谷歌深知如果基于现有硬件,他们将不得不将数据中心数量翻一番来支持这些复杂的计算任务。

所以谷歌开始研发一种新的架构,Jouppi称之为“下一个平台”。Jouppi曾是MIPS处理器的首席架构师之一,他开创了内存系统中的新技术。三年前他加入谷歌的时候,公司上下正在用CPU、GPU混合架构上来进行深度学习的训练。

Jouppi表示,谷歌的硬件工程团队在转向定制ASIC之前,早期还曾用FPGA来解决廉价、高效和高性能推理的问题。但他指出,FPGA的性能和每瓦性能相比ASIC都有很大的差距。他解释说,“TPU可以像CPU或GPU一样可编程,它可以在不同的网络(卷积神经网络,LSTM模型和大规模完全连接的模型)上执行CISC指令,而不是为某个专用的神经网络模型设计的。一言以蔽之,TPU兼具了CPU和ASIC的有点,它不仅是可编程的,而且比CPU、GPU和FPGA拥有更高的效率和更低的能耗。

TPU的内部架构

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

该图显示了TPU上的内部结构,除了外挂的DDR3内存,左侧是主机界面。指令从主机发送到队列中(没有循环)。这些激活控制逻辑可以根据指令多次运行相同的指令。

TPU并非一款复杂的硬件,它看起来像是雷达应用的信号处理引擎,而不是标准的X86衍生架构。Jouppi说,尽管它有众多的矩阵乘法单元,但是它GPU更精于浮点单元的协处理。另外,需要注意的是,TPU没有任何存储的程序,它可以直接从主机发送指令。

TPU上的DRAM作为一个单元并行运行,因为需要获取更多的权重以馈送到矩阵乘法单元(算下来,吞吐量达到了64,000)。Jouppi并没有提到是他们是如何缩放(systolic)数据流的,但他表示,使用主机软件加速器都将成为瓶颈。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

256×256阵列缩放数据流引擎,经过矩阵乘法积累后实现非线性输出

从第二张图片可以看出,TPU有两个内存单元,以及一个用于模型中参数的外部DDR3 DRAM。参数进来后,可从顶部加载到矩阵乘法单元中。同时,可以从左边加载激活(或从“神经元”输出)。那些以收缩的方式进入矩阵单元以产生矩阵乘法,它可以在每个周期中进行64,000次累加。

毋庸置疑,谷歌可能使用了一些新的技巧和技术来加快TPU的性能和效率。例如,使用高带宽内存或混合3D内存。然而,谷歌的问题在于保持分布式硬件的一致性。

TPU对比Haswell处理器

在和英特尔“Haswell”Xeon E5 v3处理器来的对比中,我们可以看到,TPU各方面的表现都要强于前者。

在Google的测试中,使用64位浮点数学运算器的18核心运行在2.3 GHz的Haswell Xeon E5-2699 v3处理器能够处理每秒1.3 TOPS的运算,并提供51GB/秒的内存带宽;Haswell芯片功耗为145瓦,其系统(拥有256 GB内存)满载时消耗455瓦特。

相比之下,TPU使用8位整数数学运算器,拥有256GB的主机内存以及32GB的内存,能够实现34GB/秒的内存带宽,处理速度高达92 TOPS ,这比Haswell提升了71倍,此外,TPU服务器的热功率只有384瓦。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

除此之外,谷歌还测试了CPU、GPU和TPU处理不同批量大小的每秒推断的吞吐量。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

如上图所示,在小批量任务中(16),Haswell CPU的响应时间接近7毫秒,其每秒提供5482次推断(IPS),其可以实现的最大批量任务(64)每秒则可以完成13194次推断,但其响应时间为21.3毫秒。相比之下,TPU可以做到批量大小为200,而响应时间低于7毫秒,并提供225000个IPS运行推理基准,是其峰值性能的80%,当批量大小为250,响应时间为10毫秒。

不过需要注意的是,谷歌所测试的Haswell Xeon处理器似乎也不能完全说明问题,英特尔Broadwell Xeon E5 v4处理器和最新的“Skylake”Xeon E5,每核心时钟(IPC)的指令比这款处理器提升了约5%。在Skylake是28核,而Haswell为18核,所以Xeon的总体吞吐量可能会上升80%。当然,这样的提升与TPU相比仍有差距。

最后雷锋网需要强调的是,TPU是一个推理芯片,它并非是要取代GPU,可以确定的是,TPU与CPU一起使用对训练分析更加有益。但对于CPU制造商而言,如何研发出像ASIC一样兼顾性能和能效的芯片是现在以及未来要做的。

可以确定的是,谷歌已经逐渐在自己的数据中心部署TPU,但是上述测试数据只是理论结果,实际应用表现如何?我们还不得而知。

Via nextplatform,雷锋网编译

雷锋网版权文章,未经授权禁止转载。详情见转载须知

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?
分享:
相关文章

文章点评:

表情

略懂技术的小编

关注一切有未来感的产品及技术!
当月热门文章
最新文章
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
大沽南路浩 前路乡 下间寮 成集镇 华东街道
宁谷镇 吴家二村 潞西市 黑沟乡 毛家桥
百度