HPC CHINA 2019:面向E级计算时代的HPC/AI协同设计

蓝天飘白云,牧场奶茶香。蒙古大营雄风在,琴声传远方。骑马又滑沙,豪饮河套王。敖包相会歌一曲,笑发少年狂。

中国一年一度高性能计算领域的盛会——全国高性能计算学术年会(HPC CHINA 2019)在内蒙古呼和浩特盛大开幕!

本届大会由中国计算机学会主办,中国计算机学会高性能计算专业委员会、内蒙古和林格尔新区管理委员会、清华大学和内蒙古大学共同承办,北京并行科技股份有限公司协办。以“计算 见智 赢未来”为主题,聚焦E级计算机研制挑战、HPC重大应用等主题展开,汇聚业界前沿学术与应用动态。

此次大会,行业各界顶级人才齐聚一堂,共同探讨HPC系统在大数据、人工智能、E级计算、航空航天等领域的应用趋势和融合发展。参会人数超过2500名,参展科研院所及企业50余家,特邀报告及主题演讲总共21场,论坛会议将近50场。

如今,HPC和AI系统正在由以CPU为核心向以数据为核心转变,CPU/GPU计算、网络计算和存储计算的协同设计将会是通往E级高性能HPC和AI计算中心的必经之路。网络和存储正在变成分布式的CPU和分布式的内存,成为分布式计算单元的一部分。这个转型解决了旧的HPC和AI系统存在的瓶颈问题,为实现更高性能及更大规模的系统提供了新的思路和方案。

在本届大会上,由国际高性能咨询委员会组织的“面向E级计算时代的HPC/AI协同设计”的专场论坛邀请到了国内外的顶级公司来分享他们在由CPU为核心向以数据为核心转变过程中的心得和体会,以及他们如何利用他们的创新技术来应对转型过程中的各种挑战。

首先是国际高性能计算和人工智能咨询委员会主席Gilad Shainer为我们带来了开场致辞。他介绍了目前国际高性能计算的发展情况,并表示HPC和AI采用相似的技术以及基础架构,在高校、研究型实验室和商业机构中发挥着重要作用。HPC和AI技术能够帮助它们开发面向未来的产品和服务,进而改善人们的生活。

国际高性能计算和人工智能咨询委员会主席Gilad Shainer

接下来由中国科学院计算机技术研究所研究员、国家超级计算济南中心主任张云泉为我们分享了中国高性能计算力分析,表示高性能计算已经进入了大数据、超算、云计算和人工智能融合创新的算力经济时代。

张老师带来了四大观察:观察一:虚拟化云计算向高性能容器云计算的演进;观察二:大数据与并行计算、机器学习的融合创新;观察三:大数据与机器学习和并行计算的融合创新;观察四:高性能计算与人工智能的融合创新。

  中国科学院计算机技术研究所研究员、国家超级计算济南中心主任张云泉

我们得出超级计算的新应用:算力经济。随着超级计算技术的普及和成本大幅降低,其应用领域也从具有国家战略意义的核武器研制、信息安全和高冷的科学计算领域向更广泛的国民经济主战场快速扩张,近几年其速度和应用出人预料。

在本场论坛中,来自AMD、Mellanox、焱融云、华为、清华同方等众多著名公司的代表纷纷登台,畅所欲言中国的HPC发展。

来自AMD中国区商用事业部服务器产品架构师唐峰进行了题为《通往最强超算的“罗马大道”》的报告。

  AMD中国区商用事业部服务器产品架构师唐峰

据介绍,美国旧金山时间8月7日,AMD正式发布了第二代AMD EPYC(霄龙)系列处理器,第二代AMD EPYC处理器最高搭载64颗采用前沿的7nm制造工艺的“Zen 2”核心,带来了创纪录的性能表现,在多种工作负载下最高能将总体拥有成本(TCO)降低50%.

对于高性能计算领域,第二代AMD EPYC处理器提供了一个组合,包括:创纪录的浮点性能,同类产品最高的DRAM内存和I/O带宽,以实现超强的HPC负载;高达2倍的计算流体力学性能,以及最高可提升72%的结构分析性能。

在安全性方面,第二代AMD EPYC处理器提供了“硬核”芯片级嵌入式安全子系统,以及安全内存加密和安全加密虚拟化等高级安全功能,帮助客户保护他们最重要的资产和数据。

来自Mellanox技术市场总监冯高锋进行了题为《面向高性能E级机的关键-网络计算技术》的报告。在以数据为中心的时代,我们的计算架构也需要变革,由此而诞生了各种新的计算技术,如网络计算(In-Network Computing)、存储计算等。

  Mellanox技术市场总监冯高锋

网络计算,是相对于CPU计算而言的。顾名思义,就是利用网络来代替CPU处理某些计算工作,让CPU的计算效率变得更高。通过网络计算不仅可以解决通信瓶颈的问题,还可以将CPU和GPU的资源释放出来,让应用获得更多的计算资源,从整体应用的性能上得以提升。

作为端到端的网络设备提供商,Mellanox不光提供InfiniBand和以太网互连解决方案,还将网络计算融入到自身的产品和方案中,实现无缝集成,通过将各种通信相关的计算从CPU卸载到网络中来,提升计算效率,帮助企业应对数据挑战。

HPC是Mellanox的传统领域,但是现在HPC和AI呈现了融合趋势,人工智能也被Mellanox锁定为今后的重点领域。中国有很多合作伙伴正在使用Mellanox的InfiniBand和以太网高速网络解决方案在实现深度学习或人工智能等技术。

接下来是来自焱融云产品总监黎俊鸿带来了题为《基于YRCloudFile的AI基础架构》的分享。焱融云是一家以软件定义存储技术为核心竞争力的高新技术企业,针对各行业业务特性,打造个性化行业解决方案,提供一站式的产品与服务。

  焱融云产品总监黎俊鸿

基于自研的分布式软件定义存储产品,焱融云为用户提供了高效稳定的存储服务,保护用户投资。YRCloudFile是一款软件定义的高性能分布式文件系统,YRCloudFile元数据集群可扩展,支持百亿级海量文件,YRCloudFile的智能分层功能,可对接第三方对象存储,将冷数据自动迁移至对象存储层中,上层应用仍使用文件访问接口,应用对数据分层无感知,智能分层实现了对数据生命周期的高效管理。

在传统高性能计算( HPC )、生命科学、天气分析预测、地质及石油勘探等需要对数据进行大规模分析和计算的场景中,YRCloudFile也可以发挥其高性能及海量小文件支持的特性和优势。YRCloudFile提供全面的POSIX接口支持,可替换传统的文件存储,解决其性能瓶颈等问题,加快业务处理速度,极大降低总体成本。

来自华为2012LAB交换技术实验室的何春志带来了题为《RDMA在计算网络中的应用》的分享。

  华为2012LAB交换技术实验室的何春志

什么是RDMA技术?RDMA(Remote Direct Memory Access,远程直接内存访问)技术直接颠覆了传统的TCP/IP的通信方式,可以直接从网络的传输层将所有的通信相关的计算交由网卡设备来做,不需要CPU参与任何通信计算,甚至在整个通信过程中都不需要和CPU有任何沟通。

目前RDMA技术已经被广泛使用到了各种不同的应用当中,如机器学习的各种框架、大数据分析应用、数据库应用、存储应用、HPC应用。

据介绍,RoCE是RDMA over Converged Ethernet的简称,是一种允许通过以太网使用远程直接内存访问(RDMA)的网络协议。RDMA可绕过CPU和其他计算组件直接将网络数据传输到内存中,不需要进行拷贝,从而提高效率。基于标准以太网的IP/UDP消息传递的一个主要架构问题是业务承载需要对报文进行排队。

华为依靠独创的AI芯片和智能无损交换算法,解决了当前以太网易丢包,吞吐率低的难题,引领数据中心网络迈入AI时代,匹配AI业务的快速普及,助力客户加速实现智能化转型。

下一位演讲者是同方超算产品高级总监周卫岩,他带来了主题为《以数据为中心 同方服务器和高性能计算的核心》的分享。

  同方超算产品高级总监周卫岩

毋庸置疑,我们现在处于一个数据大爆炸的时代,数据无处不在,数据成为企业创新的重要来源。数据影响我们的行为,但是数据价值的实现并不是一蹴而就的,这需要在计算力的支撑下,通过一定的算法来实现。我们正在从CPU为中心到以数据为中心的改变。

据周卫岩介绍,在这样的背景下,我们推出了超强G858系列服务器。同方超强G858采用新的服务器设计概念和技术,支持Intel Xeon Skylake-SP处理器,在处理器性能,总线带宽,内存带宽等方面均有质的飞跃,在PCIE数量,硬盘数量,网络扩展等方面提供超强规格,适用于高性能计算(HPC)和大规模并行计算环境。可广泛应用于人脸识别,视频分析,气象研究与分析,大数据分析等应用场景。

本场分论坛的最后一位压轴嘉宾是来自中国石油集团东方地球物理公司研究院的赖能和,他分享的主题是《PB级数据驱动高性能计算架构的转变》。

  中国石油集团东方地球物理公司研究院的赖能和

高性能计算已经成为当下能源行业的主要IT应用模式,但随着应用水平的不断提升和软件优化的逐步展开,在应用领域也面临着许多挑战。

赖能和表示,高性能计算和油气勘探是密切不可分的。计算机40年的发展推动了油气勘探发展的四大阶段,从光电、全数字、全三维,到今天的高精度勘探,物探技术相互促进,油气勘探实际上就是给地球的近地表做CT,计算量很大。

目前,高性能计算在勘探上的难点主要是四个方面,分别是计算能力提升、海量数据存储、高性能并行架构优化和算法优化。过去,由于计算力不足,很多算法无法实现,随着计算力的提升,高性能计算和人工智能已经融合到了一起。

赖能和举例表示,在油气勘探行业有一种算法是初至波,初至波拾取非常费人工,曾经有一个30T的数据,30多个人同时干也得需要60多天,全是重复劳动。有了人工智能+高性能计算以后,用机器拾取每一秒钟就可以完成一千个点,速度得到了大幅提升,通过训练以后能够很好的提升生产效率。

写在最后,15年来,全国高性能计算学术年会的足迹遍及大江南北,让高性能计算薪火相传。此次年会在呼和浩特市举办,将有力地促进内蒙古和林格尔新区步入大数据、人工智能等产业发展的快车道,形成大数据、高性能计算发展的良好生态环境,在支撑内蒙古自治区经济和社会转型发展中发挥关键性引领作用。

Image placeholder
JasonZhang
未设置
  47人点赞

没有讨论,发表一下自己的看法吧

推荐文章
税务信息化跨入大数据云计算时代的思考

现状,目前据了解国税总局执行征收管理、行政管理、决策支持和外部信息等四大类应用系统在全国的推广部署,实施大数据开放与共享的建设与开发,已经完成2个国家级税务处理中心的扩容,包括计算存储资源、系统软件及

SACC 2019:云闪付APP架构优化实践之路

中国银联科技事业部架构师 程朝程朝2011年加入中国银联,拥有三年应用开发设计经验,三年MySQL与Redis内核开发设计经验,三年应用架构设计经验;擅长分布式系统设计,有丰富的系统设计与调优经验,现

SACC2019:爱奇艺的大数据中台战略(附演讲实录)

  孙斌爱奇艺高级总监主要负责爱奇艺的大数据中台、商业智能、内容智能制作等业务。在互联网产品设计和研发方面有十多年经验,曾就职于微软、hulu、雅虎等公司。摘要:爱奇艺的业务已经从单一的视频业务发展为

DTCC2019:陌陌直播推荐的0到1

作为社交+直播行业的领军者,陌陌直播依托于开放式社交平台所承担的职责不同于社交和短视频推荐,需要在内容分发、社交匹配和营收目标上进行综合考虑。如何进行多目标分发的问题抽象和预估建模,以及针对业务的独特

SACC 2019:达梦数据库推进实践与思考

2019年10月31日~11月2日,由IT168旗下ITPUB企业社区平台主办的第十一届中国系统架构师大会(SACC2019)在北京成功召开。本届大会继续沿用四大主线并行的演讲模式,设置业务系统架构设

盘点2019:对国产数据库的一点观察和总结

“想,都是问题,做,才有答案”—–华东师范大学副校长、CCF数据库专委会副主任周傲英。之所以开篇引用周教授这句话,是因为笔者觉得,这短短10个字,是对国产数据库发展的最好诠释。中国能否翻越数据库这座大

解读2019华为第001号文件:AI时代软件开发的第一要义是可信

晓查发自凹非寺量子位出品|公众号QbitAIAI加持,万物互联、万物智能。我们在享受科技进步的同时,软件开发行业却面临着更大的挑战。过去,软件出现安全问题或许仅仅意味着经济损失,但当走向产业互联网时代

嗨!你的 2019 晒好封存了吗?快来看程序老兵的 2019 吧!

时间过得真是太快快快了,2019还剩下最后几个小时了。回望即将过去的这一年,老兵哥做了不少事情,有计划内的,也有计划外的,当然还有不少事情没做。赶在最后时刻晒一晒我的2019年,希望从成绩荣誉中获得一

AWS vs K8s 是新时代的 Windows vs Linux?

作者:IanMiell是开源程序员、演讲师、作家和博客写手以前……如果你与我一样,年过四十,又在IT行业工作,恐怕还记得每个人使用Windows,一小群但越来越多的人在业余时间埋头编译Linux的年代

向海龙离职:百度一个时代的结束

大数据文摘授权转载自腾讯科技作者:韩依民在百度高管介绍页面中,向海龙的照片已经不见身影。就在5月17日凌晨四点半,百度刚刚发布2019年一季度财报,同时宣布了有关百度高级副总裁、搜索公司总裁向海龙辞职

探秘ASC19:首次设置的“超级团队对抗赛”究竟是什么?

4月21日,2019ASC世界大学生超级计算机竞赛(ASC19)总决赛在大连理工大学正式拉开帷幕。根据赛程,在4月23日正式竞赛之前,所有参赛队伍的主要任务是完成竞赛系统的搭建与调试,力求在3000瓦

2019 最新计算机技能排名出炉:Python 排第三,第一名是…

除了编程语言之外,要想找一份计算机相关的工作,还需要很多其他方面的技能。最近,来自美国求职公司Indeed的一份报告显示:在全美工作技能需求中,数据库语言SQL、编程语言Java分列前两位。虽然Pyt

2019年度IT168技术卓越奖名单:云计算类

时光飞逝,转眼已是2019年最后一个月,又到了盘点、总结进行时!纵观各大云厂商动态,似乎并没有停止征战与厮杀的任何迹象。在过去一年里,不管AWS、微软Azure还是国内的阿里云、腾讯云、百度云、华为云

再见,2019!你好,2020!

今天,是2019年的最后一天。虽有不舍,但终归还是得说再见!明天又会翻开新一年的篇章,希望各位在新的一年都能升职加薪迎娶白富美,走上人生巅峰。19年某月某日突发奇想,想用公众号分享一下这些年学到的技术

送别2019,期待2020!

概述2019年时间过得很快。有欢笑、有离别、有压力、有收获。关于工作项目发生了变动,团队也发生了变动,不过总体是成长的,在这感谢领导的关照、信任!下半年开始学习Go语言,并用Go进行搭建项目,也算是刚

支付中台的几个面向:支付业务、资金核算、面向风控等切面

手哥架构宝典之支付系统1.0发布后,很多架构师朋友表示受益匪浅,询问支付系统2.0版本什么时候放出来,今天刊发出《架构宝典》支付系统2.0版本,以飨读者。00 概述在1.0的支付系统中,我们遇到了诸多

DTCC2019 :“数据架构设计实践专场”等您来!

  2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京新云南大酒店召开。本次大会将以“数据风云,十年变迁”为主题,邀请百

存-管-用 联想企业网盘融云一体机让协同办公变得简单

云计算、大数据、人工智能的兴起给中小企业带来更大的发展机遇。恰当的IT投入,能够帮助中小企业构建更为灵活且可靠的业务模式与业务平台,为中小企业带来更多业务机会。对于正在部署和开展数字化业务的中小型企业

从生态合作到生态协同 细数华为生态圈的二三四五

数字化、智能化,这些近两年被大家“叫烂了”的词汇依旧热度不减。毋庸置疑,数字化近年来正在源源不断的为大家提供各种宏利。作为全球领先的ICT(信息与通信)基础设施和智能终端提供商,华为始终致力于把数字世

TPC-C解析系列01_TPC-C benchmark测试介绍

作者:阳振坤2019.10导语:自从蚂蚁金服自研数据库OceanBase获得TPC-C测试第一名后,引起了行业内外大量关注,我们衷心的感谢大家对OceanBase的支持与厚爱,也虚心听取外界的意见和建

十年软件通胀率:从 2009 到 2019 年,软件越来越昂贵

过去十年,软件定价逐渐上升。在我们调查的一百个商业应用程序中,价格平均上涨了62%,其中包括一些比较便宜的应用程序。如果用户现在花钱购买一款应用程序,那么它很可能比十多年前的价格贵98%以上。

2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

大数据文摘出品来源:thegradient编译:张大笔茹、曹培信、刘俊寰、牛婉扬、Andy2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch

《2019 Dell Technologies World》观后感

这是我第二次参加DellTechnologiesWorld大会:同样的时间、同样的地点、不一样的内容、不一样的感受!五一劳动节期间,一年一度的戴尔科技集团全球大会在拉斯维加斯隆重举行。今年是戴尔公司成

S.O.L.I.D: PHP 面向对象设计的五个基准原则

S.O.L.I.D是首个5个面向对象设计(OOD)准则的首字母缩写,这些准则是由RobertC.Martin提出的,他更为人所熟知的名字是UncleBob。 这些准则使得开发出易扩展、可维护的软件变

2020年将成为边缘计算的“突破年”

根据ForresterResearch的预测,2020年将是推动边缘计算技术的重要一年。尽管边缘计算主要是一种与物联网相关的技术,但Forrester表示,满足按需计算和实时应用程序的需求也将在推动边