华为云存储All-Flash战略打造全新智能数据底座

华为全球产业展望报告显示,全球年数据增量将从2018年的32.5ZB快速增长到2025年的180ZB,但目前企业数据利用率只有10%,数据价值没有得到充分释放。

面对海量数据爆炸式的增长和发掘数据内在价值的巨大需求,拥有弹性伸缩、无限扩展能力的云存储正发展成为时代的智能数据底座。

近日,华为发布了云存储All-Flash战略,并推出战略落地的首个产品——全新一代极速IO云硬盘,标志着华为云存储正式从毫秒进入微秒时代。

打破时延瓶颈 软硬优化必不可少

据华为云CTO张宇昕介绍,从毫秒进入微秒时代,数据中心客户主要面临两大时延瓶颈:一方面是技术栈中软件、网络、服务器这段时延瓶颈;另一方面则是传统HDD介质的物理能力瓶颈。目前这两段的时延都是毫秒级,这样情况下很难做到实时处理,所以如果要进入微秒时代,必须要打破以上两段时延瓶颈。

华为云CTO张宇昕

华为云存储针对以上瓶颈进行了三方面的优化:

第一,介质层面的优化。华为云在介质上采用Flash替代HDD,平均时延达4毫秒的机械硬盘(7200转)成为了第一个被优化的对象。

相比机械硬盘,Flash介质具有更强的性能和20μs的极低时延。围绕介质上的能力,全新设计了先进的存储引擎,里面运用了很多的技术来充分释放介质的能力,把它的时延和性能发挥出来,同时把它的可靠性和寿命都提升起来。

第二,软硬件架构和数据中心架构的优化。华为一直十分重视基础数学,为了应对数据在海量、实时、智能方面的挑战,华为云存储融入了多项核心自研算法,将存储写带宽与数据重构带宽提升数倍的同时,通过自适应差量压缩算法将数据压缩率提升3倍,并可大幅降低网络拥塞发生概率,长尾时延降低30%,时延稳定性更优。

第三,芯片级优化。华为云是业界独家采用全系列自研芯片,从“算、传、存、智”四个维度来增强数据处理全流程的云厂商。芯片与架构的紧密配合,充分发挥了鲲鹏CPU在多核、低功耗等方面的优势,通过高性能智能网卡芯片、SSD存储控制芯片实现了数据的直接访问,结合昇腾AI芯片,让全栈软硬件联动创新,并首次实现云存储在芯片级的深度定制优化。

不仅如此,华为云存储还将人工智能技术融入分布式存储的全生命周期,智能识别用户业务模型,实现存储平台的自主调优和自我进化,让应用越用越快。

AI预测能力,可预判30天性能趋势、提前14天发现故障盘并自动隔离。AI控制的引入,可智能预测用户性能趋势,并根据用户提前配置的自动扩容等策略完成调整,免人工干预保障业务平稳。

All-Flash的第一步,从块存储开始

如上所说,此次大会,华为云发布了存储All-Flash战略落地的第一款产品——极速IO云硬盘。该产品时延低至50~100μs,并具有4GB/s带宽和高达100万IOPS性能,可满足结构化数据库、半结构化数据库和ELK分布式日志应用以及流处理等场景对性能的极致要求,也是主流云厂商中首家进入百微秒以内的云硬盘。

因为在块存储上承载的一般都是数据库这类对于性能要求极高的应用,所以这也是华为云为什么选择针对块存储场景发布All-Flash的原因。“今天的Flash不再是潮流,将会逐渐变成主流。从存储介质未来发展趋势看,未来3-5年后Flash的容量也会越来越大,成本将越来越低,华为云的All-Flash战略也会跟着这个趋势逐步推进。”张宇昕说道。

在谈到Flash替代HDD的问题上,张宇昕表示,传统硬盘是物理盘片,在提供算法的时候需要考虑到大圈小圈的问题,所以之前的算法都是对于物理磁头的读写性能进行优化,随机读写方面的性能就明显低得多。更换为Flash介质之后就完全不存在这种问题,随机读写的性能表现非常不错。

但是对于Flash来说,我们需要保证不在某一个位置持续、频繁地读写,所以在算法上也要进行调整。而对于这一点,华为云的工程师们进行了大量、复杂的算法优化工作,在提升性能、降低时延的同时,也保证了Flash介质的寿命和应用可靠性。

站在整个云数据中心的角度来看,其实空间,也是成本。数据中心的占用面积,机架面积,其集成度也会影响成本,能耗也是成本,这方面Flash远远优于HDD。所以华为云不仅仅是看一个HDD硬盘和一个SSD的固态盘的成本,而是将云数据中心的创新以技术红利的方式反馈给客户。

如今,万物感知、万物智能、万物互联的时代已经到来,为加速各项依托云计算的创新产业发展、满足各类新兴应用对数据实时性的诉求,华为云将持续创新,打造出全新一代智能数据底座,最终引领云上存储进入微秒时代。

Image placeholder
Rting
未设置
  81人点赞

没有讨论,发表一下自己的看法吧

推荐文章
华为发布智能数据解决方案FusionData

华为在北京发布智能数据解决方案FusionData,支持智能的数据全生命周期管理;从数据接入、数据处理和数据使能三个层面,重定义数据基础设施,帮助客户打造领先的智能数据解决方案,拥抱行业数字化,释放数

计算存储分离 华为云多模NoSQL服务GeminiDB更易用

随着互联网技术架构的快速普及,企业对于NoSQL的需求也越来越大,在云计算的潮流下,如何将云服务的思维和技术纳入到数据库创新,成为摆在云服务厂商面前的一道难题。前不久,在第十届中国数据库技术大会(DT

智能数据可视化的5个步骤

如今,许多企业正在利用模型、数据分析、数据可视化和仪表板等措施实现数据驱动。例如商业领袖注重提升客户体验,技术领导者注重分析速度和网站指标,应用程序团队在其应用程序中嵌入分析程序等等。这意味着更多的开

云原生存储和云存储有什么区别?

作者| 李鹏(壮怀)阿里云智能事业群高级技术专家导读:新的企业负载/智能工作负载容器化、迁云、存储方面遇到的性能、弹性、高可用、加密、隔离、可观测性以及生命周期等方面的问题,不但需要存储产品层次的改进

深度盘点丨华为云数据库布局及研发路线图

“华为是个可怕的对手,一旦下定决心做某件事,鲜有做不成的。”这句在圈内少有达成共识的话,也正在一步一步得到应验。很多人或许以为,华为的优势并非软件而是硬件,但其实在数据库软件领域,华为也玩得风生水起华

DTCC观察:华为云数据库的优势积累与技术选择

摘要:作为公有云市场的重磅参与者,华为云数据库相比竞争对手有哪些优势?这可能是很多不了解华为云数据库人的第一反应。华为云数据库产品架构如何布局?作为第一个基于MySQL8.0开发的云原生分布式数据库,

鲲鹏人才培养计划发布 看华为云的鲲鹏生态布局

近日,以“智能化:为经济赋能,为生活添彩”为主题的2019中国国际智能产业博览会在重庆举行。本届智博会不仅汇聚了来自全球智能技术领域的大咖,也吸引了众多国内外知名企业。华为在智博会期间举办了【重庆·选

让20000人心跳加速的表白!华为云究竟说了什么?

当前, 云市场玩家面临业务增长、能力快速迭代、业务转型的压力,华为云全新优化的华为云生态伙伴计划3.0将设置专项激励、创新扶持基金,以及更多的人材养成、严选市场激励,与合作伙伴共享红利、共担风险、共同

累足成步 华为云发布鲲鹏云服务加速企业创新升级

2019年1月,华为推出业界最高性能的基于鲲鹏架构的7nm服务器处理器——鲲鹏920。时隔半年,基于鲲鹏处理器,华为云正式推出首批四款鲲鹏云服务和解决方案,开启云上的多元新架构。Cloud2.0时代,

媒体开放日,探秘百分点认知智能战略!

2009年7月1日,数据智能技术公司百分点正式成立,今年正好是第10个年头。百分点公司新址10年间,百分点经过多次转型,逐步形成了目前的企业级(ToB)、政府级(ToG)和SaaS服务三大业务体系,服

中国企业数据底子薄弱从何处说起?

问10个人关于中国企业数据底子的问题,9个人会告诉你很薄弱,然而薄弱又是一个相对的概念。而且,国内企业数据底子多少年能够打好不好说,但这注定是个多方协作探索的过程。参差不齐的数字底子“说中国企业数据底

引领存储新时代——新华三Primera关键业务智能存储

技术的变革,让我们步入数字智能时代。由数据、AI驱动的智能化产业转型正在如火如荼地进行中,金融、工业、医疗、娱乐……智能改变着一切。在IT对于企业已经如此重要的今天,智能也正改变着支撑企业业务运行的底

“数据+智能” 华为重新定义数据基础设施

互联网的发展,促成了网络订餐平台的崛起,数据的力量正在给传统的餐饮行业带来新的增长。业务场景不断丰富、数据规模越来越大,这对数据采集提出了非常高的要求;出行软件最核心的业务是一个实时在线服务,因此具有

进入智能时代 华为做了“四件小事”和“一件大事”

  把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界,是华为与全社会的共同愿景。  作为上半年国内ICT领域规模最大、最受关注的生态盛会,华为中国生态伙伴大会2019今天在福州海峡国际

华为胡厚崑:共创智能新高度

华为全联接大会旨在搭建开放、合作、共享的平台,携手来自全球的ICT产业各方,包括业界思想领袖、商业精英、技术大咖、先锋企业、生态合作伙伴、应用服务商以及开发者等,共同探讨产业发展方向和未来机遇,展示I

MongoDB与阿里云达成战略合作,云将是数据库最佳载体

摘要:开源数据库厂商与云服务供应商两大阵营之间存在争议是事实,MongoDB与阿里云达成战略合作,背后意味着什么?对MongoDB,对阿里云分别意味着什么?对整个数据库产业又意味着什么?MongoDB

SACC2019:爱奇艺的大数据中台战略(附演讲实录)

  孙斌爱奇艺高级总监主要负责爱奇艺的大数据中台、商业智能、内容智能制作等业务。在互联网产品设计和研发方面有十多年经验,曾就职于微软、hulu、雅虎等公司。摘要:爱奇艺的业务已经从单一的视频业务发展为

中信银行信用卡业务数据库实现国产替换,湖北银行新核心系统项目正式验收,阿里云与MongoDB达成战略合作

中信银行信用卡业务数据库实现国产替换10月31日,由IT168旗下ChinaUnix社区主办的第十一届中国系统架构师大会(SACC2019)在北京召开。会上,中信银行软件开发中心/技术平台开发处副处长

如何理解腾讯云数据库战略升级?

近日,腾讯云数据库在京正式启动战略升级,宣布未来将聚焦云原生、自治、超融合三大战略方向,以用户为中心,联接未来。并在现场面向全球用户同步发布五大战略级新品,包括数据库智能管家DBbrain、云数据库T

笨办法学 Linux Bash:Shell、`.profile`、`.bashrc`、`.bash_history`

Bash:Shell、.profile、.bashrc、.bash_history。 当使用CLI(命令行界面)来使用Linux时,你正在与一个名为shell的程序进行交互。所有你输入的都传递给she

Flutter高内聚组件怎么做?闲鱼打造开源高效方案!

fish_redux是闲鱼技术团队打造的开源flutter应用开发框架,旨在解决页面内组件间的高内聚、低耦合问题。开源地址:https://github.com/alibaba/fish-redux从

Gartner:2020年十大战略技术趋势

技术变革的步伐正在迅速加快,IT专业人员需要研究的因素,他们以前从未处理过的事情(例如超级自动化、多重体验和人员扩充)都将对企业产生重大的影响。Gartner高级研究副总裁ValSribar说:“自从

软件定义IT基础架构,如何看待深信服的产品战略布局?

在很多人的潜意识里,深信服是一家令人尊敬的企业,技术支撑能力强,产品种类多,功能全面,后劲足,是少数能和华为、新华三同台竞技的企业之一。但有时候,深信服也会被这些优势所累,比如经常会被问道:你们和华为

​中台战略:业务中台的8个设计原则

业务中台是一个充满生命力的个体,它承载业务逻辑、沉淀业务数据、产生业务价值,并随着业务不断发展进化。它的设计遵循如下图所示的8个原则。业务中台设计的8大原则01 服务松耦合原则(1)面向接口实现这是服

当Kubernetes成为云操作系统的标准应用,AWS也亮出了“杀手锏”!

作为云计算领域的排头兵,AWS一直是“老大哥”形象,他的一举一动都牵动着无数人的神经。AWS不仅在云计算领域投入时间早、运行时间长、客户多,在无服务器、容器以及现代化应用工具开发方面,也是当之无愧的引