如何解决云中容器数据存储的移动性挑战?

如今,在云计算领域,越来越多的IT组织正在构建混合云和多云环境以支撑其业务运行。从容器的角度来看,我们知道,容器应用程序从一开始就内置了非常可观的可移动性、灵活性和效率。但是对于容器数据来说,它的移动性又如何?如何构建一个数据框架来优化公有云,并为容器应用程序及其数据提供真正的移动性?

容器和块存储

容器流行的原因很大一部分来自于Docker公司,该公司向我们介绍了容器运行时、应用程序库和多节点(服务器)配置的框架。很快,Docker就被Kubernetes——谷歌的开源容器平台所纳入。

这两个平台都使用基于块的存储来为容器数据提供持久性。最初,假定容器是无状态的,就需要使用应用程序复制和冗余来维护对持久数据的访问。但这被证明是不切实际的,而且大家都认为我们需要某种形式的持久性存储,即使是对于短期存在的容器也是如此。

块存储速度快,为应用程序提供低延迟。在容器部署中,块存储设备使用本地文件系统进行格式化并映射到容器中。根据使用要求,块存储设备可以在容器的生命周期内继续使用,或者仅在容器运行时使用。

如果容器中的应用程序任务是可重新启动的,那么块存储只需为容器数据提供可伸缩的快速存储。通过可重新启动,意味着应用程序组件可以用新格式化的空块设备进行实例化。

然而,当我们走出这些简单的界限时,存储必须提供更多能力。例如,如果一个容器由于硬件或软件故障而需要重新启动,那么在现有块存储设备上重用数据可能是可行的,而不是从另一个源重新创建数据。如果应用程序的一部分必须移动到另一个物理位置,那么容器数据可能也必须移动。

构建一个数据平面框架

为了实现数据和应用程序迁移,我们需要为数据平面构建一个框架。基于此,数据将比任何单独的容器寿命更长,并且需要跨多个数据中心和位置移动,这意味着可能还需要在公有云和本地位置之间移动。一个很好的例子是,需要将数据复制到公有云中,从而为测试/开发环境提供原料。

对象存储是构建数据框架的多种方法之一。它本质上是可移动的,可以通过使用http(s)协议的广域网进行访问。对象存储提供了跨距离复制的能力,并且可以轻松地跨平台工作。对象存储的主要挑战是如何实现良好的安全性,并将数据映射到应用程序层次结构,例如,使用bucket和文件夹映射到应用程序名称。

将块和文件存储添加到容器框架更加复杂。与文件存储相比,块存储具有更低的延迟和更大的吞吐量,但现在情况已经不同了。使用诸如NVMe这样的新型媒介,初创公司正在构建高性能、可伸缩的文件系统,这些系统既可以在场所中工作,也可以在公有云中工作。

本地块存储(如AWS的弹性计算云)的另一个挑战是,这些设备只能连接到本地容器或虚拟实例。没有直接的方法将公有云中的块存储复制到不同的提供商或本地位置中。

数据抽象

如果数据可移植性是必要的,那么最好的选择是构建一个独立的数据平面,它不依赖于公有云提供商的本地存储。目前也存在提供扩展块和文件存储的产品,这些产品可以跨越单个或多个地理位置。这包括合并公有云和私有云。

一些扩展产品可以在多个位置上显示单个数据视图,而其他产品使用快照来复制数据。这意味着需要复制数据并设置相应的进程,以确保可以跟踪和管理最新的副本。当使数据在大范围内可用时,将会有延迟问题。

API扮演的角色,以及更多的挑战

生态系统开发人员已经开始添加用于存储的API。Kubernetes有容器存储接口(CSI),它公开了一组用于创建和将卷附加到容器的功能。CSI确保存储被成功映射到可以跨多个物理服务器部署的Pod中的容器。

Docker使用卷插件来实现与CSI相同的功能。然后,用户可以从存储硬件和软件部署卷驱动程序,以确保将数据正确地从存储映射到容器。

另外,涉及到与容器数据相关的存储、多个容器部署以及平台间无缝数据迁移时,我们仍然面临这许多挑战。例如,AWS Fargate只支持弹性云计算中的外部卷。

原文作者:Chris Evans

Image placeholder
zhangleigege
未设置
  64人点赞

没有讨论,发表一下自己的看法吧

推荐文章
NAS与对象存储:谁是非结构化数据存储的最佳选择?

非结构化数据是增长最快的数据类型之一。随着企业日积月累地生成、收集和存储越来越多的数据,必然会带来一个问题:什么是存储非结构化数据的最佳方式?直白来说,非结构化数据就是不遵循传统数据库格式的数据,其结

解决云中灾难恢复其实只需三个步骤!

很多人都认为,DR(灾难恢复)内置于云中,我们只需采用云本身的安全机制就行了,但事实并非如此。尽管,许多云提供商在数据恢复方面做得很好,但是如果你自己不做灾备,会错过很多只有真正意义上的DR系统才能具

如何应对Kubernetes中的存储管理挑战?

Kubernetes是Google开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。对于那些工作负载多样化、不断变化的企业来说,使用Kubernetes是非常有利的。与容器一样,

电信行业如何应对大数据挑战?

根据思科的预测,到2022年,移动数据将达到每月77艾字节。虽然大多数人不会考虑他们每天产生的大量数据,但电信公司对此了如指掌。同时,物联网、智能设备和新内容平台也让电信公司面临着数据冲击。为了将数据

VIM 光标的移动

移动光标 单位级 h向左一字符 j下一行 k上一行 l向右一字符 单词级 worW向右移动到下一单词开头 eorE向右移动到单词结尾 borB向左移动到单词开头 注意:所有小写单词都是以分词符

10分钟搞懂:亿级用户的分布式数据存储解决方案!

来源:IT进阶思维原创,转载请注明原出处内容提供:李智慧,前阿里巴巴技术专家,《大型网站技术架构》作者6月6日晚,林志玲与Akira公布婚讯、徐蔡坤祝福高考同学超常发挥,粉丝们百万的转发和点赞造成微博

天翼云视频云储存解决方案,高效解决云储存难题

随着科技发展,视频监控迈向深度智能时代,前端摄像机开始内置深度学习算法,可以对人脸、车辆等关键信息进行快速定位抓拍,有效解决漏抓误报问题,解决了传统智能视频分析技术人工选择特征准确率低、浅层学习模型无

GoWeb教程_06.0. session 和数据存储

Web开发中一个很重要的议题就是如何做好用户的整个浏览过程的控制,因为HTTP协议是无状态的,所以用户的每一次请求都是无状态的,我们不知道在整个Web操作过程中哪些连接与该用户有关,我们应该如何来解决

本地读写的多活数据存储架构设计要义

本文由公众号EAWorld翻译发表,转载需注明出处。作者:ParasharBorkotoky 译者:白小白 原文:http://t.cn/AiKO0q4P原题:DesignConsiderations

百度时序数据库——存储的省钱之道

作者简介:任杰  百度高级研发工程师负责百度智能运维产品(Noah)的分布式时序数据存储设计研发工作,在大规模分布式存储、NoSQL数据库方面有大量实践经验。干货概览百度Noah平台的TSDB,是百度

海量数据时代,磁带存储的“涅槃重生”

   磁带作为大规模非结构化数据的战略性/低成本存储手段,已然经历了一次复兴。由于磁带在快速恢复网站和反勒索软件方面具有较高的价值,所以备份仍然是它的一个主要用例。不过,磁带的未来增长机会更在于一些新

基于内存和文件存储的 queue worker, 不用 Redis 适合单进程使用没有外部依赖

因为最近要做一个简单的并发任务系统,在github上面找了一圈并没有简单可依赖的库,所以自己写了一个。欢迎大家Review贡献代码。项目地址https://github.com/iflamed/mfw

甲骨文将自动化的安全特性植入云中!

在一年一度的OpenWorld大会上,甲骨文公司重点介绍了自治Linux、合作伙伴生态,以及在云计算领域的新功能扩展,包括云的可访问性,更严格的安全选项,虚拟基础设施层面的改进,向系统注入更多的智能化

海量数据时代,金融行业数据库实践难题如何解决?

随着数字经济时代的到来,大数据、人工智能技术得到了快速发展与应用,可以说,各行各业都已全情投入到这一波数字化转型浪潮中,把握新的发展机遇,获取数字红利。其中,金融行业可以说是走在转型之路最前沿的行业之

Docker容器实现原理及容器隔离性踩坑介绍

本文讲述了 关于容器隔离性的一个“坑”正如Docker官方的口号:“Buildonce,Runanywhere,Configureonce,Runanything”,Docker被贴上了如下标签:轻巧

从跟随者到开拓者,阿里云数据库角色变化背后的机遇与挑战

数据库经过40多年的发展与变迁已经改写了格局,在开源、云端浪潮之下曾经的数据库霸主Oracle也已经跌下王座,不断向着云与智能化发展,新的厂商也获得了各自机会,在云数据库时代是一个百花齐放、百家争鸣的

TPC-C解析系列04_TPC-C基准测试之数据库事务引擎的挑战

OceanBase这次TPC-C测试与榜单上Oracle和DB2等其他数据库在硬件使用上有非常大的不同,OceanBase的数据库服务器使用的是204+3台型号是ecs.i2.16xlarge阿里云E

调查:2019年数据分析市场面临的挑战有哪些?

分析和数据科学行业对人才的需求急剧增长,为该行业求职者提供了很多工作机会。无论是500强还是初创企业,每个团队都在使用分析来从数据中获得有价值的信息。然而,在人才、客户定位和收集数据等方面,这个行业仍

谈PaaS平台建设:如何应对企业架构多元异构资源的挑战

据forbes预测,在2020年到来之前,83%的IT资源都会迁移上云。整个云的生态中,PaaS是最具有抽象属性的云形态,落地较晚也迟迟没有形成统一的标准。近几年,随着SaaS层业务的成熟,以及Iaa

引领存储新时代——新华三Primera关键业务智能存储

技术的变革,让我们步入数字智能时代。由数据、AI驱动的智能化产业转型正在如火如荼地进行中,金融、工业、医疗、娱乐……智能改变着一切。在IT对于企业已经如此重要的今天,智能也正改变着支撑企业业务运行的底

云原生存储和云存储有什么区别?

作者| 李鹏(壮怀)阿里云智能事业群高级技术专家导读:新的企业负载/智能工作负载容器化、迁云、存储方面遇到的性能、弹性、高可用、加密、隔离、可观测性以及生命周期等方面的问题,不但需要存储产品层次的改进

云计算下半场,从金融业变革看云原生的机遇与挑战

在数字化转型过程中,上云上平台是非常关键的一步。如今是否上云已经不需讨论,云计算在国内经过十年的发展走到了下半场,成为传统产业升级的新助力。而伴随着容器、微服务等技术的逐步成熟,云计算也走到了云原生时

物联网软件开发面临的7种挑战

如今,物联网软件开发实际上是一个雷区。市场需要高质量、可扩展、强大、安全且用户友好的解决方案。物联网开发团队必须重新评估其标准流程,以便将所有因素都考虑进去。在物联网项目的背景下,重新评估“一切”意味

人工智能给陌陌直播带来的变革与挑战

中国的人工智能产业相较国外起步较晚,但崛起迅速,尤其是人工智能上升为国家战略以来,更是吸引科技巨头以及众多垂直领域公司深耕不辍。在内容直播领域更是掀起一股强劲的浪潮,毫不夸张地说,AI技术已经成为了内

盘点 | 物联网未来的9大主要安全挑战

物联网(IoT)是数字转型时代最热门的技术之一,其能够将一切都连接到互联网。它是智能家居、自动驾驶汽车、智能电表和智能城市背后的核心技术。但是物联网(IoT)的未来将面临九个主要的安全挑战。在过去的几