OpenStack容器服务Zun初探与原理分析

01

Zun服务简介

Zun是OpenStack的容器服务(Containers as Service),类似于AWS的ECS服务,但实现原理不太一样,ECS是把容器启动在EC2虚拟机实例上,而Zun会把容器直接运行在compute节点上。

和OpenStack另一个容器相关的Magnum项目不一样的是:Magnum提供的是容器编排服务,能够提供弹性Kubernetes、Swarm、Mesos等容器基础设施服务,管理的单元是Kubernetes、Swarm、Mesos集群,而Zun提供的是原生容器服务,支持不同的runtime如Docker、Clear Container等,管理的单元是container。

Zun服务的架构如图:

Zun服务和Nova服务的功能和结构非常相似,只是前者提供容器服务,后者提供虚拟机服务,二者都是主流的计算服务交付模式。功能类似体现在如下几点:

  • 通过Neutron提供网络服务。
  • 通过Cinder实现数据的持久化存储。
  • 都支持使用Glance存储镜像。
  • 其他如quota、安全组等功能。

组件结构结构相似则表现在:

  • 二者都是由API、调度、计算三大组件模块构成,Nova由nova-api、nova-scheduler、nova-compute三大核心组件构成,而Zun由zun-api、zun-compute两大核心组件构成,之所以没有zun-scheduler是因为scheduler集成到zun-api中了。
  • nova-compute调用compute driver创建虚拟机,如Libvirt。zun-compute调用container driver创建容器,如Docker。
  • Nova通过一系列的proxy代理实现VNC(nova-novncproxy)、Splice(nova-spiceproxy)等虚拟终端访问,Zun也是通过proxy代理容器的websocket实现远程attach容器功能。

02

Zun服务部署

Zun服务部署和Nova、Cinder部署模式类似,控制节点创建数据库、Keystone创建service以及注册endpoints等,最后安装相关包以及初始化配置。计算节点除了安装zun-compute服务,还需要安装要使用的容器,比如Docker。详细的安装过程可以参考官方文档,如果仅仅是想进行POC测试,可以通过DevStack自动化快速部署一个AllInOne环境,供参考的local.conf配置文件如下:

如上配置会自动通过DevStack安装Zun相关组件、Kuryr组件以及Docker。

03

Zun服务入门

3.1 Dashboard

安装Zun服务之后,可以通过zun命令行以及Dashboard创建和管理容器。

有一个非常赞的功能是如果安装了Zun,Dashboard能够支持Cloud Shell,用户能够在DashBoard中进行交互式输入OpenStack命令行。

原理的话就是通过Zun启动了一个gbraad/openstack-client:alpine容器。

通过Dashboard创建容器和创建虚拟机的过程非常相似,都是通过panel依次选择镜像(image)、选择规格(Spec)、选择或者创建卷(volume)、选择网络(network/port)、选择安全组(SecuiryGroup)以及scheduler hint,如图:

其中Miscellaneous杂项中则为针对容器的特殊配置,比如设置环境变量(Environment)、工作目录(Working Directory)等。

3.2 命令行操作

通过命令行创建容器也非常类似,使用过nova以及docker命令行的基本不会有困难,下面以创建一个mysql容器为例:

  • 如上通过–mount参数指定了volume大小,由于没有指定volume_id,因此Zun会新创建一个volume。需要注意的是,Zun创建的volume在容器删除后,volume也会自动删除(auto remove),如果需要持久化volume卷,则应该先通过Cinder创建一个volume,然后通过source选项指定volume_id,此时当容器删除时不会删除已有的volume卷。
  • 和虚拟机不一样,虚拟机通过flavor配置规格,容器则直接指定cpu、memory、disk。
  • 如上没有指定–image-driver参数,则默认从dockerhub下载镜像,如果指定glance,则会往glance下载镜像。

另外mysql容器初始化时数据卷必须为空目录,挂载的volume新卷格式化时会自动创建lost+found目录,因此需要手动删除,否则mysql容器会初始化失败:

创建完成后可以通过zun list命令查看容器列表:

可以看到mysql的容器fixed IP为192.168.233.80,和虚拟机一样,租户IP默认与外面不通,需要绑定一个浮动IP(floating ip),

zun命令行目前还无法查看floating ip,只能通过neutron命令查看,获取到floatingip并且安全组入访允许3306端口后就可以远程连接mysql服务了:

当然在同一租户的虚拟机也可以直接通过fixed ip访问mysql服务:

可见,通过容器启动mysql服务和在虚拟机里面部署mysql服务,用户访问上没有什么区别,在同一个环境中,虚拟机和容器可共存,彼此可相互通信,在应用层上可以完全把虚拟机和容器透明化使用,底层通过应用场景选择虚拟机或者容器。

3.3 关于capsule

Zun除了管理容器container外,还引入了capsule的概念,capsule类似Kubernetes的pod,一个capsule可包含多个container,这些container共享network、ipc、pid namespace等。

通过capsule启动一个mysql服务,声明yaml文件如下:

创建mysql capsule:

可见capsule的init container用的就是kubernetes的pause镜像。

3.4 总结

OpenStack的容器服务本来是在Nova中实现的,实现了Nova ComputeDriver,因此Zun的其他的功能如容器生命周期管理、image管理、service管理、action管理等和Nova虚拟机非常类似,可以查看官方文档,这里不再赘述。

04

Zun实现原理

4.1 调用容器接口实现容器生命周期管理

前面提到过Zun主要由zun-api和zun-compute服务组成,zun-api主要负责接收用户请求、参数校验、资源准备等工作,而zun-compute则真正负责容器的管理,Nova的后端通过compute_driver配置,而Zun的后端则通过container_driver配置,目前只实现了DockerDriver。因此调用Zun创建容器,最终就是zun-compute调用docker创建容器。

下面以创建一个container为例,简述其过程。

4.1.1 zun-api

首先入口为zun-api,主要代码实现在zun/api/controllers/v1/containers.py以及zun/compute/api.py,创建容器的方法入口为post()方法,其调用过程如下:

zun/api/controllers/v1/containers.py

  1. policy enforce: 检查policy,验证用户是否具有创建container权限的API调用。
  2. check security group: 检查安全组是否存在,根据传递的名称返回安全组的ID。
  3. check container quotas: 检查quota配额。
  4. build requested network: 检查网络配置,比如port是否存在、network id是否合法,最后构建内部的network对象模型字典。注意,这一步只检查并没有创建port。
  5. create container object:根据传递的参数,构造container对象模型。
  6. build requeted volumes: 检查volume配置,如果传递的是volume id,则检查该volume是否存在,如果没有传递volume id只指定了size,则调用Cinder API创建新的volume。

zun/compute/api.py

  1. schedule container: 使用FilterScheduler调度container,返回宿主机的host对象。这个和nova-scheduler非常类似,只是Zun集成到zun-api中了。目前支持的filters如CPUFilter、RamFilter、LabelFilter、ComputeFilter、RuntimeFilter等。
  2. image validation: 检查镜像是否存在,这里会远程调用zun-compute的image_search方法,其实就是调用docker search。这里主要为了实现快速失败,避免到了compute节点才发现image不合法。
  3. record action: 和Nova的record action一样,记录container的操作日志。
  4. rpc cast container_create: 远程异步调用zun-compute的container_create()方法,zun-api任务结束。

4.1.2 zun-compute

zun-compute负责container创建,代码位于zun/compute/manager.py,过程如下:

  1. wait for volumes avaiable: 等待volume创建完成,状态变为avaiable。
  2. attach volumes:挂载volumes,挂载过程后面再介绍。
  3. checksupportdisk_quota: 如果使用本地盘,检查本地的quota配额。
  4. pull or load image: 调用Docker拉取或者加载镜像。
  5. 创建docker network、创建neutron port,这个步骤下面详细介绍。
  6. create container: 调用Docker创建容器。
  7. container start: 调用Docker启动容器。

以上调用Dokcer拉取镜像、创建容器、启动容器的代码位于zun/container/docker/driver.py,该模块基本就是对社区Docker SDK for Python的封装。

Zun的其他操作比如start、stop、kill等实现原理也类似,这里不再赘述。

4.2 通过websocket实现远程容器访问

我们知道虚拟机可以通过VNC远程登录,物理服务器可以通过SOL(IPMI Serial Over LAN)实现远程访问,容器则可以通过websocket接口实现远程交互访问。

Docker原生支持websocket连接,参考APIAttach to a container via a websocket,websocket地址为/containers/{id}/attach/ws,不过只能在计算节点访问,那如何通过API访问呢?

和Nova、Ironic实现完全一样,也是通过proxy代理转发实现的,负责container的websocket转发的进程为zun-wsproxy。

当调用zun-compute的container_attach()方法时,zun-compute会把container的websocket_url以及websocket_token保存到数据库中.

zun-wsproxy则可读取container的websocket_url作为目标端进行转发:

通过Dashboard可以远程访问container的shell:

当然通过命令行zun attach也可以attach container。

4.3 使用Cinder实现容器持久化存储

前面介绍过Zun通过Cinder实现container的持久化存储,之前我的另一篇文章介绍了Docker使用OpenStack Cinder持久化volume原理分析及实践,介绍了john griffith开发的docker-cinder-driver以及OpenStack Fuxi项目,这两个项目都实现了Cinder volume挂载到Docker容器中。另外cinderclient的扩展模块python-brick-cinderclient-ext实现了Cinder volume的local attach,即把Cinder volume挂载到物理机中。

Zun没有复用以上的代码模块,而是重新实现了volume attach的功能,不过实现原理和上面的方法完全一样,主要包含如下过程:

  1. connect volume: connect volume就是把volume attach(映射)到container所在的宿主机上,建立连接的的协议通过initialize_connection信息获取,如果是LVM类型则一般通过iscsi,如果是Ceph rbd则直接使用rbd map。
  2. ensure mountpoit tree: 检查挂载点路径是否存在,如果不存在则调用mkdir创建目录。
  3. make filesystem:如果是新的volume,挂载时由于没有文件系统因此会失败,此时会创建文件系统。
  4. do mount: 一切准备就绪,调用OS的mount接口挂载volume到指定的目录点上。

Cinder Driver的代码位于`zun/volume/driver.py的Cinder类中,方法如下:

其中cinder.attach_volume()实现如上的第1步,而_mount_device()实现了如上的2-4步。

4.4 集成Neutron网络实现容器网络多租户

4.4.1 关于容器网络

前面我们通过Zun创建容器,使用的就是Neutron网络,意味着容器和虚拟机完全等同的共享Neutron网络服务,虚拟机网络具有的功能,容器也能实现,比如多租户隔离、floating ip、安全组、防火墙等。

Docker如何与Neutron网络集成呢?根据官方Docker network plugin API介绍,插件位于如下目录:

  • /run/docker/plugins
  • /etc/docker/plugins
  • /usr/lib/docker/plugins

由此可见Docker使用的是kuryr网络插件。

Kuryr也是OpenStack中一个较新的项目,其目标是“Bridge between container framework networking and storage models to OpenStack networking and storage abstractions.”,即实现容器与OpenStack的网络与存储集成,当然目前只实现了网络部分的集成。

而我们知道目前容器网络主要有两个主流实现模型:

  • CNM:Docker公司提出,Docker原生使用的该方案,通过HTTP请求调用,模型设计可参考The Container Network Model Design,network插件可实现两个Driver,其中一个为IPAM Driver,用于实现IP地址管理,另一个为Docker Remote Drivers,实现网络相关的配置。
  • CNI:CoreOS公司提出,Kubernetes选择了该方案,通过本地方法或者命令行调用。

因此Kuryr也分成两个子项目,kuryr-network实现CNM接口,主要为支持原生的Docker,而kury-kubernetes则实现的是CNI接口,主要为支持Kubernetes,Kubernetes service还集成了Neutron LBaaS,下次再单独介绍这个项目。

由于Zun使用的是原生的Docker,因此使用的是kuryr-network项目,实现的是CNM接口,通过remote driver的形式注册到Docker libnetwork中,Docker会自动向插件指定的socket地址发送HTTP请求进行网络操作,我们的环境是http://127.0.0.1:23750,即kuryr-libnetwork.service监听的地址,Remote API接口可以参考Docker Remote Drivers。

4.4.2 kuryr实现原理

前面4.1节介绍到zun-compute会调用docker driver的create()方法创建容器,其实这个方法不仅仅是调用python docker sdk的create_container()方法,还做了很多工作,其中就包括网络相关的配置。

首先检查Docker的network是否存在,不存在就创建,network name为Neutron network的UUID,

然后会调用Neutron创建port,从这里可以得出结论,容器的port不是Docker libnetwork也不是Kuryr创建的,而是Zun创建的。

回到前面的Remote Driver,Docker libnetwork会首先POST调用kuryr的/IpamDriver.RequestAddressAPI请求分配IP,但显然前面Zun已经创建好了port,port已经分配好了IP,因此这个方法其实就是走走过场。如果直接调用docker命令指定kuryr网络创建容器,则会调用该方法从Neutron中创建一个port。

接下来会POST调用kuryr的/NetworkDriver.CreateEndpoint方法,这个方法最重要的步骤就是binding,即把port attach到宿主机中,binding操作单独分离出来为kuryr.lib库,这里我们使用的是veth driver,因此由kuryr/lib/binding/drivers/veth.py模块的port_bind()方法实现,该方法创建一个veth对,其中一个为tap-xxxx,xxxx为port ID前缀,放在宿主机的namespace,另一个为t_cxxxx放到容器的namespace,t_cxxxx会配置上IP,而tap-xxxx则调用shell脚本(脚本位于/usr/local/libexec/kuryr/)把tap设备添加到ovs br-int桥上,如果使用HYBRID_PLUG,即安全组通过Linux Bridge实现而不是OVS,则会创建qbr-xxx,并创建一个veth对关联到ovs br-int上。

从这里可以看出,Neutron port绑定到虚拟机和容器基本没有什么区别,如下所示:

唯一不同的就是虚拟机是把tap设备直接映射到虚拟机的虚拟设备中,而容器则通过veth对,把另一个tap放到容器的namespace中。

有人会说,br-int的流表在哪里更新了?这其实是和虚拟机是完全一样的,当调用port update操作时,neutron server会发送RPC到L2 agent中(如neutron-openvswitch-agent),agent会根据port的状态更新对应的tap设备以及流表。

因此其实kuryr只干了一件事,那就是把Zun申请的port绑定到容器中。

05

总结

OpenStack Zun项目非常完美地实现了容器与Neutron、Cinder的集成,加上Ironic裸机服务,OpenStack实现了容器、虚拟机、裸机共享网络与存储。未来我觉得很长一段时间内裸机、虚拟机和容器将在数据中心混合存在,OpenStack实现了容器和虚拟机、裸机的完全平等、资源共享以及功能对齐,应用可以根据自己的需求选择容器、虚拟机或者裸机,使用上没有什么区别,用户只需要关心业务针对性能的需求以及对硬件的特殊访问,对负载(workload)是完全透明的。

参考文献

  • docker python sdk: https://docker-py.readthedocs.io/en/stable/
  • Zun’s documentation: https://docs.openstack.org/zun/latest/
  • https://docs.docker.com/engine/api/v1.39/#operation/ContainerAttachWebsocket
  • http://int32bit.me/2017/10/04/Docker使用OpenStack-Cinder持久化volume原理分析及实践/
  • https://specs.openstack.org/openstack/cinder-specs/specs/mitaka/use-cinder-without-nova.html
  • https://docs.docker.com/engine/extend/plugin_api/
  • https://github.com/docker/libnetwork/blob/master/docs/design.md
  • https://github.com/docker/libnetwork/blob/master/docs/ipam.md
  • https://github.com/docker/libnetwork/blob/master/docs/remote.md
  • https://docs.openstack.org/kuryr-libnetwork/latest/
  • https://docs.openstack.org/magnum/latest/user/
  • https://github.com/docker/libnetwork
  • https://www.nuagenetworks.net/blog/container-networking-standards/
  • http://blog.kubernetes.io/2016/01/why-Kubernetes-doesnt-use-libnetwork.html
Image placeholder
nie55352177
未设置
  29人点赞

没有讨论,发表一下自己的看法吧

推荐文章
一小时快速搭建基于阿里云容器服务-Kubernetes的Web应用

本文面向的读者如果您是一个Kubernetes的初学者,本文可以帮助你快速在云上搭建一个可实际使用的集群环境,并发布自己的第一个应用。你无须提前准备任何的硬件资源或者下载任何的软件包。 如果您已经有一

红帽OpenShift得到IBM、AWS和Azure的支持,生态能力正不断扩大

继IBM在11月6日宣布,IBMCloudPaks容器云的底层技术通过红帽OpenShift来支持后;AWS也于11月7日表示,原生集成AWS服务的红帽OpenShift容器平台已可用于由光环新网技术

Nacos 服务注册与发现原理分析

Nacos另一个非常重要的特性就是服务注册与发现,说到服务的注册与发现相信大家应该都不陌生,在微服务盛行的今天,服务是非常重要的,而在Nacos中服务更被称为他的一等公民。Nacos支持几乎所有主流类

Elasticsearch 数据写入原理分析

前言最近TL分享了下《Elasticsearch基础整理》https://www.jianshu.com/p/e82…,蹭着这个机会。写个小文巩固下,本文主要讲ES->Lucene的底层结构,然后详细

Android兼容Java 8语法特性的原理分析

本文主要阐述了Lambda表达式及其底层实现(invokedynamic指令)的原理、Android第三方插件RetroLambda对其的支持过程、Android官方最新的dex编译器D8对其的编译支

Docker容器实现原理及容器隔离性踩坑介绍

本文讲述了 关于容器隔离性的一个“坑”正如Docker官方的口号:“Buildonce,Runanywhere,Configureonce,Runanything”,Docker被贴上了如下标签:轻巧

浅析RunLoop原理及其应用

引言:一个APP的启动与结束都是伴随着RunLoop循环往复的,不断的循环、不断的往复。当线程被杀掉、APP退出后被系统以占用内存为由杀掉,RunLoop就消失了。但平时开发中很少见到RunLoop,

高并发业务场景下的秒杀解决方案 (初探)

文章简介 本文内容是对并发业务场景出现超卖情况而写的一片解决方案。主要是利用到了Redis中的队列技术。 超卖介绍 所谓的超卖,就是我们的售卖量大于了物品的库存量。该情况一般出现在电商系统中促销类的业

初探英特尔存储“秘密基地”:傲腾小白 学成归来

可以把这篇文章当成故事听、你也可以把它看成游记、你还可以认为它是一篇技术贴,whatever,如何包装不重要,接下来的干货才是重点:忆往事英特尔傲腾数据中心技术,是英特尔“以数据为中心”战略的具体体现

MVVM原理(Object.defineProperty和订阅者模式)

想着去了解vue的mvvm数据驱动是怎么实现的,百度中看了这篇文章,demo很好。其他文章只是讲到defineProperty的set,get。彻底理解Vue中的Watcher、Observer、De

Laravel 底层分析:生命周期和容器 Container(第一部分)

本篇用于介绍Laravel5.6底层源码 最早加载的文件 一旦你打开某个网站,比如http://example.com,你的Web服务器(nginx,Apache,...)首先指向的是public目录

容器管理工具 ctop 简介

如果你经常在linux下工作,那你肯定对top以及它的增强版htop非常熟悉。如果说top是管理进程的,而ctop则是管理容器的。安装在centos下安装ctop$wgethttps://github

面试问烂的 Spring AOP 原理、SpringMVC 过程

  正文  SpringAOP,SpringMVC,这两个应该是国内面试必问题,网上有很多答案,其实背背就可以。但今天笔者带大家一起深入浅出源码,看看他的原理。以期让印象更加深刻,面试的时候游刃有余。

Spring-SpringAOP原理,手写Spring事务框架

一、Spring核心知识Spring是一个开源框架,Spring是于2003年兴起的一个轻量级的Java开发框架,由RodJohnson在其著作ExpertOne-On-OneJ2EEDevelopm

Python 容器 Collections

容器(Collections) Python附带一个模块,它包含许多容器数据类型,名字叫作collections。我们将讨论它的作用和用法。 我们将讨论的是: defaultdict counter

打造高逼格、可视化的Docker容器监控系统平台

关于Docker技术的文章之前也断断续续写了几篇:Docker容器系列文章|Docker技术入门(一)Docker容器系列文章|Docker技术入门(二)Docker容器系列文章|这20个Docker

无服务器vs容器,企业如何正确选择?

对于开发者和企业架构师来说,在不同的技术、框架或架构之间做出选择,是日常工作中最重要的内容。尤其在今天复杂的企业应用环境下,软件开发规则也在时刻变化着,我们必须在软件开发之前就要考虑清楚系统的体系结构

万字长文:聊聊几种主流Docker网络的实现原理

一、容器网络简介容器网络主要解决两大核心问题:一是容器的IP地址分配,二是容器之间的相互通信。本文重在研究第二个问题并且主要研究容器的跨主机通信问题。实现容器跨主机通信的最简单方式就是直接使用host

数据结构与算法分析——开篇以及复杂度分析

开篇 你也许已经发现了,工作了几年,原以为已经是一只老鸟。但看到刚参加工作的同事,你发现,原来自己一直在原地踏步。跟新人相比,你的唯一优势就是对业务更熟悉而已,别的就没有什么优势了。 怎样才能够让自己

数据结构与算法分析——开篇以及复杂度分析

开篇你也许已经发现了,工作了几年,原以为已经是一只老鸟。但看到刚参加工作的同事,你发现,原来自己一直在原地踏步。跟新人相比,你的唯一优势就是对业务更熟悉而已,别的就没有什么优势了。怎样才能够让自己更上

Python数据分析实战 | 爬遍拉勾网,带你看看数据分析师还吃香吗?

微信公众号:「Python读财」如有问题或建议,请公众号留言伴随着移动互联网的飞速发展,越来越多用户被互联网连接在一起,用户所积累下来的数据越来越多,市场对数据方面人才的需求也越来越大,由此也带火了如

使用 openvpn 与集群内部服务通信

当我们访问集群内部服务,如postgres,redis,traefikDashboard,gitlab时,如果直接暴露在公网中,会造成很大的安全隐患,而使用BasicAuth,WhiteList等也稍

访问 laradock 服务器内部 http 服务器

在laradock中创建了一个http服务器之后,在workspace容器中,通curl127.0.0.1:9588,可以返回helloworld。但是在本地,通过浏览器访问127.0.0.1:958

php常用字符串查找函数strstr()与strpos()实例分析

这篇文章主要介绍了php常用字符串查找函数strstr()与strpos(),结合具体实例形式分析了php字符串查找函数strstr()与strpos()的具体功能、用法、区别及相关操作注意事项,需要