新聞中心

這里有您想知道的互聯(lián)網營銷解決方案

Docker使用OpenStackCinder持久化volume原理分析及實踐

docker使用OpenStack Cinder持久化volume原理分析及實踐

作者：付廣平 2017-10-20 15:25:17

開發(fā)

開發(fā)工具

云計算

OpenStack Docker容器本身是無狀態(tài)的，意味著容器退出后不會保存任何數據。但實際使用場景，肯定是需要保存業(yè)務數據的，Docker通過volume實現(xiàn)數據的持久化存儲以及共享。

創(chuàng)新互聯(lián)堅持“要么做到，要么別承諾”的工作理念，服務領域包括：成都網站建設、網站建設、企業(yè)官網、英文網站、手機端網站、網站推廣等服務，滿足客戶于互聯(lián)網時代的馬山網站設計、移動媒體設計的需求，幫助企業(yè)找到有效的互聯(lián)網解決方案。努力成為您成熟可靠的網絡建設合作伙伴！

1 背景知識

1.1 OpenStack Cinder簡介

OpenStack Cinder為OpenStack提供塊存儲服務，其功能類似AWS的EBS服務，目前使用最多的是為OpenStack Nova虛擬機提供虛擬硬盤功能，即把volume掛載到虛擬機中，作為附加彈性硬盤使用，關于OpenStack Cinder volume掛載到虛擬機的過程分析可以參考之前寫的博客OpenStack虛擬機掛載數據卷過程分析，這篇博客也是了解本文內容的基礎。

但是，OpenStack Cinder不僅僅是為Nova虛擬機提供云硬盤功能，事實上，Cinder并不關心是誰在消費它的volume，除了虛擬機，還有可能是物理機和容器。Cinder volume掛載到物理機前面已經介紹過，可以參考OpenStack中那些很少見但很有用的操作。Cinder volume掛載到虛擬機以及物理機都介紹過了，剩下最后一個內容，Cinder volume如何掛載到Docker容器中呢，本文接下來將詳細介紹并通過兩個driver實例實踐。

1.2 Docker volume簡介

我們知道Docker容器本身是無狀態(tài)的，意味著容器退出后不會保存任何數據。但實際使用場景，肯定是需要保存業(yè)務數據的，Docker通過volume實現(xiàn)數據的持久化存儲以及共享。

默認情況下，Docker會使用本地目錄作為容器的volume掛載到容器實例指定的路徑。用戶可以指定已經存在的路徑作為Docker volume，如下:

  
 
 
   
  
  mkdir data 
   
  
  docker run -t -i --rm -v `pwd`/data:/data busybox

以上把本地data目錄掛載到容器/data路徑中，注意源目錄路徑必須使用絕對路徑，否則Docker會當作volume name。

你也可以不指定本地路徑，此時Docker會自動創(chuàng)建一個新的空目錄作為Docker volume：

  
 
 
   
  
  docker run -t -i --rm -v /data busybox

可以使用docker volume ls查看創(chuàng)建的volume:

  
 
 
   
  
  $ docker volume ls 
   
  
  DRIVER              VOLUME NAME 
   
  
  local               0e8d4d3936ec3b84c2ee4db388f45cbe5c84194d89d69be6b7a616fbdf1ea788

通過inspect子命令查看源路徑path：

  
 
 
   
  
  $ docker volume inspect 0e8d4d3936ec3b84c2ee4db388f45cbe5c84194d89d69be6b7a616fbdf1ea788 
   
  
  [ 
   
  
      { 
   
  
          "CreatedAt": "2017-09-30T17:21:56+08:00", 
   
  
          "Driver": "local", 
   
  
          "Labels": null, 
   
  
          "Mountpoint": "/var/lib/docker/volumes/0e8d4d3936ec3b84c2ee4db388f45cbe5c84194d89d69be6b7a616fbdf1ea788/_data", 
   
  
          "Name": "0e8d4d3936ec3b84c2ee4db388f45cbe5c84194d89d69be6b7a616fbdf1ea788", 
   
  
          "Options": {}, 
   
  
          "Scope": "local" 
   
  
      } 
   
  
  ]

從以上輸出的結果可看出本地源目錄為/var/lib/docker/volumes/0e8d4d3936ec3b84c2ee4db388f45cbe5c84194d89d69be6b7a616fbdf1ea788/_data，這個目錄是Docker自動創(chuàng)建的。

由此我們也得出結論，Docker創(chuàng)建的volume只能用于當前宿主機的容器使用，不能掛載到其它宿主機的容器中，這種情況下只能運行些無狀態(tài)服務，對于需要滿足HA的有狀態(tài)服務，則需要使用分布式共享volume持久化數據，保證宿主機掛了后，容器能夠遷移到另一臺宿主機中。而Docker本身并沒有提供分布式共享存儲方案，而是通過插件(plugin)機制實現(xiàn)與第三方存儲系統(tǒng)對接集成，下節(jié)我們詳細介紹。

1.3 Docker volume plugin介紹

前面提到Docker本身并沒有提供分布式共享volume方案實現(xiàn)，而是提供了一種靈活的插件機制，通過插件能夠集成第三方的分布式共享系統(tǒng)，用戶只需要實現(xiàn)plugin driver的接口就可以對接自己的任何存儲系統(tǒng)。如當前非常流行的開源分布式存儲系統(tǒng)Ceph、AWS EBS、OpenStack Cinder等，這些外部存儲系統(tǒng)我們稱為Provider。

值得一提的是，官方在volume plugin協(xié)議文檔中強調:

If a plugin registers itself as a VolumeDriver when activated, it must provide the Docker Daemon with writeable paths on the host filesystem.

這句話的理解就是說，Docker不能直接讀寫外部存儲系統(tǒng)，而必須把存儲系統(tǒng)掛載到宿主機的本地文件系統(tǒng)中，Docker當作本地目錄掛載到容器中，換句話說，只要外部存儲設備能夠掛載到本地文件系統(tǒng)就可以作為Docker的volume。比如對于ceph rbd，需要先map到本地，并掛載到宿主機指定的路徑中，這個路徑稱為path。這里和虛擬機不一樣，rbd掛載到虛擬機，QEMU能夠直接通過rbd協(xié)議讀寫，不需要map到本地。

我們要想了解Docker掛載分布式存儲系統(tǒng)的原理，首先需要了解下官方定義的plugin協(xié)議接口：

create: 創(chuàng)建一個volume。
remove: 刪除一個volume。
mount: 掛載一個volume到容器中。
umount: 從容器中卸載一個volume。
get/list: 獲取volume信息。

以上create和remove都比較簡單，最為核心的兩個接口為mount和umount，不同的存儲系統(tǒng)，接口實現(xiàn)不一樣，我們這里只關心Cinder接口的實現(xiàn)。在此之前我沒有過多研究，不妨我們就用前面了解的知識大膽猜想下Docker使用Cinder volume的實現(xiàn)原理。

1.4 Docker使用Cinder volume原理猜想

前面我們介紹了Docker plugin接口，現(xiàn)在假設我們需要對接OpenStack Cinder，Cinder存儲后端(backend)使用LVM，猜測Docker plugin接口實現(xiàn)如下:

create: 直接調用Cinder API創(chuàng)建一個volume。
remote: 直接調用Cinder API刪除一個volume。
get/list: 直接調用Cinder API獲取volume列表。
mount: 前面提到Docker volume必須先掛載到本地，而這不正是恰好對應Cinder的local-attach么，具體內容可以參考OpenStack中那些很少見但很有用的操作。local attach到本地設備后，如果塊設備沒有安裝文件系統(tǒng)，則mount操作還需要執(zhí)行文件系統(tǒng)格式化。創(chuàng)建完文件系統(tǒng)后，只需要mount到宿主機文件系統(tǒng)就可以了，Docker并不關心底層到底是什么存儲系統(tǒng)，它只是把它當作宿主機的一個目錄，剩下的工作就和Docker掛載本地目錄一樣了。
umount: 不需要解釋，已經非常明了，只需要從本地文件系統(tǒng)umount，然后從本地設備detach。

目前Docker掛載Cinder volume的方案還挺多的，如:

docker cinder driver: Docker Volume Plugin to enable consumption of OpenStack-Cinder Block Storage with containers.
fuxi: Enable Docker container to use Cinder volume and Manila share.
REX-Ray：storage management solution designed to support container runtimes such as Docker and Mesos.
Flocker: Flocker is an open-source container data volume orchestrator for your Dockerized applications.

以上原理只是我們的猜想，猜想是不是成立，我們接下來通過以上方案研究實踐下即可驗證。

2 docker cinder driver實踐

2.1 docker cinder driver簡介

docker-cinder-driver是由john griffith開發(fā)的，實現(xiàn)了Docker掛載Cinder卷Driver。作者還寫了篇專門的博客介紹Cinder - Block Storage for things other than Nova，也可以參考作者于OpenStack Days East 2016的分享pptslides: Consuming Cinder from Docker以及2016年奧斯汀分享視頻cinder and docker like peanut butter and chocolate。

2.2 環(huán)境準備

實驗之前本人已經使用DevStack工具部署了一個allinone OpenStack測試環(huán)境，代碼基于最新的master分支，對應Cinder commit為2b58f2bb04c229c738b5cc806575ed3503fd1bfe。 Cinder使用LVM后端存儲(backend)，配置如下:

  
 
 
   
  
  [lvmdriver-1] 
   
  
  image_volume_cache_enabled = True 
   
  
  volume_clear = zero 
   
  
  lvm_type = auto 
   
  
  iscsi_helper = tgtadm 
   
  
  volume_group = stack-volumes-lvmdriver-1 
   
  
  volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver 
   
  
  volume_backend_name = lvmdriver-1

后續(xù)操作都是在這個DevStack環(huán)境中進行，不再強調。

docker cinder driver文檔中說可以直接通過install.sh腳本下載:

  
 
 
   
  
  curl -sSl https://raw.githubusercontent.com/j-griffith/cinder-docker-driver/master/install.sh | sh

但這樣下載的可能不是最新代碼編譯的(親測有坑)，為了使用最新的版本，我們只能手動編譯，首先需要安裝go開發(fā)環(huán)境，關于go語言開發(fā)環(huán)境可以參考官方安裝文檔。

ubuntu可以直接使用apt-get安裝:

  
 
 
   
  
  sudo apt-get install golang-go

下載cinder-docker-driver源碼到本地:

  
 
 
   
  
  git clone https://github.com/j-griffith/cinder-docker-driver

使用go build直接編譯:

  
 
 
   
  
  cd cinder-docker-driver 
   
  
  mkdir -p vendor/src 
   
  
  ln -s `pwd`/vendor/golang.org/ vendor/src 
   
  
  ln -s `pwd`/vendor/github.com vendor/src 
   
  
  export GOPATH=`pwd`/vendor 
   
  
  go build

創(chuàng)建配置文件，主要包含Cinder的認證信息:

  
 
 
   
  
  mkdir -p /var/lib/cinder/dockerdriver 
   
  
  cat >/var/lib/cinder/dockerdriver/config.json <
   
  
  
{ 
   
  
    "Endpoint": "http://10.0.2.15/identity/v3", 
   
  
    "Username": "admin", 
   
  
    "Password": "nomoresecret", 
   
  
    "TenantID": "ae21d957967d4df0865411f0389ed7e8", 
   
  
    "DomainName": "Default", 
   
  
    "Region": "RegionOne" 
   
  
  } 
   
  
  EOF

其中Endpoint為認證URL，注意包含版本/v3，且必須包含DomainName配置項。

配置完成后就可以直接運行cinder-docker-driver服務了:

  
 
 
   
  
  nohup ./cinder-docker-driver &  
   
  
  tailf ./nohup

2.3 功能驗證

使用docker創(chuàng)建一個volume，如下:

  
 
 
   
  
  root@devstack:~# docker volume create -d cinder --name int32bit-test-1 -o size=2 
   
  
  int32bit-test-1 
   
  
  root@devstack:~# docker volume ls 
   
  
  DRIVER              VOLUME NAME 
   
  
  cinder              int32bit-test-1

啟動一個容器并掛載int32bit-test-1:

  
 
 
   
  
  root@devstack:~# docker run -t -i --rm -v int32bit-test-1:/int32bit-test-1 busybox 
   
  
  / # cd /int32bit-test-1/ 
   
  
  /int32bit-test-1 # ls 
   
  
  lost+found 
   
  
  /int32bit-test-1 # echo "HelloWorld" >hello.txt 
   
  
  /int32bit-test-1 # ls 
   
  
  hello.txt   lost+found 
   
  
  /int32bit-test-1 #

以上我們掛載剛剛創(chuàng)建的volume到/int32bit-test-1中，并寫了HelloWorld到hello.txt文件中。

啟動容器時cinder-docker-driver日志如下:

  
 
 
   
  
  time="2017-09-29T21:29:44+08:00" level=debug msg="Found Volume ID: 58837c2b-af79-4f89-97ea-40e2622d2c52" 
   
  
  time="2017-09-29T21:29:44+08:00" level=debug msg="Gather up initiator IQNs..." 
   
  
  time="2017-09-29T21:29:44+08:00" level=debug msg="Found the following iqns: [iqn.1993-08.org.debian:01:19a8a9ca754f]" 
   
  
  time="2017-09-29T21:29:44+08:00" level=debug msg="Value of IPs is=[127.0.0.1/8 10.0.2.15/24 192.168.99.101/24 192.168.122.1/24 172.17.0.1/16 ::1/128 fe80::a00:27ff:fe94:2f20/64 fe80::a00:27ff:fe69:2326/64 fe80::42:bcff:fee4:89ac/64]\n" 
   
  
  time="2017-09-29T21:29:44+08:00" level=debug msg="Issue InitializeConnection..." 
   
  
  time="2017-09-29T21:29:47+08:00" level=debug msg="Create the node entry using args:  [-m node -T iqn.2010-10.org.openstack:volume-58837c2b-af79-4f89-97ea-40e2622d2c52 -p 10.0.2.15:3260]" 
   
  
  time="2017-09-29T21:29:47+08:00" level=debug msg="Update username to: 36eDQkERhAAKXGi8CMFC" 
   
  
  time="2017-09-29T21:29:47+08:00" level=debug msg="Update password to: GLFkwC6eV8abbtk8" 
   
  
  time="2017-09-29T21:29:48+08:00" level=info msg="Logged into iSCSI target without error: [-m node -T iqn.2010-10.org.openstack:volume-58837c2b-af79-4f89-97ea-40e2622d2c52 -p 10.0.2.15:3260 --login]" 
   
  
  time="2017-09-29T21:29:48+08:00" level=info msg="Waiting for path" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="path found: /dev/disk/by-path/ip-10.0.2.15:3260-iscsi-iqn.2010-10.org.openstack:volume-58837c2b-af79-4f89-97ea-40e2622d2c52-lun-1" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="Begin utils.getDeviceFileFromIscsiPath: /dev/disk/by-path/ip-10.0.2.15:3260-iscsi-iqn.2010-10.org.openstack:volume-58837c2b-af79-4f89-97ea-40e2622d2c52-lun-1" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="Found device: [lrwxrwxrwx 1 root root 9 Sep 29 21:29 /dev/disk/by-path/ip-10.0.2.15:3260-iscsi-iqn.2010-10.org.openstack:volume-58837c2b-af79-4f89-97ea-40e2622d2c52-lun-1 ->  sdd\n]" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="using base of: /dev/sdd" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="Attached volume at (path, devfile): /dev/disk/by-path/ip-10.0.2.15:3260-iscsi-iqn.2010-10.org.openstack:volume-58837c2b-af79-4f89-97ea-40e2622d2c52-lun-1, /dev/sdd" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="iSCSI connection done" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="Begin utils.GetFSType: /dev/sdd" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="Formatting device" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="Begin utils.FormatVolume: /dev/sdd, ext4" 
   
  
  time="2017-09-29T21:29:49+08:00" level=debug msg="Perform mkfs.ext4 on device: /dev/sdd" 
   
  
  time="2017-09-29T21:29:50+08:00" level=debug msg="Result of mkfs cmd: mke2fs 1.42.13 (17-May-2015)\nCreating filesystem with 524288 4k blocks and 131072 inodes\nFilesystem UUID: 02318688-7448-4d25-98dd-0527a2bd9733 
   
  
  Superblock backups stored on blocks:  
   
  
      32768, 98304, 163840, 229376, 294912 
   
  
      Allocating group tables: 0/16 done                             
   
  
      Writing inode tables:  0/16 done                             
   
  
      Creating journal (16384 blocks): done 
   
  
      Writing superblocks and filesystem accounting information:  0/16 done" 
   
  
  time="2017-09-29T21:29:50+08:00" level=debug msg="Begin utils.Mount device: /dev/sdd on: /var/lib/cinder/mount/int32bit-test-1" 
   
  
  time="2017-09-29T21:29:50+08:00" level=debug msg="Response from mount /dev/sdd at /var/lib/cinder/mount/int32bit-test-1: " 
   
  
  time="2017-09-29T21:29:50+08:00" level=debug msg="Call gophercloud Attach..." 
   
  
  time="2017-09-29T21:29:50+08:00" level=debug msg="Attach results: {ErrResult:{Result:{Body: Header:map[] Err:}}}"

從日志中可以看出掛載volume本質就是通過iscsi把volume attach到本地(local attach)，格式化為ext4文件系統(tǒng)，然后掛載到宿主機/var/lib/cinder/mount目錄中，與我們猜想過程基本一致。

可以通過lsblk確認:

  
 
 
   
  
  root@devstack:~/cinder-docker-driver# lsblk -s | grep int32bit-test  
   
  
  sdd 8:48 0 2G 0 disk /var/lib/cinder/mount/int32bit-test-1

從docker容器實例中退出，此時會自動把volume從本地detach。

我們使用cinder把創(chuàng)建的卷手動attach到本地并掛載，關于Cinder的local attach，可參考OpenStack中那些很少見但很有用的操作。

  
 
 
   
  
  root@devstack:~# cinder list 
   
  
  +--------------------------------------+-----------+-----------------+------+-------------+----------+-------------+ 
   
  
  | ID                                   | Status    | Name            | Size | Volume Type | Bootable | Attached to | 
   
  
  +--------------------------------------+-----------+-----------------+------+-------------+----------+-------------+ 
   
  
  | 58837c2b-af79-4f89-97ea-40e2622d2c52 | available | int32bit-test-1 | 2    | lvmdriver-1 | false    |             | 
   
  
  +--------------------------------------+-----------+-----------------+------+-------------+----------+-------------+ 
   
  
  root@devstack:~# cinder local-attach 58837c2b-af79-4f89-97ea-40e2622d2c52 
   
  
  +----------+-----------------------------------+ 
   
  
  | Property | Value                             | 
   
  
  +----------+-----------------------------------+ 
   
  
  | path     | /dev/sdd                          | 
   
  
  | scsi_wwn | 360000000000000000e00000000010001 | 
   
  
  | type     | block                             | 
   
  
  +----------+-----------------------------------+ 
   
  
  root@devstack:~# mount /dev/sdd /mnt

查看前面我們寫的文件:

  
 
 
   
  
  root@devstack:~# cat /mnt/hello.txt 
   
  
  HelloWorld

可見輸出了我們通過容器寫的HelloWorld。

通過docker cinder driver基本驗證了我們之前的猜想是正確的。

3 fuxi

3.1 fuxi項目簡介

OpenStack fuxi是一個比較新的項目，最初是從magnum項目分離出來，于2016年2月26號被OpenStack社區(qū)接受成為社區(qū)項目，目前主要由華為主導開發(fā)，其目標是使Docker容器可以使用Cinder volume和Manila share作為持久化存儲卷。

3.2 環(huán)境準備

OpenStack環(huán)境仍然使用之前的DevStack環(huán)境，fuxi安裝過程如下。

首先安裝依賴的包，這些包其實DevStack基本都已經安裝完成了。

  
 
 
   
  
  sudo apt-get update 
   
  
  sudo apt-get install python-dev git libffi-dev libssl-dev gcc 
   
  
  sudo apt-get install open-iscsi 
   
  
  sudo apt-get install sysfsutils

下載fuxi源碼并安裝:

  
 
 
   
  
  git clone https://github.com/openstack/fuxi.git 
   
  
  cd fuxi 
   
  
  sudo pip install -r requirements.txt 
   
  
  sudo python setup.py install 
   
  
  ln -s /lib/udev/scsi_id /usr/local/bin # for root

使用generate_config_file_samples.sh生成配置文件模板，并拷貝到/etc/fuxi目錄下。

  
 
 
   
  
  ./tools/generate_config_file_samples.sh 
   
  
  sudo cp etc/fuxi.conf.sample /etc/fuxi/fuxi.conf

修復配置文件，最終配置文件如下:

  
 
 
   
  
  root@devstack:~# cat /etc/fuxi/fuxi.conf  | grep -v '^#' | grep -v '^$' 
   
  
  [DEFAULT] 
   
  
  my_ip = 10.0.2.15 
   
  
  volume_providers = cinder 
   
  
  [cinder] 
   
  
  region_name = RegionOne 
   
  
  volume_connector = osbrick 
   
  
  fstype = ext4 
   
  
  auth_url = http://10.0.2.15/identity/v3 
   
  
  project_name = admin 
   
  
  project_domain_name = Default 
   
  
  username = admin 
   
  
  user_domain_name = Default 
   
  
  password = nomoresecret 
   
  
  [keystone] 
   
  
  [manila] 
   
  
  volume_connector = osbrick 
   
  
  auth_type = password 
   
  
  [nova]

注意auth_url必須包含版本，如/v3。

啟動服務:

  
 
 
   
  
  fuxi-server --config-file /etc/fuxi/fuxi.conf

3.3 功能驗證

使用Docker創(chuàng)建一個volume:

  
 
 
   
  
  $ docker volume create -d fuxi --name int32bit-test-fuxi 
   
  
  int32bit-test-fuxi 
   
  
  $ docker volume ls | grep int32bit-test-fuxi 
   
  
  fuxi                int32bit-test-fuxi

掛載volume到Docker容器中:

  
 
 
   
  
  $ docker run -ti --rm -v int32bit-test-fuxi:/int32bit-test-fuxi busybox 
   
  
  / # cd /int32bit-test-fuxi/ 
   
  
  /int32bit-test-fuxi # ls 
   
  
  a           b           c           lost+found

我們可以驗證volume其實是映射到本地路徑的:

  
 
 
   
  
  $ lsblk -Sf 
   
  
  NAME HCTL       TYPE VENDOR   MODEL             REV TRAN   NAME FSTYPE LABEL UUID                                 MOUNTPOINT 
   
  
  sda  2:0:0:0    disk ATA      VBOX HARDDISK    1.0  sata   sda 
   
  
  sdb  11:0:0:1   disk IET      VIRTUAL-DISK     0001 iscsi  sdb  ext4         d04b16a1-3392-41df-999f-e6c36b5d0cd6 /fuxi/data/cinder/int32bit-test-fuxi 
   
  
  sr0  1:0:0:0    rom  VBOX     CD-ROM           1.0  ata    sr0

由此可見，fuxi首先把Volume attach到本地，并mount到指定路徑中，然后mount到Docker容器中，又和我們的猜想一致，接下來我們從源碼角度分析。

3.4 Docker使用fuxi掛載volume源碼分析

fuxi掛載是通過fuxi/volumeprovider/cinder.py模塊的Cinder類實現(xiàn)的，該類實現(xiàn)了provider.Provider接口，而該接口就是對應前面介紹的Docker volume plugin接口。我們主要研究其mount方法:

  
 
 
   
  
  t(self, docker_volume_name): 
   
  
      cinder_volume, state = self._get_docker_volume(docker_volume_name) 
   
  
      LOG.info("Get docker volume %(d_v)s %(vol)s with state %(st)s", 
   
  
               {'d_v': docker_volume_name, 'vol': cinder_volume, 
   
  
                'st': state}) 
   
  
   
   
  
      connector = self._get_connector() 
   
  
      if state == NOT_ATTACH: 
   
  
          connector.connect_volume(cinder_volume) 
   
  
      elif state == ATTACH_TO_OTHER: 
   
  
          if cinder_volume.multiattach: 
   
  
              connector.connect_volume(cinder_volume) 
   
  
          else: 
   
  
              msg = _("Volume {0} {1} is not shareable").format( 
   
  
                  docker_volume_name, cinder_volume) 
   
  
              raise exceptions.FuxiException(msg) 
   
  
      elif state != ATTACH_TO_THIS: 
   
  
          msg = _("Volume %(vol_name)s %(c_vol)s is not in correct state, " 
   
  
                  "current state is %(state)s") 
   
  
          LOG.error(msg, {'vol_name': docker_volume_name, 
   
  
                          'c_vol': cinder_volume, 
   
  
                          'state': state}) 
   
  
          raise exceptions.NotMatchedState()

以上主要通過Cinder API獲取volume信息，檢查其attach情況:

如果volume沒有attach，則直接attach。
如果volume已經attach(in-use)到其它主機，則檢查其是否支持multiattach，如果支持多掛載，則直接掛載，否則拋出異常，掛載失敗。
如果volume已經attach到當前主機，則說明已經掛載到本地了，但這不是我們所期望的，因此直接拋出異常。

假設前面都沒有問題，順利把volume attach到本地，則我們可以獲取映射到本地的虛擬設備名，接下來的代碼就是檢查該路徑是否就緒:

  
 
 
   
  
  link_path = connector.get_device_path(cinder_volume) 
   
  
      if not os.path.exists(link_path): 
   
  
          LOG.warning("Could not find device link file, " 
   
  
                      "so rebuild it") 
   
  
          connector.disconnect_volume(cinder_volume) 
   
  
          connector.connect_volume(cinder_volume) 
   
  
   
   
  
      devpath = os.path.realpath(link_path) 
   
  
      if not devpath or not os.path.exists(devpath): 
   
  
          msg = _("Can't find volume device path") 
   
  
          LOG.error(msg) 
   
  
          raise exceptions.FuxiException(msg)

如果前面順利獲取的volume到設備名，比如/dev/sdd，則最后的工作就是mount到本地文件系統(tǒng)了:

  
 
 
   
  
  mountpoint = self._get_mountpoint(docker_volume_name) 
   
  
    self._create_mountpoint(mountpoint) 
   
  
    fstype = cinder_volume.metadata.get('fstype', cinder_conf.fstype) 
   
  
    mount.do_mount(devpath, mountpoint, fstype) 
   
  
    return mountpoint

其中mountpoint是掛載的目標目錄，其路徑為volume_dir + volume_type + volume_name，其中volume_dir通過配置文件配置，默認為/fuxi/data，volume_type這里為cinder，假設volume name為int32bit-test-volume，則掛載路徑為/fuxi/data/cinder/int32bit-test-volume。

create_mountpoint就是創(chuàng)建掛載目錄:

  
 
 
   
  
  (self, mountpoint): 
   
  
      """Create mount point directory for Docker volume. 
   
  
      :param mountpoint: The path of Docker volume. 
   
  
      """ 
   
  
      try: 
   
  
          if not os.path.exists(mountpoint) or not os.path.isdir(mountpoint): 
   
  
              utils.execute('mkdir', '-p', '-m=755', mountpoint, 
   
  
                            run_as_root=True) 
   
  
              LOG.info("Create mountpoint %s successfully", mountpoint) 
   
  
      except processutils.ProcessExecutionError as e: 
   
  
          LOG.error("Error happened when create volume " 
   
  
                    "directory. Error: %s", e)

最后調用mount.do_mount，mount是fuxi實現(xiàn)的一個通用的mount庫，代碼位于fuxi/common/mount.py。

  
 
 
   
  
  (devpath, mountpoint, fstype): 
   
  
      """Execute device mount operation. 
   
  
   
   
  
      :param devpath: The path of mount device. 
   
  
      :param mountpoint: The path of mount point. 
   
  
      :param fstype: The file system type. 
   
  
      """ 
   
  
      try: 
   
  
          if check_already_mounted(devpath, mountpoint): 
   
  
              return 
   
  
   
   
  
          mounter = Mounter() 
   
  
          mounter.mount(devpath, mountpoint, fstype) 
   
  
      except exceptions.MountException: 
   
  
          try: 
   
  
              mounter.make_filesystem(devpath, fstype) 
   
  
              mounter.mount(devpath, mountpoint, fstype) 
   
  
          except exceptions.FuxiException as e: 
   
  
              with excutils.save_and_reraise_exception(): 
   
  
                  LOG.error(str(e))

該方法直接調用Mounter的mount方法，如果mount失敗，則重新創(chuàng)建格式化文件系統(tǒng)后再次掛載(第一次掛載時沒有安裝文件系統(tǒng)，因此mount必然失敗)。mount方法如下:

  
 
 
   
  
  (self, devpath, mountpoint, fstype=None): 
   
  
      try: 
   
  
          if fstype: 
   
  
              utils.execute('mount', '-t', fstype, devpath, mountpoint, 
   
  
                            run_as_root=True) 
   
  
          else: 
   
  
              utils.execute('mount', devpath, mountpoint, 
   
  
                            run_as_root=True) 
   
  
      except processutils.ProcessExecutionError as e: 
   
  
          msg = _("Unexpected error while mount block device. " 
   
  
                  "Devpath: {0}, " 
   
  
                  "Mountpoint: {1} " 
   
  
                  "Error: {2}").format(devpath, mountpoint, e) 
   
  
          raise exceptions.MountException(msg)

由此我們通過研究源碼，再次驗證了我們之前的猜想是正確的。

4 REX-Ray

REX-Ray是一個EMC團隊領導的開源項目，為Docker、Mesos及其他容器運行環(huán)境提供持續(xù)的存儲訪問。其設計旨在囊括通用存儲、虛擬化和云平臺，提供高級的存儲功能。換句話說，REX-Ray進一步封裝，提供一個統(tǒng)一的為Docker提供volume的工具，整合了各種不同的provide，如Ceph、Cinder、EBS等。但遺憾的是，目前Docker掛載Cinder卷，Docker必須安裝在Nova虛擬機中，虛擬機還必須能夠和OpenStack管理網打通，參考Cinder: failed to attach volume while using cinder driver，因此實際使用場景有限，本文不再詳細介紹。

【本文是51CTO專欄作者“付廣平”的原創(chuàng)文章，如需轉載請通過51CTO獲得聯(lián)系】

戳這里，看該作者更多好文

新聞標題：Docker使用OpenStackCinder持久化volume原理分析及實踐
轉載源于：http://fisionsoft.com.cn/article/dppocoo.html

新聞中心

docker使用OpenStack Cinder持久化volume原理分析及實踐

其他資訊