Docker Image管理学习笔记

问题导读
1、Docker火热的原因是什么？
2、docker run命令实际的执行主要分为哪些？
3、docker是如何对镜像管理的？





简介
Container本来也不是什么新技术，为什么Docker就火了，而前辈们如lxc、OpenVZ等没这么火。其实一部分原因得益于Docker的Image管理。Docker借鉴了vm的方式，让用户像管理vm一样的管理他们的container镜像，并且也同样叫做Image。在实现上，Docker利用container的Rootfs是从host上挂载的、并且能挂载多个目录这个特点，将Docker Image分成多个小块（这是按照vm Image的思维来说的，实际上这多个小块，每个都是一个Image，最终使用的是一个Image组合），方便管理与共享。
我们已经了解了Container是什么，那么Image是怎么转换为Container的Rootfs的？Image本身是怎么在磁盘上存储的？带着这些疑问，我们一起来看看Docker的实现。

磁盘上的image
先来看看磁盘中存储的image是什么样子的，这里以aufs为例，devicemapper的存储形式和aufs还不太一样，后续有空再来分析。
现在我们有一个image：

ubuntu@ubuntu:~$ sudo docker images  
[sudo] password for ubuntu:   
REPOSITORY          TAG                 IMAGE ID            CREATED             VIRTUAL SIZE  
ubuntu-12.04        latest              212e4aaf49e7        25 minutes ago      172.7 MB
复制代码

对应的/var/lib/docker目录下就有这些东西：

ubuntu@ubuntu:~$ sudo ls -lh /var/lib/docker  
total 48K  
drwxr-xr-x 2 root root 4.0K Apr 16 22:26 apparmor  
drwxr-xr-x 5 root root 4.0K Jun 21 16:14 aufs  
drwx------ 3 root root 4.0K Jun 22 13:01 containers  
drwx------ 5 root root 4.0K Jun 22 12:59 devicemapper  
drwx------ 3 root root 4.0K Apr 16 22:16 execdriver  
drwx------ 6 root root 4.0K Jul 13 11:32 graph  
drwx------ 2 root root 4.0K Jul 13 11:40 init  
-rw-r--r-- 1 root root 5.0K Jun 22 13:01 linkgraph.db  
-rw------- 1 root root  111 Jul 13 11:32 repositories-aufs  
-rw------- 1 root root  180 Apr 16 22:56 repositories-devicemapper  
drwx------ 2 root root 4.0K Apr 16 22:16 volumes<span style="letter-spacing: 0px; color: rgb(68, 68, 68); font-family: Baskerville;"> </span>  
复制代码

抛开其他的不管，现在只关心里面的aufs, graph目录和repositories-aufs文件（如果是devicemapper，则是devicemapper目录和repositories-devicemapper文件，graph为共用的目录）。
aufs目录的结构如下：

ubuntu@ubuntu:~$ sudo tree /var/lib/docker/aufs -L 3  
/var/lib/docker/aufs  
|-- diff  
|   `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d  
|       |-- bin  
|       |-- boot  
|       |-- dev  
|       |-- etc  
|       |-- home  
|       |-- lib  
|       |-- lib64  
|       |-- media  
|       |-- mnt  
|       |-- opt  
|       |-- proc  
|       |-- root  
|       |-- run  
|       |-- sbin  
|       |-- selinux  
|       |-- srv  
|       |-- sys  
|       |-- tmp  
|       |-- usr  
|       `-- var  
|-- layers  
|   `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d  
`-- mnt  
    `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d  
复制代码

layers目录和mnt目录里面目前还只有一个空目录，后面再来看。这里主要是diff目录下对应image的目录，image内部的所有文件都在这。
而graph目录的结构如下：

ubuntu@ubuntu:~$ sudo tree /var/lib/docker/graph -L 3  
/var/lib/docker/graph  
|-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d  
|   |-- json  
|   `-- layersize  
|-- 317c1f4475ad860bdcf0e529fd03f181b2c6b64e5b78358051efc94c8f728cd7  
|   |-- json  
|   `-- layersize  
|-- bcd86fdd0ba0b84f10f4539f99e8730958fc1028d35495f8dd11ae1913370e42  
|   |-- json  
|   `-- layersize  
`-- _tmp  
复制代码

这里只看212e这个image，另外两个image其实是devicemapper下的image，所有image的描述都放在graph目录下。json文件为image的描述文件，主要是创建这个image的container配置信息，layersize文件内为该image的大小。
最后看看repositories-aufs文件：

ubuntu@ubuntu:~$ sudo cat /var/lib/docker/repositories-aufs |python -m json.tool  
{  
    "Repositories": {  
        "ubuntu-12.04": {  
            "latest": "212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d"  
        }  
    }  
}  
复制代码

其实就是描述在aufs模式下有哪些image可用。
了解了image包括哪些东西，接下来再看看这些东西是怎么用的。

从Image到Container
当我们通过命令行docker run创建一个container并运行时，其中就经历了从image到container rootfs的转化，蓝图如下（省略了其他操作）：


上图横轴为执行流程，纵轴是对每个过程的解释。
因为docker run命令实际的执行主要分两步：create和start。在create过程中，主要是将image挂载到/var/lib/docker/aufs/mnt/:id-init目录 （:id为container id），并且取消掉对某些文件/文件夹的挂载，重新创建一份新的。这里的文件/文件夹主要为：

"/dev/pts":         "dir",  
"/dev/shm":         "dir",  
"/proc":            "dir",  
"/sys":             "dir",  
"/.dockerinit":     "file",  
"/.dockerenv":      "file",  
"/etc/resolv.conf": "file",  
"/etc/hosts":       "file",  
"/etc/hostname":    "file",  
"/dev/console":     "file",  
"/etc/mtab":        "/proc/mounts",  
复制代码

然后在start流程中，主要是生成container真正的rootfs目录/var/lib/docker/aufs/mnt/:id， 然后又将几个/host上的目录挂载到rootfs，主要是 /etc/hosts， /etc/hostname, /etc/resolv.conf等。
（其实这里没看明白为啥这几个文件要这样处理，也没看明白为什么要用:id-init目录隔一层。主要是对aufs不熟悉，后面再学习一下。）
现在来看看，当我们创建了一个container后，aufs目录有什么变化：

ubuntu@ubuntu:~$ sudo tree -L 3 /var/lib/docker/aufs  
[sudo] password for ubuntu:   
/var/lib/docker/aufs  
|-- diff  
|   |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167  
|   |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167-init  
|   |   |-- dev  
|   |   `-- etc  
|   `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d  
|       |-- bin  
|       |-- boot  
|       |-- dev  
|       |-- etc  
|       |-- home  
|       |-- lib  
|       |-- lib64  
|       |-- media  
|       |-- mnt  
|       |-- opt  
|       |-- proc  
|       |-- root  
|       |-- run  
|       |-- sbin  
|       |-- selinux  
|       |-- srv  
|       |-- sys  
|       |-- tmp  
|       |-- usr  
|       `-- var  
|-- layers  
|   |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167  
|   |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167-init  
|   `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d  
`-- mnt  
    |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167  
    |   |-- bin  
    |   |-- boot  
    |   |-- dev  
    |   |-- etc  
    |   |-- home  
    |   |-- lib  
    |   |-- lib64  
    |   |-- media  
    |   |-- mnt  
    |   |-- opt  
    |   |-- proc  
    |   |-- root  
    |   |-- run  
    |   |-- sbin  
    |   |-- selinux  
    |   |-- srv  
    |   |-- sys  
    |   |-- tmp  
    |   |-- usr  
    |   `-- var  
    |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167-init  
    `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d  
复制代码

这里创建了一个id为09b1的container，其中/aufs/mnt/09b1xxx 为rootfs, /aufs/layers目录下的文件，主要存储image的parents image id。

小结
Docker的image管理涉及到不少linux文件系统使用的细节，对linux文件系统掌握得不深的话，这部分就只能看个大概的流程。而且这只是其中的aufs部分，其他的devicemapper、btrfs、vfs部分的都不太一样。下来先补习一下linux文件系统知识，再回过头来看看docker的image管理，可能会稍微轻松些。