一、引言
docker容器已经被广泛应用到各大公司线上、测试等各种环境，在宿主机如何识别出docker进程、docker网络连接就成为一个困扰的问题，如果容器内部署相同的crond或ssh服务，在宿主机上执行ps命令发现一大堆相同名字进程，根本无法区分属于宿主机还是具体某个container；不过docker提供docker top container_id命令能看到具体某个container在宿主机进程pid相关信息，但没有办法直接列出全部container进程。同时在网络连接方面，在宿主机执行netstat命令, 看不到container连接状态。
本文开发的docker_util工具能够在宿主机上全部审计和展示当前docker容器全部存活进程与网络连接信息。在上文通过Linux连接器能够实时审计宿主机进程，有兴趣可以看下：基于Linux连接器的审计进程事件实现方案。
二、测试环境
在一台centos（ip 10.89.93.11)部署redis和tomcat两个container，其中reids开放默认6379， tomcat 开放默认80,8080,8085，同时宿主机部署nginx服务。
root@mytest:/home/zhouqiaozhouqiao$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
51ec548386ef docker.io/redis:latest “docker-entrypoint…” 3 days ago Up 3 days 0.0.0.0:6379->6379/tcp relaxed_bell
23f07e13e192 docker.io/tomcat “catalina.sh run” 7 weeks ago Up 7 weeks 8080/tcp, 0.0.0.0:8089->80/tcp hungry_bassi
在另一台centos(ip 10.89.93.12)，使用redis-cli连接redis-server，构造一条真实连接。
root@mytest:/home/zhouqiaozhouqiao$ redis-cli -h 10.89.93.11
10.89.93.11:6379>
三、docker进程审计
docker进程是通过pid namespace技术，在不同pid namespace，进程pid是独立的，但docker是共享主机内核，在宿主机上都有相应的进程pid映射，所以在宿主机能够获取全部docker进程和宿主机进程信息。
ps命令能够扫描出全部宿主机进程, 遍历/proc/目录，结合进程目录下exe,cmdline等信息输出，但没有办法区分出docker进程。
下面分析docker进程与宿主机进程区分方式。
3.1 进程区分方式
对比宿主机进程nginx与docker进程redis各进程cgroup(/proc/pid/cgroup)信息文件，都协带container id信息。
非docker进程（nginx进程 pid:22982)
root@mytest:/home/zhouqiaozhouqiao$ cat /proc/22982/cgroup
10:freezer:/
9:perf_event:/
8:memory:/user.slice
7:cpuset:/
6:devices:/user.slice
5:net_cls:/
4:blkio:/user.slice
3:cpuacct,cpu:/user.slice
2:hugetlb:/
1:name=systemd:/user.slice/user-85001637.slice/session-3822015.scope
docker进程（redis进程 pid:17147)
root@mytest:/home/zhouqiaozhouqiao$ cat /proc/17147/cgroup
10:freezer:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
9:perf_event:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
8:memory:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
7:cpuset:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
6:devices:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
5:net_cls:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
4:blkio:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
3:cpuacct,cpu:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
2:hugetlb:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
1:name=systemd:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
可以看到两类进程cgroup信息文件有明显不同，其中docker进程明显多出51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14，通过docker inspect可以确定这是redis container的id。
3.2 cgroup文件验证
对于常用container，有systemd Docker和Non-systemd Docker两种管理方式，都可以验证出/proc/pid/cgroup文件都协带64位container id信息。
// systemd Docker
container id为51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14
8:memory:/system.slice/docker-51ec548386efd801fe28b3ce6b1905305841c997a3f7325ae6961a2cc7e88d14.scope
// Non-systemd Docker
container id为de630f22746b9c06c412858f26ca286c6cdfed086d3b302998aa403d9dcedc42
8:memory:/docker/de630f22746b9c06c412858f26ca286c6cdfed086d3b302998aa403d9dcedc42
//k8s
container id为9170559b8aadd07d99978d9460cf8d1c71552f3c64fefc7e9906ab3fb7e18f69
4:memory:/kubepods/burstable/pod5f399c1a-f9fc-11e8-bf65-246e9659ebfc/9170559b8aadd07d99978d9460cf8d1c71552f3c64fefc7e9906ab3fb7e18f69
cgroup文件信息可以作为判断进程是否属于宿主机进程还是某个container.
3.3 docker进程审计
开发docker_util工具审计docker进程首先是遍历/proc目录扫描，识别出进程pid号，再读取进程/proc/pid/cgroup文件信息确定属于宿主机进程或某个docker container进程。
下面是执行docker_util获取的结果，输出pid 17147和40618的进程信息，与部署的redis,tomcat docker一致。
Pid:17147, Exe:/usr/local/bin/redis-server, Status:LISTEN, Laddr:Ip:0.0.0.0,Port:6379, Raddr:Ip:0.0.0.0,Port:0
Pid:17147, Exe:/usr/local/bin/redis-server, Status:ESTABLISHED, Laddr:Ip:172.17.0.7,Port:6379, Raddr:Ip:10.89.93.12,Port:59358
Pid:40618, Exe:/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java, Status:LISTEN, Laddr:Ip:127.0.0.1,Port:8005, Raddr:Ip:0.0.0.0,Port:0
Pid:40618, Exe:/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java, Status:LISTEN, Laddr:Ip:0.0.0.0,Port:8009, Raddr:Ip:0.0.0.0,Port:0
Pid:40618, Exe:/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java, Status:LISTEN, Laddr:Ip:0.0.0.0,Port:8080, Raddr:Ip:0.0.0.0,Port:0
四、docker网络连接审计
4.1 netstat失效原因
常用的获取主机网络连接命令netstat为什么不能扫描出docker网络连接，分析源码，netstat的实现原理，主要包括如下三个步骤：
1)遍历进程fd(/proc/pid/fd)目录获取文件类型为socket的inode号(inode->pid)
2)遍历/proc/net/tcp和/proc/net/udp 网络状态文件，按行解析网络连接信息（inode->ip port四元组、连接状态)
3)通过网络连接中的inode信息与第一步获取的inode关联，将进程与网络连接对应起来
该原理与获取linux进程级网络流量统计实现一致，有兴趣可以看下：一种linux进程网络流量统计方法和实现。
回到正题，那是（/proc/pid/fd,/proc/net/tcp)这两文件中是哪个信息缺失docker进程网络连接呢？
查看docker redis进程(/proc/17147/fd) fd目录, 可以看到socket有两个inode，分别是 1927741637, 1927719349
root@mytest:/home/zhouqiaozhouqiao$ ls -l /proc/17147/fd
total 0
lr-x------ 1 systemd-bus-proxy ssh_keys 64 Dec 14 10:05 0 -> pipe:[1927741605]
l-wx------ 1 systemd-bus-proxy ssh_keys 64 Dec 14 10:05 1 -> pipe:[1927741606]
l-wx------ 1 systemd-bus-proxy ssh_keys 64 Dec 14 10:05 2 -> pipe:[1927741607]
lr-x------ 1 systemd-bus-proxy ssh_keys 64 Dec 14 10:05 3 -> pipe:[1927741635]
l-wx------ 1 systemd-bus-proxy ssh_keys 64 Dec 14 10:05 4 -> pipe:[1927741635]
lrwx------ 1 systemd-bus-proxy ssh_keys 64 Dec 14 10:05 5 -> anon_inode:[eventpoll]
lrwx------ 1 systemd-bus-proxy ssh_keys 64 Dec 14 10:05 6 -> socket:[1927741637]
lrwx------ 1 systemd-bus-proxy ssh_keys 64 Dec 14 10:05 7 -> socket:[1927719349]
再看网络状态文件cat /proc/net/tcp |grep 1927741637 或 cat /proc/net/tcp |grep 1927719349, 都没有检索出docker 进程inode号，也就是/proc/net/tcp没有docker进程连接信息。
cat /proc/net/tcp |grep 1927741637
cat /proc/net/tcp |grep 1927719349
查看内核代码, 可以分析出/proc/net/tcp只会输出宿主机net namespace的进程连接, 也就是说网络状态文件 /proc/net/tcp与某宿主机进程（/proc/net/pid/tcp)内容是一致的。
再次对比宿主机nginx进程ns信息,与redis ns信息，可以发现两者ns namespace都完全不一样，与内核代码解释一致。
//宿主机进程ns
root@mytest:/home/zhouqiaozhouqiao$ ls -l /proc/22982/ns
total 0
lrwxrwxrwx 1 root root 0 Nov 30 14:25 ipc -> ipc:[4026531839]
lrwxrwxrwx 1 root root 0 Nov 30 14:25 mnt -> mnt:[4026531840]
lrwxrwxrwx 1 root root 0 Nov 30 14:25 net -> net:[4026531956]
lrwxrwxrwx 1 root root 0 Nov 30 14:25 pid -> pid:[4026531836]
lrwxrwxrwx 1 root root 0 Nov 30 14:25 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 Nov 30 14:25 uts -> uts:[4026531838]
//docker进程ns
root@mytest:/home/zhouqiaozhouqiao$ ls -l /proc/17147/ns
total 0
lrwxrwxrwx 1 systemd-bus-proxy ssh_keys 0 Dec 14 10:05 ipc -> ipc:[4026533327]
lrwxrwxrwx 1 systemd-bus-proxy ssh_keys 0 Dec 14 10:05 mnt -> mnt:[4026533325]
lrwxrwxrwx 1 systemd-bus-proxy ssh_keys 0 Dec 14 10:05 net -> net:[4026533330]
lrwxrwxrwx 1 systemd-bus-proxy ssh_keys 0 Dec 14 10:05 pid -> pid:[4026533328]
lrwxrwxrwx 1 systemd-bus-proxy ssh_keys 0 Dec 14 10:05 user -> user:[4026531837]
lrwxrwxrwx 1 systemd-bus-proxy ssh_keys 0 Dec 14 10:05 uts -> uts:[4026533326]
netstat 无法采集到docker网络连接根本原因是docker进程与宿主机进程namespace不一致，而网络状态文件/proc/net/tcp只有宿主机进程网络连接信息，没有docker进程网络连接信息。
4.2 docker网络连接审计
docker进程的网络连接信息全部在/proc/pid/net/tcp。
//redis tcp
root@mytest:/home/zhouqiaozhouqiao$ cat /proc/17147/net/tcp
sl local_address rem_address st tx_queue rx_queue tr tm->when retrnsmt uid timeout inode
0: 00000000:18EB 00000000:0000 0A 00000000:00000000 00:00000000 00000000 999 0 1927741637 1 ffff882024a73c00 100 0 0 10 0
1: 070011AC:18EB 0C5D590A:E7DE 01 00000000:00000000 02:00000690 00000000 999 0 1927719349 2 ffff882014e41680 20 4 1 22 21
可以看到inode号1927741637， 1927719349，与/proc/17147/fd目录socket连接inode号一致。
开发docker_util工具审计docker网络连接，在netstat原理上增加docker进程判断和增加进程网络状态文件（/proc/pid/net/tcp等)扫描。
1)遍历进程fd(/proc/pid/fd)目录获取文件类型为socket的inode号(inode->pid)
2)判断进程是docker进程，遍历/proc/pid/net/tcp和/proc/pid/net/udp 网络状态文件，按行解析网络连接信息（inode->ip port四元组、连接状态)
3)通过网络连接中的inode信息与第一步获取的inode关联，将进程与网络连接对应起来
下面是执行docker_util获取的结果，输出pid 17147 redis进程网络连接结果:
Pid:17147, Exe:/usr/local/bin/redis-server, Status:LISTEN, Laddr:Ip:0.0.0.0,Port:6379, Raddr:Ip:0.0.0.0,Port:0
Pid:17147, Exe:/usr/local/bin/redis-server, Status:ESTABLISHED, Laddr:Ip:172.17.0.7,Port:6379, Raddr:Ip:10.89.93.12,Port:59358
可以看出redis有两条连接，inode号为1927741637号是reids-server LINSTEN连接，1927719349号是10.89.93.12客户连接redis-server的tcp连接，源端口是59358。
五、结论
通过进程cgroup（/proc/pid/cgroup）文件信息和进程网络状态（/proc/pid/net/tcp或udp)等信息结合能够在Linux宿主机上审计docker容器进程和网络连接。
not about
http://www.45zq.cn/portal/article/index/id/38.html