善用 nsenter 命令，更好地 debug 容器网络

2020-10-07     tech docker network troubleshooting 14 mins 1 图 4968 字

https://staight.github.io/2019/09/23/nsenter%E5%91%BD%E4%BB%A4%E7%AE%80%E4%BB%8B/

在做容器 debug 的时候，经常出现容器里没有某个命令的尴尬局面。比如ping，telnet等常用命令。如何才能快速debug网络问题，又不需要安装软件呢？

那必须是nsenter命令了。 nsenter是一个可以在指定进程的命令空间下运行指定程序的命令，它最典型的用途就是进入容器的网络命令空间。具体可以参考官方文档：https://github.com/jpetazzo/nsenter.

nsenter 和 docker exec 之间的区别在于，nsenter不进入cgroup，因此规避了资源限制。

此外，nsenter也可以进入mnt, uts, ipc, pid, user命令空间，以及指定根目录和工作目录。

一、安装

我所在的系统默认装有 nsenter 命令。如果没有，按照官方文档如下安装：

$ wget https://www.kernel.org/pub/linux/utils/util-linux/v2.24/util-linux-2.24.tar.gz
$ tar -xzvf util-linux-2.24.tar.gz
$ cd util-linux-2.24/
$ ./configure --without-ncurses
$ make nsenter
$ sudo cp nsenter /usr/local/bin

然后可以查看nsenter自带的帮助查看命令使用方式：

nsenter -h

Usage:
nsenter [options] [<program> [<argument>...]]
 
Run a program with namespaces of other processes.
 
Options:
-a, --all enter all namespaces
-t, --target <pid> target process to get namespaces from
-m, --mount[=<file>] enter mount namespace
-u, --uts[=<file>] enter UTS namespace (hostname etc)
-i, --ipc[=<file>] enter System V IPC namespace
-n, --net[=<file>] enter network namespace
-p, --pid[=<file>] enter pid namespace
-C, --cgroup[=<file>] enter cgroup namespace
-U, --user[=<file>] enter user namespace
-S, --setuid <uid> set uid in entered namespace
-G, --setgid <gid> set gid in entered namespace
--preserve-credentials do not touch uids or gids
-r, --root[=<dir>] set the root directory
-w, --wd[=<dir>] set the working directory
-F, --no-fork do not fork before exec'ing <program>
-Z, --follow-context set SELinux context according to --target PID

二、 用法

首先，找出容器的PID：

PID=$(docker inspect --format {{.State.Pid} <容器名或id>)

然后：

nsenter --target $PID --mount --uts --ipc --net --pid -n /bin/sh

即可进入容器中，这个命令和 docker exec 命令效果几乎等同。当然也可以合并成一个命令。

比如进入 nginx 容器内，因为原本是没有telnet命令的，为了使用telnet命令，上面命令中的 –mount 参数不能带上，否则进去之后就找不到这个命令啦。最终使用的命令如下：

nsenter -t $(docker inspect --format '{{.State.Pid}}' nginx) -n /bin/bash

实际在这里我运行了宿主机的 bash 程序，获得了nginx容器的pid，然后进入该pid进程的network namespace，此时可以统计一下容器内有哪些网络端口：

image-20201010232030433

三、原理说明

以下参考：https://staight.github.io/2019/09/23/nsenter命令简介/

namespace

namespace是Linux中一些进程的属性的作用域，使用命名空间，可以隔离不同的进程。

Linux在不断的添加命名空间，目前有：

  • mount：挂载命名空间，使进程有一个独立的挂载文件系统，始于Linux 2.4.19
  • ipc：ipc命名空间，使进程有一个独立的ipc，包括消息队列，共享内存和信号量，始于Linux 2.6.19
  • uts：uts命名空间，使进程有一个独立的hostname和domainname，始于Linux 2.6.19
  • net：network命令空间，使进程有一个独立的网络栈，始于Linux 2.6.24
  • pid：pid命名空间，使进程有一个独立的pid空间，始于Linux 2.6.24
  • user：user命名空间，是进程有一个独立的user空间，始于Linux 2.6.23，结束于Linux 3.8
  • cgroup：cgroup命名空间，使进程有一个独立的cgroup控制组，始于Linux 4.6

Linux的每个进程都具有命名空间，可以在/proc/PID/ns目录中看到命名空间的文件描述符。

[root@staight ns]# pwd
/proc/1/ns
[root@staight ns]# ll
total 0
lrwxrwxrwx 1 root root 0 Sep 23 19:53 ipc -> ipc:[4026531839]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 mnt -> mnt:[4026531840]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 net -> net:[4026531956]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 pid -> pid:[4026531836]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 uts -> uts:[4026531838]

clone

clone是Linux的系统调用函数，用于创建一个新的进程。

clone和fork比较类似，但更为精细化，比如说使用clone创建出的子进程可以共享父进程的虚拟地址空间，文件描述符表，信号处理表等等。不过这里要强调的是，clone函数还能为新进程指定命名空间。

clone的语法：

 #define _GNU_SOURCE
#include <sched.h>

int clone(int (*fn)(void *), void *child_stack,
        int flags, void *arg, ...
        /* pid_t *ptid, void *newtls, pid_t *ctid */ );

其中flags即可指定命名空间，包括：

  • CLONE_NEWCGROUP：cgroup
  • CLONE_NEWIPC：ipc
  • CLONE_NEWNET：net
  • CLONE_NEWNS：mount
  • CLONE_NEWPID：pid
  • CLONE_NEWUSER：user
  • CLONE_NEWUTS：uts

使用示例：

pid = clone(childFunc, stackTop, CLONE_NEWUTS | SIGCHLD, argv[1]);

setns

clone用于创建新的命令空间，而setns则用来让当前线程（单线程即进程）加入一个命名空间。

语法：

#define _GNU_SOURCE             /* See feature_test_macros(7) */
#include <sched.h>

int setns(int fd, int nstype);

fd参数是一个指向一个命名空间的文件描述符，位于/proc/PID/ns/目录。

nstype指定了允许进入的命名空间，一般可设置为0，表示允许进入所有命名空间。

因此，往往该函数的用法为：

  1. 调用setns函数：指定该线程的命名空间。
  2. 调用execvp函数：执行指定路径的程序，创建子进程并替换父进程。

这样，就可以指定命名空间运行新的程序了。

代码示例：

#define _GNU_SOURCE
#include <fcntl.h>
#include <sched.h>
#include <unistd.h>
#include <stdlib.h>
#include <stdio.h>

#define errExit(msg)    do { perror(msg); exit(EXIT_FAILURE); \
                        } while (0)

int
main(int argc, char *argv[])
{
    int fd;

    if (argc < 3) {
        fprintf(stderr, "%s /proc/PID/ns/FILE cmd args...\n", argv[0]);
        exit(EXIT_FAILURE);
    }

    fd = open(argv[1], O_RDONLY); /* Get file descriptor for namespace */
    if (fd == -1)
        errExit("open");

    if (setns(fd, 0) == -1)       /* Join that namespace */
        errExit("setns");

    execvp(argv[2], &argv[2]);    /* Execute a command in namespace */
    errExit("execvp");
}

使用示例：

./ns_exec /proc/3550/ns/uts /bin/bash

nsenter

那么，最后就是nsenter了，nsenter相当于在setns的示例程序之上做了一层封装，使我们无需指定命名空间的文件描述符，而是指定进程号即可。

指定进程号 PID 以及需要进入的命名空间后，nsenter会帮我们找到对应的命名空间文件描述符/proc/PID/ns/FD，然后使用该命名空间运行新的程序。

参考资料

创建自定义 iptables 链 docker，containerd，runc，docker-shim 之间的关系