[系统运维] Nginx（5）：进程绑定CPU：从nginx源码里给你刨功能出来

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 系统运维 -> Nginx（5）：进程绑定CPU：从nginx源码里给你刨功能出来 -> 正文阅读

[系统运维]Nginx（5）：进程绑定CPU：从nginx源码里给你刨功能出来

希望打开这篇对你有所帮助。

文章目录

超线程技术 && 逻辑CPU

超线程技术(Hyper-Threading)：就是利用特殊的硬件指令，把两个逻辑内核(CPU core)模拟成两个物理芯片，
让单个处理器都能使用线程级并行计算，进而兼容多线程操作系统和软件，减少了CPU的闲置时间，提高的CPU的运行效率。
我们常听到的双核四线程/四核八线程指的就是支持超线程技术的CPU.

物理CPU：机器上安装的实际CPU，比如说你的主板上安装了一个8核CPU,那么物理CPU个数就是1个，所以物理CPU个数就是主板上安装的CPU个数。

逻辑CPU：一般情况，我们认为一颗CPU可以有多核，加上intel的超线程技术(HT)，可以在逻辑上再分一倍数量的CPU core出来；

逻辑CPU数量 = 物理CPU数量 x CPU cores x 2(如果支持并开启HT) //前提是CPU的型号一致，如果不一致只能一个一个的加起来，不用直接乘以物理CPU数量

Linux下查看CPU相关信息

CPU的信息主要都在/proc/cupinfo中：

# 查看物理CPU个数
cat /proc/cpuinfo|grep "physical id"|sort -u|wc -l

# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo|grep "cpu cores"|uniq

# 查看逻辑CPU的个数
cat /proc/cpuinfo|grep "processor"|wc -l

# 查看CPU的名称型号
cat /proc/cpuinfo|grep "name"|cut -f2 -d:|uniq

Linux查看某个进程运行在哪个逻辑CPU上

ps -eo pid,args,psr
#参数的含义：
pid  - 进程ID
args - 该进程执行时传入的命令行参数
psr  - 分配给进程的逻辑CPU

例子:
[~]# ps -eo pid,args,psr | grep nginx
9073 nginx: master process /usr/   1
9074 nginx: worker process         0
9075 nginx: worker process         1
9076 nginx: worker process         2
9077 nginx: worker process         3
13857 grep nginx                   3

为什么要绑定CPU?

在多核 CPU 结构中，每个核心有各自的L1、L2缓存，而L3缓存是共用的。如果一个进程在核心间来回切换，各个核心的缓存命中率就会受到影响。相反如果进程不管如何调度，都始终可以在一个核心上执行，那么其数据的L1、L2 缓存的命中率可以显著提高。

所以，将进程与 CPU 进行绑定可以提高 CPU 缓存的命中率，从而提高性能。而进程与 CPU 绑定被称为： CPU 亲和性。

将关键服务或进程绑定到一个核心上，其他进程避开该核心，可以保证关键服务（比如配置下发服务进程、监控进程等）顺畅执行没有卡顿。

这里还要注意以下：进程绑定CPU != 进程独占CPU，要独占，可以去设置，或者你给服务器上每个进程都安排好核，只要你核够多，CPU就不会切换进程，因为没有进程给它切换。

Linux 关于CPU亲和性

Linux中针对cpu亲和性特性提供的API如表所示,表中cpu_set_t是一个掩码数组，一共有1024位，每一位对应系统中的一个逻辑处理器，最低位对应系统中的第一个逻辑处理器，而最高位则对应系统中最后一个逻辑处理器。如在一个四核的服务器上，0001表示第一个第一个逻辑处理器，0010表示第二个逻辑处理器，以此类推，在实际编程过程中不应该直接修改位掩码，而是使用系统提供的操作宏。

在这里插入图片描述

需要注意的是，当进程设置了CPU亲和性后，进程就被绑定了，只能在那些对应的位被设置的逻辑处理器上运行，如果进程没有显示对CPU亲和性进行设置，则默认所有的位均被置位。另外，CPU亲和性具有遗传性，即设置了CPU亲和性的进程会将这些CPU亲和性传递给从他们派生的子进程，当然，子进程可以调用系统提供的接口，重新对CPU亲和性进行设置。

Nginx CPU亲和性

配置示例：

worker_processes     4;

worker_cpu_affinity 0001 0010 0100 1000;

此配置的含义为共启动4个worker进程，第一个进程绑定到系统的第一个逻辑处理器，第二个进程绑定到系统的第二个逻辑处理器，以此类推。另外，也可以将一个进程绑定到多个CPU, 示例如下：

worker_processes     2;

worker_cpu_affinity 0101 1010;

此示例表示启动两个worker进程，其中第一个进程绑定到cpu0/cpu2，第二个进程绑定到cpu1/cpu3。

ngx_set_cpu_affinity

void
ngx_setaffinity(uint64_t cpu_affinity, ngx_log_t *log)
{
    cpu_set_t   mask;
    ngx_uint_t  i;

    ngx_log_error(NGX_LOG_NOTICE, log, 0,
                  "sched_setaffinity(0x%08Xl)", cpu_affinity);

    CPU_ZERO(&mask);
    i = 0;
    do {
        if (cpu_affinity & 1) {
            CPU_SET(i, &mask);
        }
        i++;
        cpu_affinity >>= 1;
    } while (cpu_affinity);

    if (sched_setaffinity(0, sizeof(cpu_set_t), &mask) == -1) {
        ngx_log_error(NGX_LOG_ALERT, log, ngx_errno,
                      "sched_setaffinity() failed");
    }
}

函数的功能很简单，从地位到高位遍历cpu_affinity中的位值，如果某位为1，则将对应的CPU设置到CPU集mask中，最后调用sched_setaffinity设置本进程的CPU亲和性，同时，由于采用uint64_t存储转换后的结果，nginx最多只支持64 CPUs的CPU亲和性的配置。

我觉得吧，咱还是自己仿写一个吧，它这里面的参数是需要读配置文件的，咱没有剖析那个源代码。。。

尴尬。。。

仿写一份

将进程绑定到2号CPU上运行

#define _GNU_SOURCE
#include <sched.h>
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <errno.h>

int main(int argc, char **argv)
{
    int cpus = 0;
    int  i = 0;
    cpu_set_t mask;
    cpu_set_t get;

    cpus = sysconf(_SC_NPROCESSORS_ONLN);
    printf("cpus: %d\n", cpus);

    CPU_ZERO(&mask);    /* 初始化set集，将set置为空*/
    /*将本进程绑定到CPU2上*/
    CPU_SET(2, &mask);
    if (sched_setaffinity(0, sizeof(mask), &mask) == -1) {
        printf("Set CPU affinity failue, ERROR:%s\n", strerror(errno));
        return -1; 
    }   

    while(1)
    {
    }
       
    return 0;
}

taskset命令

# 命令行形式
taskset [options] mask command [arg]...taskset [options] -p [mask] pidPARAMETER　　　　
mask : cpu亲和性,当没有-c选项时, 其值前无论有没有0x标记都是16进制的,当有-c选项时,其值是十进制的.　　　　
command : 命令或者可执行程序　　　　
arg : command的参数　　　　
pid : 进程ID,可以通过ps/top/pidof等命令获取

OPTIONS　　　　
       -a, --all-tasks (旧版本中没有这个选项)　　　　　　　　
这个选项涉及到了linux中TID的概念,他会将一个进程中所有的TID都执行一次CPU亲和性设置.　　　　　　　　
TID就是Thread ID,他和POSIX中pthread_t表示的线程ID完全不是同一个东西.　　　　　　　　
Linux中的POSIX线程库实现的线程其实也是一个进程(LWP),这个TID就是这个线程的真实PID.
       
       -p, --pid
              操作已存在的PID,而不是加载一个新的程序
       -c, --cpu-list
              声明CPU的亲和力使用数字表示而不是用位掩码表示. 例如 0,5,7,9-11.
       -h, --help
              display usage information and exit
       -V, --version
              output version information and exit
  USAGE
　　　　1) 使用指定的CPU亲和性运行一个新程序
　　　　　　taskset [-c] mask command [arg]...
　　　　　　　　举例:使用CPU0运行ls命令显示/etc/init.d下的所有内容 
　　　　　　　　　　taskset -c 0 ls -al /etc/init.d/
　　　　2) 显示已经运行的进程的CPU亲和性
　　　　　　taskset -p pid
　　　　　　　　举例:查看init进程(PID=1)的CPU亲和性
　　　　　　　　　　taskset -p 1
　　　　3) 改变已经运行进程的CPU亲和力
　　　　    taskset -p[c] mask pid
　　　　　　　　举例:打开2个终端,在第一个终端运行top命令,第二个终端中
　　　　　　　　　　首先运行:[~]# ps -eo pid,args,psr | grep top #获取top命令的pid和其所运行的CPU号
　　　　　　　　　　其次运行:[~]# taskset -cp 新的CPU号 pid       #更改top命令运行的CPU号
　　　　　　　　　　最后运行:[~]# ps -eo pid,args,psr | grep top #查看是否更改成功
  PERMISSIONS        
  	一个用户要设定一个进程的CPU亲和性,如果目标进程是该用户的,则可以设置,如果是其他用户的,则会设置失败,提示 Operation not permitted.当然root用户没有任何限制.
        任何用户都可以获取任意一个进程的CPU亲和性.