[系统运维]epoll实现多路IO转接

epoll是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率，因为它会复用文件描述符集合来传递结果而不用迫使开发者每次等待事件之前都必须重新准备要被侦听的文件描述符集合，另一点原因就是获取事件的时候，它无须遍历整个被侦听的描述符集，只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。目前epell是linux大规模并发网络程序中的热门首选模型。

epoll除了提供select/poll那种IO事件的电平触发（Level Triggered）外，还提供了边沿触发（Edge Triggered），这就使得用户空间程序有可能缓存IO状态，减epoll_wait/epoll_pwait的调用，提高应用程序效率。

优点：

1. 自带数组结构，可以将监听事件集合和返回事件几何分离
2. 拓展监听上限，超出1024限制

缺点：

1. 不能跨平台
2. 无法直接定位满足监听事件的文件描述符，编码难度大

查看一个进程可以打开的socket描述符上限

cat /proc/sys/fs/file-max
或
ulimit -a

如有需要，可以通过修改配置文件的方式修改默认限值1024

sudo vi /etc/security/limits.conf

在文件尾部写入以下配置,soft软限制，hard硬限制。如下图所示（注销用户，使其生效）

* soft nofile 65536		//设置默认值， 可以直接借助命令修改
* hard nofile 100000	//命令修改上限

一、API

1. epoll_create

功能：创建一棵监听红黑树

int epoll_create(int size);	

size：创建的红黑树的监听节点数量。（仅供内核参考。不足内核会动态扩展）
返回值：指向新创建的红黑树的根节点的文件描述符epfd 失败: -1 errno

2. epoll_ctl

功能：操作监听红黑树，对红黑数进行添加或修改或删除一个fd的监听事件（读、写、异常事件等）

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);	

epfd：epoll_create 函数的返回值： epfd
op：对该监听红黑数所做的操作

• EPOLL_CTL_ADD 添加fd到 监听红黑树
• EPOLL_CTL_MOD 修改fd在 监听红黑树上的监听事件。
• EPOLL_CTL_DEL 将一个fd 从监听红黑树上摘下（取消监听）

fd：待监听的fd

event： 本质 struct epoll_event 结构体地址（设置events和data.fd）
成员 events：EPOLLIN(读事件) / EPOLLOUT（写事件） / EPOLLERR（异常事件）

struct epoll_event {
		__uint32_t events; /* Epoll events */
		epoll_data_t data; /* User data variable */
};
typedef union epoll_data {
		int  fd;	 //对应监听事件的 fd
		void *ptr;
		uint32_t u32;
		uint64_t u64;
} epoll_data_t;

返回值：成功 0； 失败： -1 errno

3. epoll_wait

功能：等待所监控文件描述符上有事件的产生（产生的事件被设置到结构数组events中）

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout); 	

epfd：epoll_create 函数的返回值。 epfd
events：传出参数，（数组，大小常设1024）， 事件产生满足监听条件的哪些 fd 结构体
maxevents：数组元素的总个数。 1024
timeout：-1: 阻塞 0:不阻塞 >0: 超时时间 （毫秒）
返回值：
> 0: 满足监听的 总个数。 可以用作循环上限
0： 没有fd满足监听事件
-1：失败。 errno

二、事件模型

1. 水平触发(默认模式)

缓冲区剩余未读尽的数据会导致 epoll_wait 返回。

struct epoll_event event;
event.events = EPOLLIN; //默认水平触发

2. 边沿触发

缓冲区剩余未读尽的数据不会导致 epoll_wait 返回。 新的事件满足才会触发。
结论：epoll 的 ET模式，高效模式，但是只支持 非阻塞模式（忙轮询）

struct epoll_event event;
event.events = EPOLLIN | EPOLLET; //设置水平触发
epoll_ctl(epfd, EPOLL_CTL_ADD, cfd， &event);
	
int flag = fcntl(cfd, F_GETFL);	//设置非阻塞
flag |= O_NONBLOCK;
fcntl(cfd, F_SETFL, flag);

三、demo

epoll实现多路IO转接

#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <errno.h>
#include <ctype.h>
#include "cs_dev.h"

#define MAXLINE   8192
#define SERV_PORT 8888
#define OPEN_MAX  5000

int main(int argc, char *argv[])
{
    int nread, listenfd, connfd, sockfd;
    ssize_t nready, epfd, ret;
    char buf[MAXLINE], str[INET_ADDRSTRLEN];
    socklen_t clilen;
    struct sockaddr_in cliaddr, servaddr;

    listenfd = Socket(AF_INET, SOCK_STREAM, 0);
    Setsockopt(listenfd);      //端口复用
    servaddr.sin_family = AF_INET;
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
    servaddr.sin_port = htons(SERV_PORT);
    Bind(listenfd, (struct sockaddr *) &servaddr, sizeof(servaddr));
    Listen(listenfd, 20);

    epfd = epoll_create(OPEN_MAX);               //创建epoll模型, epfd指向红黑树根节点
    if (epfd == -1)
        perr_exit("epoll_create error");

    struct epoll_event temp, ep[OPEN_MAX];       //temp: epoll_ctl参数  ep[] : epoll_wait参数
    temp.events = EPOLLIN; 
    temp.data.fd = listenfd;           //指定lfd的监听时间为"读"

    ret = epoll_ctl(epfd, EPOLL_CTL_ADD, listenfd, &temp);    //将lfd及对应的结构体设置到树上,epfd可找到该树
    if (ret == -1)
        perr_exit("epoll_ctl error");

    for ( ; ; ) {
        /*epoll为server阻塞监听事件, ep为struct epoll_event类型数组, OPEN_MAX为数组容量, -1表永久阻塞*/
        nready = epoll_wait(epfd, ep, OPEN_MAX, -1); 
        if (nready == -1)
            perr_exit("epoll_wait error");

        for (int i = 0; i < nready; i++) {
            if (!(ep[i].events & EPOLLIN))      //如果不是"读"事件, 继续循环
                continue;

            if (ep[i].data.fd == listenfd) {    //判断满足事件的fd是不是lfd            
                clilen = sizeof(cliaddr);
                connfd = Accept(listenfd, (struct sockaddr *)&cliaddr, &clilen);    //接受链接
                printf("received from %s at PORT %d\n", 
                        inet_ntop(AF_INET, &cliaddr.sin_addr, str, sizeof(str)), 
                        ntohs(cliaddr.sin_port));

                temp.events = EPOLLIN; temp.data.fd = connfd;
                ret = epoll_ctl(epfd, EPOLL_CTL_ADD, connfd, &temp);      //加入红黑树
                if (ret == -1)
                    perr_exit("epoll_ctl error");

            } else {                                                    //不是lfd, 
                sockfd = ep[i].data.fd;
                nread = Read(sockfd, buf, MAXLINE);

                if (nread == 0) {                                           //读到0,说明客户端关闭链接
                    ret = epoll_ctl(epfd, EPOLL_CTL_DEL, sockfd, NULL);  //将该文件描述符从红黑树摘除
                    if (ret == -1)
                        perr_exit("epoll_ctl error");
                    Close(sockfd);                                      //关闭与该客户端的链接
                    printf("IP:%s  PORT: %d  QUIT...\n", 
                        inet_ntop(AF_INET, &cliaddr.sin_addr, str, sizeof(str)), 
                        ntohs(cliaddr.sin_port));
                } else if (nread < 0) {                                     //出错
                    perror("read n < 0 error: ");
                    ret = epoll_ctl(epfd, EPOLL_CTL_DEL, sockfd, NULL);  //摘除节点
                    Close(sockfd);
                } else {                                                //实际读到了字节数
                    for (int i = 0; i < nread; i++)
                        buf[i] = toupper(buf[i]);                       //转大写,写回给客户端

                    Write(STDOUT_FILENO, buf, nread);
                    Writen(sockfd, buf, nread);
                }
            }
        }
    }

    Close(listenfd);
    Close(epfd);

    return 0;
}