350行C代码实现epoll reactor模型

企业开发 2023-12-17 05:10:40 阅读次数: 0

有了epoll为什么还需要reactor？

  • 响应快，不必为单个同步事件所阻塞，虽然 Reactor 本身依然是同步的；
  • 编程相对简单，可以最大程度的避免复杂的多线程及同步问题，并且避免了多线程/进 程的切换开销；
  • 可扩展性，可以方便的通过增加 Reactor 实例个数来充分利用 CPU 资源；
  • 可复用性，reactor 框架本身与具体事件处理逻辑无关，具有很高的复用性；

reactor的思想：将对IO的处理转化为对事件的处理。

reactor包括5个部分

  1. reactor管理器
    1. 注册和删除事件，运行事件循环，分发事件到已注册的回调函数上
  2. 事件解复用器
    1. epoll等各个平台的IO多路复用API的封装
  3. fd
  4. 事件处理器接口
  5. 具体的事件处理器
    1. 由用户实现事件处理器接口

reactor封装

  • reactor_init
  • reactor_run
  • reactor_free
  • accept_cb
  • recv_cb
  • send_cb

accept_cb里可以实现IP限制，负载均衡

reactor注意事项

  • 1个fd对应一个user_data，epoll管理所有的IO
  • ET模式收发数据要循环，一次recv BUF_LEN数据，直到返回-1或recv_len等于BUF_LEN。send返回长度如果小于指定大小，则需要注册写事件
  • 为了避免读写数据时阻塞，socket需要设置成非阻塞的
  • socket是否阻塞影响的API：send,recv,connect,accpet

reactor模型

单reactor

多reactor（one loop one thread）（可以有一个reactor专门监听连接）

多进程reactor：多个子进程监听同一个端口，通过共享内存决定哪个进程来accept，nginx在用户态解决惊群问题

thread per request

单线程模型

多线程模型（单reactor）

多线程模型（多reactor）

单线程reactor实现

一个数据块有1024个fd，数据块之间用链表连接。每次fd超过上限时分配1个数据块然后添加到链表尾部。

 代码实现：

下面reactor代码是在180行C代码实现epoll echo server的基础上修改。

#include <sys/epoll.h>
#include <sys/socket.h>
#include <stdio.h>
#include <netinet/in.h>     // sockaddr_in
#include <netinet/ip.h>
#include <arpa/inet.h>      // inet_addr
#include <errno.h>
#include <string.h>
#include <stdlib.h>         // atoi
#include <unistd.h>
#include <fcntl.h>          // fcntl

#define MAX_EPOLL_EVENT 1024
#define BUF_SIZE        1024

#define NO_EVENT        0
#define ACCEPT_EVENT    1
#define READ_EVENT      2
#define WRITE_EVENT     3

#define exitif(s, err_str) do { \
    if(s) { \
        printf("%s: %s(code:%d)\n", err_str, strerror(errno), errno); \
    } \
} while(0);

typedef int (*EVENT_CALLBACK)(int fd, int events, void* args);

typedef struct _user_data {
    int             fd;
    uint32_t        events;
    void*           args;

    EVENT_CALLBACK  accept_cb;
    EVENT_CALLBACK  read_cb;
    EVENT_CALLBACK  write_cb;

    char            send_buf[BUF_SIZE];
    char            recv_buf[BUF_SIZE];
    int             send_buf_len;
    int             recv_buf_len;
} user_data;

// 1个用户数据块有1024个用户数据
typedef struct _user_data_block {
    struct _user_data_block*    next;
    user_data*                  user_data_array;
} user_data_block;

typedef struct _reactor {
    short               listenfd;
    int                 epfd;
    user_data_block*    head;   // 用户数据块链表，head指向第1个数据快
} reactor;


void reactor_set_event(/* reactor* r, */ int fd, int event_type, void* args);
void reactor_del_event(int fd, int event_type, void* args);

int set_fd_nonblock(int fd) {
    return fcntl(fd, F_SETFL, fcntl(fd, F_GETFL) | O_NONBLOCK);
}

int init_server(short port) {
    int fd = socket(AF_INET, SOCK_STREAM, 0);
    exitif(-1 == fd, "socket");

    int ret = set_fd_nonblock(fd);
    exitif(-1 == ret, "set_fd_nonblock");

    struct sockaddr_in local_addr;
    int addr_len = sizeof(struct sockaddr_in);
    memset(&local_addr, 0, addr_len);
    local_addr.sin_family = AF_INET;
    local_addr.sin_addr.s_addr = htonl(INADDR_ANY);
    local_addr.sin_port = htons(port);
    ret = bind(fd, (struct sockaddr *)&local_addr, addr_len);
    exitif(-1 == ret, "bind");

    ret = listen(fd, 5);
    exitif(-1 == ret, "listen");

    return fd;
}

// 获取第fd / MAX_EPOLL_EVENT个数据块的第fd % MAX_EPOLL_EVENT个user_data
user_data* reactor_user_data(reactor* r, int fd) {
    if (!r || !r->head) {
        return NULL;
    }
    user_data_block* block = r->head;
    user_data_block* prev_block = NULL;
    int index = fd / MAX_EPOLL_EVENT;
    while (index >= 0) {
        if (!block) {
            block = calloc(sizeof(user_data_block), 1);
            block->next = NULL;
            block->user_data_array = calloc(sizeof(user_data), MAX_EPOLL_EVENT);
            if (NULL == block->user_data_array) {
                free(block);
                block = NULL;
                close(r->epfd);
                exitif(1, "NULL == block->user_data_array");
            }

            if (prev_block) {
                prev_block->next = block;
            }
        }
        prev_block = block;
        block = block->next;
        --index;
    }

    return &prev_block->user_data_array[fd % MAX_EPOLL_EVENT];
}

// 没有returngcc为什么没有报错？
reactor* reactor_create() {
    reactor* r = calloc(sizeof(reactor), 1);

    r->epfd = epoll_create(1);
    r->head = calloc(sizeof(user_data_block), 1);
    if (NULL == r->head) {
        close(r->epfd);
        exitif(1, "NULL == r->head");
    }
    r->head->next = NULL;
    r->head->user_data_array = calloc(sizeof(user_data), MAX_EPOLL_EVENT);
    if (NULL == r->head->user_data_array) {
        free(r->head);
        r->head = NULL;
        close(r->epfd);
        exitif(1, "NULL == r->head->user_data_array");
    }

    return r;
}

int reactor_accept_cb(int fd, int events, void* args) {
    printf("reactor_accept_cb\n");

    struct sockaddr_in peer_addr;
    memset(&peer_addr, 0, sizeof(struct sockaddr_in));
    socklen_t peer_addr_len = sizeof(peer_addr);
    // ADDR_LEN要设为sockaddr_in的实际大小，否则会出现端口为0的情况
    int clientfd = accept(fd, (struct sockaddr *)&peer_addr, (socklen_t *)&peer_addr_len);
    exitif(-1 == clientfd, "accept");

    int ret = set_fd_nonblock(clientfd);
    exitif(-1 == ret, "set_fd_nonblock");

    printf("new connection from fd: %d, address:%s:%d\n\n", clientfd, inet_ntoa(peer_addr.sin_addr), ntohs(peer_addr.sin_port));
    
    reactor_set_event(clientfd, READ_EVENT, args);

    return 0;
}

int reactor_read_cb(int fd, int events, void* args) {
    printf("reactor_read_cb\n");
    
    reactor* r = args;
    user_data* ud = reactor_user_data(r, fd);

    // TODO: socket是非阻塞的，需要循环接收
    char *recv_buf = ud->recv_buf;
    int n = recv(fd, recv_buf, BUF_SIZE, 0);
    if (n < 0)
    {
        printf("recv errno: %s\n", strerror(errno));
        return -1;
    }
    else if (n == 0)
    {
        printf("client closed, fd: %d\n", fd);
        reactor_del_event(fd, 0, args);
        close(fd);
        // free(ud);
    }
    else
    {
        recv_buf[n] = '\0';
        printf("recv from fd %d, msg: %s", fd, recv_buf);

        char *send_buf = ud->send_buf;
        ud->recv_buf_len = n;
        ud->send_buf_len = n;
        memcpy(send_buf, recv_buf, n);
        reactor_set_event(fd, WRITE_EVENT, args);
    }

    return 0;
}

int reactor_write_cb(int fd, int events, void* args) {
    printf("reactor_write_cb\n");

    reactor* r = args;
    user_data* ud = reactor_user_data(r, fd);

    int send_len = ud->send_buf_len;
    char* send_buf = ud->send_buf;
    send_buf[send_len] = '\0';
    int nsend = send(fd, send_buf, send_len, 0);
    if (nsend < 0) {
        printf("send errno: %s\n", strerror(errno));
        return -1;
    }
    else if (nsend == 0) {
        printf("send, client closed, fd: %d\n", fd);
        reactor_del_event(fd, 0, args);
        close(fd);
    }
    else {
        printf("send to fd %d, msg:%s\n", fd, send_buf);
        reactor_set_event(fd, READ_EVENT, args);
    }

    return 0;
}

// 这里用来设置事件，回调函数
void reactor_set_event(int fd, int event_type, void* args) {
    struct epoll_event watch_event = {0};
    reactor* r = args;
    user_data* ud = reactor_user_data(r, fd);

    ud->fd = fd;
    ud->args = args;
    if (ACCEPT_EVENT == event_type) {
        watch_event.events = EPOLLIN;
        ud->accept_cb = reactor_accept_cb;
    }
    else if (READ_EVENT == event_type) {
        watch_event.events = EPOLLIN;
        ud->read_cb = reactor_read_cb;
    }
    else if (WRITE_EVENT == event_type) {
        watch_event.events = EPOLLOUT;
        ud->write_cb = reactor_write_cb;
    }

    watch_event.data.ptr = ud;

    if (NO_EVENT == ud->events) {
        int ret = epoll_ctl(r->epfd, EPOLL_CTL_ADD, fd, &watch_event);
        exitif(-1 == ret, "EPOLL_CTL_ADD");
    }
    else {
        int ret = epoll_ctl(r->epfd, EPOLL_CTL_MOD, fd, &watch_event);
        exitif(-1 == ret, "EPOLL_CTL_MOD");
    }
    ud->events = event_type;
}

void reactor_del_event(int fd, int event_type, void* args) {
    struct epoll_event watch_event = {0};
    reactor* r = args;
    // fix bug: client退出没有重置events导致 EPOLL_CTL_MOD: No such file or directory(code:2)
    user_data* ud = reactor_user_data(r, fd);
    ud->events = NO_EVENT;
    int ret = epoll_ctl(r->epfd, EPOLL_CTL_DEL, fd, &watch_event);
    exitif(-1 == ret, "epoll_ctl");
}

void reactor_create_server(short port, void* args) {
    reactor* r = args;
    r->listenfd = init_server(port);
    reactor_set_event(r->listenfd, ACCEPT_EVENT, r);
}

void reactor_loop(void* args) {
    reactor* r = args;
    // 就绪事件列表
    struct epoll_event ready_events[MAX_EPOLL_EVENT] = {0};
    while (1) {
        int nready = epoll_wait(r->epfd, ready_events, MAX_EPOLL_EVENT, 3000);
        if (nready < 0) {
            if (EINTR == errno) {
                continue;
            }
            exitif(-1 == nready, "epoll_wait");
        }
        // 就绪事件对应于events数组的下标[0, nready - 1]
        int i;
        for (i = 0; i < nready; ++i) {
            user_data* ud = (user_data *)ready_events[i].data.ptr;
            int fd = ud->fd;
            
            if (ACCEPT_EVENT == ud->events) {
                ud->accept_cb(fd, 0, r);
            }
            else {
                // 多个cb，用多个if
                if (EPOLLIN & ready_events[i].events) {
                    ud->read_cb(fd, 0, r);
                }
                if (EPOLLOUT & ready_events[i].events) {
                    // TODO: ET模式需要循环发送
                    ud->write_cb(fd, 0, r);
                }
            }
        }
    }
}

void reactor_free(void* args) {
    reactor* r = args;

    user_data_block* cur;
    while (r->head) {
        cur = r->head;
        r->head = r->head->next;

        if (cur) {
            if (cur->user_data_array)
            {
                free(cur->user_data_array);
                cur->user_data_array = NULL;
            }
            free(cur);
            cur = NULL;
        }
    }

    close(r->epfd);
    close(r->listenfd);
}

int main(int argc, char *argv[]) {
    if (argc < 2) {
        printf("usage: %s port\n", argv[0]);
        return -1;
    }
    
    // 创建reactor
    reactor* r = reactor_create();

    // 创建server
    reactor_create_server(atoi(argv[1]), r);

    // 事件循环
    reactor_loop(r);

    // 销毁reactor
    reactor_free(r);

    return 0;
}

代码理解

  • user_data 每个fd对应1个item，存储fd相关事件，回调函数，读写缓冲区
  • user_data_block 链表节点，每个结点有1个数据块，包含1024个fd item
  • reactor 管理所有fd，包含数据块链表的头节点
  • reactor_create 初始化reactor结构体
  • reactor_accept_cb 接受连接，设置读事件
  • reactor_read_cb 接收数据，设置写数据（回发）
  • reactor_write_cb 发送数据，设置读事件
  • reactor_create_server 创建监听fd，并添加到epoll
  • reactor_loop 事件循环，根据事件类型调用回调函数
  • reactor_free 释放reactor内存，关闭socket

运行截图

猜你喜欢

转载自blog.csdn.net/ET_Endeavoring/article/details/121859359
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
让自己的头脑极度开放
CentOS 6.5(x64) 和Redhat6.5操作系误删libc
高可用注册中心
【日记】12.28/【题解】AtCoder AGC041
XML（5）_XML 约束_DTD
Java集合Map（四）
树梅派安装桌面环境教程
pipenv 的 使用和安装
小程序白屏问题和内存研究
C语言简单选择排序
每日归档
更多
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022