[系统运维] Linux/Windows/C++网络开源库项目集合

kcp是一种可靠udp,是一套纯算法的来保证udp包有序、不丢失。那么问题来了，这说的不就是tcp吗？为啥还要可靠udp这个东西，原因在于有很多场景对网络延迟要求非常高，游戏中的实时对战就是这样的场景，如果直接使用tcp延迟太高会很卡，如果直接使用udp会丢包，无序。kcp和tcp都会保证可靠，但问题时kcp为何在保证可靠的情况下比tcp快。tcp时很多年前设计的，在低延迟的场景下tcp并不能很好的胜任，kcp改进了tcp的不足：RTO翻倍vs不翻倍、快速重传、延迟ACK vs 非延迟ACK、选择性重传 vs 全部重传。换句话说，tcp的实现并编译进了操作系统，而kcp是一套算法，基于udp传输，可以灵活的调整一些参数来提高传输速度，降低延迟。

------

多线程编程模型

在学习muduo网络库前，应该先熟悉一下多线程网络服务编程模型。在6.6.2节介绍了11种方案。方案0到方案4用的是阻塞I/O。方案5到方案11用的都是非阻塞I/O。

方案0：?accept+read/write

方案0不是并发模型，只是一个循环处理。用代码表示的话，可以表示为：


   
     
      
     
     
      
       while(true)
      
     

     
      
     
     
      
       {
      
     

     
      
     
     
      
           int fd=accept(……);
      
     

     
      
     
     
      
           read(fd,……) or write(fd……);
      
     

     
      
     
     
      
           close(fd);
      
     

     
      
     
     
      
       }

一次只能处理一个连接，第一个连接处理完毕后，才可以进入下一次循环，否则阻塞在I/O的read或write上。

方案1?accept+fork

这是个并发模型，这个模型比较简单，在accept后，fork一个子进程，在子进程处理连接。可以表示为：


   
     
      
     
     
      
       while(true)
      
     

     
      
     
     
      
       {
      
     

     
      
     
     
      
           int fd=accept（linstenFd,……);
      
     

     
      
     
     
      
           int pid=fork();
      
     

     
      
     
     
      
           if(pid==0)//child
      
     

     
      
     
     
      
           {
      
     

     
      
     
     
      
               close(listenFd);
      
     

     
      
     
     
      
               read/write(fd……);
      
     

     
      
     
     
      
               close(fd);
      
     

     
      
     
     
      
           }
      
     

     
      
     
     
      
           //Parent
      
     

     
      
     
     
      
           close(fd);
      
     

     
      
     
     
      
       }

这个模型中要注意的是，要在子进程关闭监听的fd，在父进程关闭到来连接的fd。

方案2?accept+thread

这个方案和方案1类似，只是这个方案中是通过新建了线程来处理连接，方案1是通过新建线程来处理连接。


   
     
      
     
     
      
       void ProcessIO(void* arg)
      
     

     
      
     
     
      
       {
      
     

     
      
     
     
      
           int fd=*static_cast
       <int *>arg;
      
     

     
      
     
     
      
           read/wire(fd,……);
      
     

     
      
     
     
      
           close(fd);
      
     

     
      
     
     
      
       }
      
     

     
      
     
     
       
      
     

     
      
     
     
      
       void ProcessAccept()
      
     

     
      
     
     
      
       {
      
     

     
      
     
     
      
           while(true)
      
     

     
      
     
     
      
           {
      
     

     
      
     
     
      
               int fd=accept(……);
      
     

     
      
     
     
      
               pthread_create(……, NULL, ProcessIO, &fd);
      
     

     
      
     
     
      
           }
      
     

     
      
     
     
      
           }
      
     

     
      
     
     
      
       }

先调用ProcessAccept等待连接，如果有连接，则创建新线程来调用ProcessIO，把新建连接的fd传给这个函数。

方案3?prefork

这个和方案1类似，只是先创建好进程。当有连接到来时，可以马上使用这些进程。具体可以参考http://www.t086.com/code/apache2.2/mod/prefork.html

方案4?pre thread

这和方案2类似，先创建好线程，等连接到来时，省去了创建线程的开销。

方案5?poll(reactor)：非阻塞IO+IO复用

这个方案是基于I/O复用的select/poll/epoll；复用的是进程，不是I/O。这是一个单线程/进程的方案，在I/O事件到达后，直接在当前线程/进程处理I/O。单线程/进程的Reactor模式，在处理当前I/O事件时，如果有新的I/O事件到来，不能及时响应。这样事件的优先级不能得到保证。

Lighttpd，libevent，libev采用这种方案。

方案6?reactor+thread-per-task

这个方案是为每一个I/O事件创建一个线程，在新建的线程中处理I/O事件。注意，这里是为每个I/O事件创建一个线程，而不是为每个连接创建线程。这样一来，每个新建线程处理的I/O事件的结果会有out-of-order的可能，即多次处理后的顺序和请求顺序未必一直了。

方案7?reactor+worker thread

为了避免方案6中的out-of-order的问题，在这个方案中，为每个连接创建一个线程。但是线程数目受限于CPU。

方案8?reactor+thread pool

这个方案是，在reactor线程中，等待I/O事件，当I/O事件到来时，在thread pool中取出一个线程（不是新创建）来处理I/O事件。

方案9?reactors in threads?
muduo和Netty采用的是这种方案。在一个main Reactor中负责accept，之后把建立的连接fd放到sub Reactor中，这个连接的所有操作都在sub Reactor中完成。这个方案的特点是one loop per thread，有多个thread。

方案10?reactors in process

这个是Nginx的方案，连接之间无交换时，这是很好的解决方案。Nginx每个工作进程都有一个event loop。

方案11?reactors+thread pool

这是方案8和方案9的混合体。即使用多个Reactor,有的负责accept，有的负责I/O事件的到来。再使用线程池，处理I/O事件。

更多的介绍请参见《Linux多线程服务端编程：使用muduo C++网络库》第3章。

1、必须用单线程的场合：程序需要fork；限制CPU占有率；

2、单线程优缺点：简单，但是事件没有优先级处理机制；

--------------------------------------------好书推荐-----------------------------------------------------

Linux C/C++学习：

github源码学习：redis，Nginx，mosquitto，skynet，teamtalk，libuv，libevent，muduo，evpp，网狐棋牌6603源码，张小方easyMule，张小方filezilla，张小方flamingo，Gh0st，PCShare，郑树新acl，ananas-rpc，Tars，美图twemproxy，zsummerX，log4z，libco，seastar

工具学习：cmake，keepalived/LVS，haproxy，CDN，kafka，log4xx，OpenResty，HBase，tengine

语言学习：lua，shell

书籍学习：

《Linux高性能服务器编程》 -- 作者:游双
http://download.csdn.net/download/analogous_love/9673008

《TCP/IP协议族》

《Netty权威指南（第2版）》

《Linux多线程服务端编程：使用muduo C++网络库》

《编程珠玑第2版·修订版》

《编程珠玑(续)(修订版)》

《Linux环境编程：从应用到内核》 --?Linux领域第一本将应用编程与内核实现相结合的图书

《构建高可用Linux服务器（第4版）》

《编程之美——微软技术面试心得》?

《编程之法：面试和算法心得》

《剑指OFFER:名企面试官精讲典型编程题(第2版)》?

《程序员代码面试指南：IT名企算法与数据结构题目最优解》

《数据结构（C语言版）（第2版）严蔚敏李冬梅吴伟民 (编著)》
http://www.ryjiaoyu.com/book/details/3489

https://download.csdn.net/download/libaineu2004/10411905

《数据结构习题解析与实验指导李冬梅张琪 (编著)》

http://www.bjfuacm.com/structure/

《数据结构与算法分析：C语言描述（原书第2版）》

《算法：C语言实现（第1-4部分)基础知识、数据结构、排序及搜索（原书第3版）》

《算法基础：打开算法之门》《算法导论》

《妙趣横生的算法(C语言实现) 第2版》

《程序员面试宝典（第5版）》

《深入理解计算机系统（第3版）》

作者:[美]W. Richard Stevens

《TCP/IP Illustrated,Volume 1》 --?TCP/IP详解卷1 协议

《Advanced Programming in the UNIX? Environment》 -- APUE，UNIX环境高级编程

《UNIX Network Programming》 -- UNP，UNIX网络编程

被推荐烂了，书很厚，但只需要读一小半:
第1-7章；基础，特别是要理解TCP的双工特性.
第14章；了解gather write/scatter read.
第16章；这是本书最最重要的一章。
第30章；
也就是说，这么厚的书，只需要读10章足矣，现在有信心了吗?

作者:(美)梅耶(Scott Meyers)四部曲：
《Effective C++》 --?有人说C++程序员可以分成两类，读过Effective C++的和没读过的。世界顶级C++大师Scott Meyers成名之作的第三版的确当得起这样的评价。当您读过这本书之后，就获得了迅速提升自己C++功力的一个契机。

《More Effective C++》

《Effective STL》

《Effective modern C++》 --?学习C++11只需要这一本书,请耐心多读几遍。

作者:(美) Stanley B. Lippman著

《C++ Primer》
《Essential C++》

《深度探索C++对象模型》

作者:[美]Martin Fowler 著

《重构改善既有代码的设计》

《UML精粹：标准对象建模语言简明指南（第3版）》

作者:[美]Robert C. Martin 著

《代码整洁之道》

《代码整洁之道程序员的职业素养》