[Java知识库]一、Netty的特性介绍及解决的问题

一、Netty的介绍

• Netty是由JBoss提供的一个Java开源框架，现为Github上的独立项目。
• Netty是一个异步的、基于时间驱动的网络应用层框架，用以快速开发高性能、高可靠性的网络IO程序。
• Netty主要针对在TCP 协议下，面向Clients端的高并发应用，或者Peeer-to-peer场景下的大量数据持续传输的应用
• Netty本质是一个NIO框架，适用于服务器通讯相关的多种应用场景
• 要透彻理解Netty，需要先学习NIO，这样我们才能阅读Netty的源码

二、Netty的应用场景

互联网行业

1. 在分布式系统中，各个节点之间需要远程服务调用，高性能的RPC框架必不可少，Netty作为异步高性能的通信框架，往往作为基础通信组件被这些RPC框架使用。
2. 典型的应用有：阿里分布式服务框架Dubbo的RPC框架使用Dubbo协议进行节点间的通信，Dubbo协议默认使用Netty作为基础通信组件，用于实现个进程节点之间的内部通信。

游戏行业

3. 无论是手游服务端还是大型的网络游,Java语言得到了越来越广泛的应用
4. Netty 作为高性能的基础通信组件，提供了TCP/UDP和HTTP协议栈，方便定制和开发私有协议栈，账号登录服务器
5. 地图服务器之间可以方便的通过Netty进行高性能的通信

大数据领域

6. 经典的Hadoop的高性能通信和序列化组件（AVRO实现数据文件共享）的RPC框架，默认采用Netty进行跨界点通信
7. 它的Netty Service 基于Netty框架二次封装实现

三、三大I/O模型

3.1 I/O模型的基本说明

• I/O模型简单的理解：就是用什么样的通道进行数据的发送和接受，很大程度上决定了程序通讯的性能
• Java共支持了3种网络编程模型: BIO、NIO、AIO
• Java BIO :同步并阻塞（传统阻塞型），服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销
• Java NIO:同步非阻塞，服务器实现模式为一个线程处理多个请求（连接），即客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询连接有I/O请求就进行处理
• Java AIO : 异步非阻塞，AIO 引入异步通道的概念，采用了Proactor模式，简化了程序编写，有效的请求才启动线程，他的特点是先有操作系统完成后才通知服务器端程序启动线程去处理，一般适用于连接数较多且连接时间较长的应用，现如今还未广泛使用
  

3.2 BIO、NIO、AIO 应用场景分析

• BIO方式适用用于连接数目比较小且固定的架构，这种方式对服务器资源要求比较高，并发局限于应用中，JDK1.4之前是唯一的选择，但程序简单易理解
• NIO方式适用于连接数目较多且比较短（轻操作）的架构，比如聊天服务器，弹幕系统，服务器间通讯等，编程比较复杂，JDK1.4开始支持
• AIO方式用于连接数目较多且连接时间较长（重操作）的架构，比如相册服务器，充分调用OS参与并发操作，编程比较复杂，jdk7开始支持

3.3 BIO基本介绍

• Java BIO 就是传统的java io 编程，其相关的类和接口在java.io
• BIO（Blocking IO):同步阻塞，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要开辟一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销，可以通过线程池机制进行改善（实现多个客户连接服务器）
• BIO 方式适用于连接数目比较小且固定的架构，这种方式对服务器资源要求比较高，并发局限于应用中，jdk.4之前的唯一选择，程序简单易于理解

3.3.1 BIO编程工作机制

BIO 编程简单流程

• 服务端启动一个serverSocket
• 客户端启动socket对服务器进行通信，默认情况下服务器需要对每个客户建立一个线程与之通信
• 客户端发出请求后，先咨询服务器是否有线程响应，如果没有则会等待，或者被拒绝
• 如果有响应，客户端线程会等待请求结束后，会继续执行

3.3.2 BIO编程实例

实例说明

1、使用BIO模型编写一个服务器端，监听6666端口，当有客户端连接时，就启动一个线程与之通讯
2、要求使用线程池机制改善，可以连接多个客户端
3、服务器端可以接收客户端发送的数据（telnet 方式即可）。
???* 打开cmd控制台 输入telnet 192.100.140.96 6666 回车
???* 按 ctrl +"]" 键
?? * 输入send 消息字符串

package com.bio;
import java.io.IOException;
import java.io.InputStream;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

/*
* 实验目的：
*        研究bio的运行机制和特点
* 实验要求：
*        1、使用连接池
*        2、观察多个客户端连接时 使用的是否是同一个线程
*        3、通过控制台输出观察 BIO的阻塞机制
* 实验结果：
*
* */
public class BioServer {
    public static void main(String[] args) throws IOException {
        //创建一个线程池
        ExecutorService newCachedThreadPool =Executors.newCachedThreadPool();
        //创建一个serverSocket
        ServerSocket serverSocket = new ServerSocket(6666);
        System.out.println("服务器启动了.........");
        System.out.println("等待客户端连接.........");
        //通过用死循环来监听客户端的连接
        while(true){
            //如果此处没有客户端连接会一直阻塞
            Socket socket = serverSocket.accept();
            System.out.println(socket.getInetAddress()+"成功连接！");
            //当有客户端请求时 从连接池中取出一个线程进行处理
            newCachedThreadPool.execute(new Runnable() {
                @Override
                public void run() {
                    //执行对客户端的业务处理
                    sessionHandler(socket);
                }
            });
        }
    }

    private static void sessionHandler(Socket socket) {
        //创建一个byte数组，用于接收输入输出流中的字节
        byte bytes[]= new byte[1024];
        //利用socket得到输入流
        try {
            InputStream inputStream = socket.getInputStream();
        //循环读出输入流中的数据
            while(true){
                //如果此处客户端没有发送数据 这里会一直阻塞  会造成资源浪费
                int read = inputStream.read(bytes);
                if(read!=-1) System.out.println(Thread.currentThread().getId() + ":" + new String(bytes));
                else{
                    break;
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            try {
                socket.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

结果：

3.4 NIO基本介绍

关系图说明

1.每个channel都会对应一个Buffer
2.Selector对应一个线程，一个线程对应多个channel（连接）
3.该图反应了有三个channel注册到该selector
4.程序切换到那个channel是由事件决定的，Event就是一个重要的概念
5.selector会根据不同的事件，在各个通道上切换
6.Buffer就是一个内存块，底层是由一个数组
7.数据的读写是通过buffer,这个和BIO有很大的区别，BIO中要么是输入流，或者输出流，不能双向，但是NIO的buffer是可以读也可以写，切换时需要调用flip方法
8.channel是双向的，可以返回底层操作系统的情况，比如linux，底层的操作系统通道就是双向的

• Java NIO全称 java non-blocking IO,是指JDK提供的新API,从JDK1.4开始，Java 提供了一系列改进的输入输出的新特性，被统称为NIO 即（New IO),是同步非阻塞的
• NIO 相关类都被放在java.nio包及子包下，并且对原java.io包中的很多类进行改写
• NIO 有三大核心部分：Channel (通道），Buffer(缓冲区），Selector(选择器）
• NIO 是面向缓冲区，或者面向块编程的，数据读取到一个它稍后处理的缓冲区，需要时可在缓冲区中前后移动，这就增加了处理过程中的灵活性，使用它可提供非阻塞式的高伸缩性网络
• Java NIO 的非阻塞模式，使一个线程从某通道 发送请求读取数据，但是它仅能得到目前可用的数据，如果没有数据可用时，就什么都不会获取，而不是保持线程阻塞，所以直至数据变的可以读取之前，该线程可以继续做其他的事情，非阻塞写也是如此，一个线程请求写入一些数据到某通道，但不要等待他完全写入，这个线程同时可以去做别的事情
• 通俗理解：NIO是可以做到用一个线程来处理多个操作的，假设有10000个请求过来，根据实际情况，可以分配50或者100个线程来处理。不像之前的阻塞IO那样，非待分配10000个线程
• HTTP 2.0使用了多路复用的技术，做到同一个连接并发处理多个请求，而且并发请求的数量比HTTP1.1大了好几个数量级。

3.5 NIO 和BIO的比较

• BIO 以流的方式处理数据，而NIO以块的方式处理数据，块IO的效率要比流IO高的多
• BIO是阻塞的，NIO则是非阻塞的
• BIO基于字节流和字符流进行操作，而NIO基于Channel（通道）和Buffer(缓冲区)进行操作，数据总是从通道读取到缓冲区中，或者从缓冲区写入到通道中，Selector(选择器）用于监听多个通道的事件（比如：连接请求，数据到达等），因此使用单个线程就可以监听多个客户端通道