Netty知识笔记

Netty是一个异步事件驱动的网络应用框架，用于快速开发可维护的高性能服务器和客户端。

Netty是典型的Reactor模型结构，在实现上，Netty中的Boss类充当mainReactor，NioWorker类充当subReactor（默认NioWorker的个数是当前服务器的可用核数）。

在处理新来的请求时，NioWorker读完已收到的数据到ChannelBuffer中，之后触发ChannelPipeline中的ChannelHandler流。

Netty是事件驱动的，可以通过ChannelHandler链来控制执行流向。因为ChannelHandler链的执行过程是在subReactor中同步的，所以如果业务处理handler耗时长，将严重影响可支持的并发数。

二、NIO基础知识点

1、阻塞与非阻塞

阻塞与非阻塞是描述进程在访问某个资源时，数据是否准备就绪的的一种处理方式。

• 阻塞 ：当数据没有准备就绪时，线程持续等待资源中数据准备完成，直到返回响应结果。
• 非阻塞： 线程直接返回结果，不会持续等待资源准备数据结束后才响应结果。

2、同步与异步

• 同步：一般指主动请求并等待IO操作完成的方式
• 异步：指主动请求数据后便可以继续处理其它任务，随后等待IO操作完毕的通知。

三、IO模型

1、传统BIO模型

传统BIO是一种同步的阻塞IO，IO在进行读写时，该线程将被阻塞，线程无法进行其它操作。

2、伪异步IO模型

以传统BIO模型为基础，通过线程池的方式维护所有的IO线程，实现相对高效的线程开销及管理。

3、NIO模型

NIO模型是一种同步非阻塞IO，主要有三大核心部分： Channel(通道)，Buffer(缓冲区)，Selector 。

传统IO基于字节流和字符流进行操作，而NIO基于Channel和Buffer(缓冲区)进行操作，数据总是从通道读取到缓冲区中，或者从缓冲区写入到通道中。Selector(选择区)用于监听多个通道的事件（比如：连接打开，数据到达）。因此，单个线程可以监听多个数据通道。

NIO和传统IO（一下简称IO）之间第一个最大的区别是，IO是面向流的，NIO是面向缓冲区的。

Java IO面向流意味着每次从流中读一个或多个字节，直至读取所有字节，它们没有被缓存在任何地方。此外，它不能前后移动流中的数据。如果需要前后移动从流中读取的数据，需要先将它缓存到一个缓冲区。NIO的缓冲导向方法略有不同。数据读取到一个它稍后处理的缓冲区，需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是，还需要检查是否该缓冲区中包含所有您需要处理的数据。而且，需确保当更多的数据读入缓冲区时，不要覆盖缓冲区里尚未处理的数据。

IO的各种流是阻塞的。这意味着，当一个线程调用read() 或 write()时，该线程被阻塞，直到有一些数据被读取，或数据完全写入。该线程在此期间不能再干任何事情了。 NIO的非阻塞模式，使一个线程从某通道发送请求读取数据，但是它仅能得到目前可用的数据，如果目前没有数据可用时，就什么都不会获取。而不是保持线程阻塞，所以直至数据变的可以读取之前，该线程可以继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道，但不需要等待它完全写入，这个线程同时可以去做别的事情。 线程通常将非阻塞IO的空闲时间用于在其它通道上执行IO操作，所以一个单独的线程现在可以管理多个输入和输出通道（channel）。

四、NIO模型要点

1、Channel(通道)

传统IO操作对read()或write()方法的调用，可能会因为没有数据可读/可写而阻塞，直到有数据响应。也就是说读写数据的IO调用，可能会无限期的阻塞等待，效率依赖网络传输的速度。最重要的是在调用一个方法前，无法直到是否会被阻塞。

NIO的Channel抽象了一个重要特征就是可以通过配置它的阻塞行为，来实现非阻塞式的通道。

Channel是一个双向通道，与传统IO操作之允许单向的读写不同的是，NIO的Channel允许在一个通道上进行读和写的操作。

2、Buffer(缓冲区)

Bufer顾名思义，它是一个缓冲区，实际上是一个容器，一个连续数组。Channel提供从文件、网络读取数据的渠道，但是读写的数据都必须经过Buffer。

Buffer缓冲区本质上是一块可以写入数据，然后可以从中读取数据的内存。这块内存被包装成NIO Buffer对象，并提供了一组方法，用来方便的访问该模块内存。为了理解Buffer的工作原理，需要熟悉它的三个属性：capacity、position和limit。

position和limit的含义取决于Buffer处在读模式还是写模式。不管Buffer处在什么模式，capacity的含义总是一样的.

• capacity

作为一个内存块，Buffer有固定的大小值，也叫作“capacity”，只能往其中写入capacity个byte、long、char等类型。一旦Buffer满了，需要将其清空（通过读数据或者清楚数据）才能继续写数据。

• position

当你写数据到Buffer中时，position表示当前的位置。初始的position值为0，当写入一个字节数据到Buffer中后，position会向前移动到下一个可插入数据的Buffer单元。position最大可为capacity-1。当读取数据时，也是从某个特定位置读，讲Buffer从写模式切换到读模式，position会被重置为0。当从Buffer的position处读取一个字节数据后，position向前移动到下一个可读的位置。

• limit

在写模式下，Buffer的limit表示你最多能往Buffer里写多少数据。 写模式下，limit等于Buffer的capacity。

当切换Buffer到读模式时， limit表示你最多能读到多少数据。因此，当切换Buffer到读模式时，limit会被设置成写模式下的position值。换句话说，你能读到之前写入的所有数据（limit被设置成已写数据的数量，这个值在写模式下就是position）

• Buffer的分配 对Buffer对象的操作必须首先进行分配，Buffer提供一个allocate(int capacity)方法分配一个指定字节大小的对象。

• Buffer写数据

  • 方式一： channel写到buffer
  • 方式二：通过Buffer的put()方法写到Buffer

方式1：

int bytes = channel.read(buf); //将channel中的数据读取到buf中
复制代码

方式2：

buf.put(byte); //将数据通过put()方法写入到buf中
复制代码

• flip()方法

将Buffer从写模式切换到读模式，调用flip()方法会将position设置为0，并将limit设置为之前的position的值。

• Buffer读数据
  • 从buffer读取到channel
  • 通过buffer的get获取数据

方式1：

int bytes = channel.write(buf); //将buf中的数据读取到channel中
复制代码

方式2：

byte bt = buf.get(); //从buf中读取一个byte
复制代码

• rewind()方法

Buffer.rewind()方法将position设置为0，使得可以重读Buffer中的所有数据，limit保持不变。

• clear() 与compact() 方法

一旦读完Buffer中的数据，需要让Buffer准备好再次被写入，可以通过clear()或compact()方法完成。

如果调用的是clear()方法，position将被设置为0，limit设置为capacity的值。但是Buffer并未被清空，只是通过这些标记告诉我们可以从哪里开始往Buffer中写入多少数据。如果Buffer中还有一些未读的数据，调用clear()方法将被"遗忘 "。compact()方法将所有未读的数据拷贝到Buffer起始处，然后将position设置到最后一个未读元素的后面，limit属性依然设置为capacity。可以使得Buffer中的未读数据还可以在后续中被使用。

• mark() 与reset()方法

通过调用Buffer.mark()方法可以标记一个特定的position，之后可以通过调用Buffer.reset()恢复到这个position上。

4.Selector(多路复用器)

Selector与Channel是相互配合使用的，将Channel注册在Selector上之后，才可以正确的使用Selector，但此时Channel必须为非阻塞模式。Selector可以监听Channel的四种状态（Connect、Accept、Read、Write），当监听到某一Channel的某个状态时，才允许对Channel进行相应的操作。

五、NIO开发的问题

1、NIO类库和API复杂，使用麻烦。
2、需要具备Java多线程编程能力（涉及到Reactor模式）。
3、客户端断线重连、网络不稳定、半包读写、失败缓存、网络阻塞和异常码流等问题处理难度非常大
4、存在部分BUG
复制代码

NIO进行服务器开发的步骤：

1、创建ServerSocketChannel，配置为非阻塞模式；
	2、绑定监听，配置TCP参数；
	3、创建一个独立的IO线程，用于轮询多路复用器Selector；
	4、创建Selector，将之前创建的ServerSocketChannel注册到Selector上，监听Accept事件；
	5、启动IO线程，在循环中执行Select.select()方法，轮询就绪的Channel；
	6、当轮询到处于就绪状态的Channel时，需要对其进行判断，如果是OP_ACCEPT状态，说明有新的客户端接入，则调用ServerSocketChannel.accept()方法接受新的客户端；
	7、设置新接入的客户端链路SocketChannel为非阻塞模式，配置TCP参数；
	8、将SocketChannel注册到Selector上，监听READ事件；
	9、如果轮询的Channel为OP_READ，则说明SocketChannel中有新的准备就绪的数据包需要读取，则构造ByteBuffer对象，读取数据包；
	10、如果轮询的Channel为OP_WRITE，则说明还有数据没有发送完成，需要继续发送。
复制代码

六、Netty的有点

1、API使用简单，开发门槛低；
	2、功能强大，预置了多种编解码功能，支持多种主流协议；
	3、定制功能强，可以通过ChannelHandler对通信框架进行灵活的扩展；
	4、性能高，通过与其他业界主流的NIO框架对比，Netty综合性能最优；
	5、成熟、稳定，Netty修复了已经发现的NIO所有BUG；
	6、社区活跃；
	7、经历了很多商用项目的考验。
复制代码

七、粘包/拆包问题

TCP是一个“流”协议，所谓流，就是没有界限的一串数据。可以想象为河流中的水，并没有分界线。TCP底层并不了解上层业务数据的具体含义，它会根据TCP缓冲区的实际情况进行包的划分，所以在业务上认为，一个完整的包可能会被TCP拆分成多个包进行发送，也有可能把多个小的包封装成一个大的数据包发送，这就是所谓的TCP粘包和拆包问题。

假设客户端分别发送了两个数据包D1和D2给服务端，由于服务端一次读取到的字节数是不确定的，可能存在以下4中情况。

1.服务端分两次读取到了两个独立的数据包，分别是D1和D2，没有粘包和拆包；
 2.服务端一次接收到了两个数据包，D1和D2粘合在一起，被称为TCP粘包；
 3.服务端分两次读取到了两个数据包，第一次读取到了完整的D1包和D2包的部分内容，第二次读取到了D2包的剩余部分内容，这被称为TCP拆包；
 4.服务端分两次读取到了两个数据包，第一次读取到了D1包的部分内容D1_1，第二次读取到了D1包的剩余内容D1_1和D2包的完整内容；
复制代码

如果此时服务器TCP接收滑窗非常小，而数据包D1和D2比较大，很有可能发生第五种情况，既服务端分多次才能将D1和D2包接收完全，期间发生多次拆包；

问题的解决策略

由于底层的TCP无法理解上层的业务数据，所以在底层是无法保证数据包不被拆分和重组的，这个问题只能通过上层的应用协议栈设计来解决，根据业界的主流协议的解决方案可归纳如下：

1.消息定长，例如每个报文的大小为固定长度200字节，如果不够，空位补空格；
 2.在包尾增加回车换行符进行分割，例如FTP协议；
 3.将消息分为消息头和消息体，消息头中包含消息总长度（或消息体总长度）的字段，通常设计思路为消息头的第一个字段使用int32来表示消息的总程度；
 4.更复杂的应用层协议；
复制代码

• LineBasedFrameDecoder

为了解决TCP粘包/拆包导致的半包读写问题，Netty默认提供了多种编解码器用于处理半包。

LinkeBasedFrameDecoder的工作原理是它一次遍历ByteBuf中的可读字节，判断看是否有“/n”、“/r/n”，如果有，就一次位置为结束位置，从可读索引到结束位置区间的字节就组成一行。它是以换行符为结束标志的编解码，支持携带结束符或者不携带结束符两种解码方式，同时支持配置单行的最大长度。如果连续读取到最大长度后任然没有发现换行符，就会抛出异常，同时忽略掉之前读到的异常码流。
复制代码

• DelimiterBasedFrameDecoder

实现自定义分隔符作为消息的结束标志，完成解码。
复制代码

• FixedLengthFrameDecoder

是固定长度解码器，能够按照指定的长度对消息进行自动解码，开发者不需要考虑TCP的粘包/拆包问题。
复制代码

八、Netty的高性能之道

1.异步非阻塞通信

在IO编程过程中，当需要同时处理多个客户端接入请求时，可以利用多线程或者IO多路复用技术进行处理。IO多路复用技术通过把多个IO的阻塞复用到同一个Selector的阻塞上，从而使得系统在单线程的情况下可以同时处理多个客户端请求。与传统的多线程/多进程模型相比，IO多路复用的最大优势是系统开销小，系统不需要创建新的额外进程或者线程，也不需要维护这些进程和线程的运行，降低了系统的维护工作量，节省了系统资源。

Netty的IO线程NioEventLoop由于聚合了多路复用器Selector，可以同时并发处理成百上千个客户端SocketChannel。由于读写操作都是非阻塞的，这就可以充分提升IO线程的运行效率，避免由频繁的IO阻塞导致的线程挂起。另外，由于Netty采用了异步通信模式，一个IO线程可以并发处理N个客户端连接和读写操作，这从根本上解决了传统同步阻塞IO中 一连接一线程模型，架构的性能、弹性伸缩能力和可靠性都得到了极大的提升。

2、高效的Reactor线程模型

常用的Reactor线程模型有三种，分别如下：

• C1、Reactor单线程模型

Reactor单线程模型，指的是所有的IO操作都在同一个NIO线程上面完成，NIO线程职责如下：

1、作为NIO服务端，接收客户端的TCP连接；

2、作为NIO客户端，向服务端发起TCP连接；

3、读取通信对端的请求或者应答消息；

4、向通信对端发送请求消息或者应答消息；

由于Reactor模式使用的是异步非阻塞IO，所有的IO操作都不会导致阻塞，理论上一个线程可以独立处理所有IO相关操作。从架构层面看，一个NIO线程确实可以完成其承担的职责。例如，通过Acceptor接收客户端的TCP连接请求消息，链路建立成功之后，通过Dispatch将对应的ByteBuffer派发到指定的Handler上进行消息编码。用户Handler可以通过NIO线程将消息发送给客户端。

对于一些小容量应用场景，可以使用单线程模型，但是对于高负载、大并发的应用却不合适，主要原因如下：

①、一个NIO线程同时处理成百上千的链路，性能上无法支撑。即便NIO线程的CPU负荷达到100%，也无法满足海量消息的编码、解码、读取和发送；

②、当NIO线程负载过重后，处理速度将变慢，这会导致大量客户端连接超时，超时之后往往会进行重发，这更加重了NIO线程的负载，最终会导致大量消息积压和处理超时，NIO线程会成为系统的性能瓶颈；

③、可靠性问题。一旦NIO线程意外进入死循环，会导致整个系统通信模块不可用，不能接收和处理外部消息，造成节点故障。

为了解决这些问题，从而演进出了Reactor多线程模型。

• C2、Reactor多线程模型

  

Reactor多线程模型与单线程模型最大的区别就是有一组NIO线程处理IO操作，特点如下：

①有一个专门的NIO线程——Acceptor线程用于监听服务端，接收客户端TCP连接请求；

②网络IO操作——读、写等由一个NIO线程池负责，线程池可以采用标准的JDK线程池实现，它包含一个任务队列和N个可用的线程，由这些NIO线程负责消息的读取、编码、解码和发送；

③1个NIO线程可以同时处理N条链路，但是1个链路只对应1个NIO线程，防止发生并发操作问题。

在绝大多数场景下，Reactor多线程模型都可以满足性能需求；但是，在极特殊应用场景中，一个NIO线程负责监听和处理所有的客户端连接可能会存在性能问题。例如百万客户端并发连接，或者服务端需要对客户端的握手消息进行安全认证，认证本身非常损耗性能。在这类场景下，单独一个Acceptor线程可能会存在性能不足问题，为了解决性能问题，产生了第三种Reactor线程模型——主从Reactor多线程模型。

• C3、主从Reactor多线程模型

  

主从Reactor线程模型的特点是：

服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。Acceptor接收到客户端TCP连接请求处理完成后（可能包含接入认证等），将新创建的SocketChannel注册到IO线程池（subReactor线程池）的某个IO线程上，由它负责SocketChannel的读写和编解码工作。Acceptor线程池只用于客户端的登录、握手和安全认证，一旦链路建立成功，就将链路注册到后端subReactor线程池的IO线程上，由IO线程负责后续的IO操作。
复制代码

利用主从NIO线程模型，可以解决1个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty官方推荐使用该线程模型。它的工作流程总结如下：

①从主线程池中随机选择一个Reactor线程作为Acceptor线程，用于绑定监听端口，接收客户端连接；

②Acceptor线程接收客户端连接请求之后，创建新的SocketChannel，将其注册到主线程池的其他Reactor线程上，由其负责接入认证、IP黑白名单过滤、握手等操作；

③然后也业务层的链路正式建立成功，将SocketChannel从主线程池的Reactor线程的多路复用器上摘除，重新注册到Sub线程池的线程上，用于处理IO的读写操作。

3、无锁化的串行设计

在大多数场景下，并行多线程处理可以提升系统的并发性能。但是，如果对于共享资源的并发访问处理不当，会带来严重的锁竞争，这最终会导致性能的下降。为了尽可能地避免锁竞争带来的性能损耗，可以通过串行化设计，既消息的处理尽可能在同一个线程内完成，期间不进行线程切换，这样就避免了多线程竞争和同步锁。

为了尽可能提升性能，Netty采用了串行无锁化设计，在IO线程内部进行串行操作，避免多线程竞争导致的性能下降。表面上看，串行化设计似乎CPU利用率不高，并发程度不够。但是，通过调整NIO线程池的线程参数，可以同时启动多个串行化的线程并行运行，这种局部无锁化的串行线程设计相比一个队列——多个工作线程模型性能更优。

Netty的NioEventLoop读取到消息后，直接调用ChannelPipeline的fireChannelRead(Object msg)， 只要用户不主动切换线程，一直会由NioEventLoop调用到用户的Handler，期间不进行线程切换。这种串行化处理方式避免了多线程导致的锁竞争，从性能角度看是最优的 。

4、高效的并发编程

Netty中高效并发编程主要体现：

• volatile的大量、正确使用
• CAS和原子类的广泛使用
• 线程安全容器的使用
• 通过读写锁提升并发性能

5、高效的序列化框架

影响序列化性能的关键因素总结如下：

• 序列化后的码流大小（网络宽带的占用）
• 序列化与反序列化的性能（CPU资源占用）
• 是否支持跨语言（异构系统的对接和开发语言切换） Netty默认提供了对GoogleProtobuf的支持，通过扩展Netty的编解码接口，用户可以实现其他的高性能序列化框架

6、零拷贝

Netty的“零拷贝”主要体现在三个方面：

• Direct buffers

Netty的接收和发送ByteBuffer采用DIRECT BUFFERS，使用堆外直接内存进行Socket读写，不需要进行字节缓冲区的二次拷贝。如果使用传统的堆内存（HEAP BUFFERS）进行Socket读写，JVM会将堆内存Buffer拷贝一份到直接内存中，然后才写入Socket中。相比于堆外直接内存，消息在发送过程中多了一次缓冲区的内存拷贝

• CompositeByteBuf

第二种“零拷贝 ”的实现CompositeByteBuf，它对外将多个ByteBuf封装成一个ByteBuf，对外提供统一封装后的ByteBuf接口

• 文件传输

第三种“零拷贝”就是文件传输，Netty文件传输类DefaultFileRegion通过transferTo方法将文件发送到目标Channel中。很多操作系统直接将文件缓冲区的内容发送到目标Channel中，而不需要通过循环拷贝的方式，这是一种更加高效的传输方式，提升了传输性能，降低了CPU和内存占用，实现了文件传输的“零拷贝”。

7、内存池

随着JVM虚拟机和JIT即时编译技术的发展，对象的分配和回收是个非常轻量级的工作。但是对于缓冲区Buffer，情况却稍有不同，特别是对于堆外直接内存的分配和回收，是一件耗时的操作。为了尽量重用缓冲区，Netty提供了基于内存池的缓冲区重用机制。

8、灵活的TCP参数配置能力

Netty在启动辅助类中可以灵活的配置TCP参数，满足不同的用户场景。合理设置TCP参数在某些场景下对于性能的提升可以起到的显著的效果，总结一下对性能影响比较大的几个配置项：

1）、SO_RCVBUF和SO_SNDBUF：通常建议值为128KB或者256KB;
    2）、TCP_NODELAY：NAGLE算法通过将缓冲区内的小封包自动相连，组成较大的封包，阻止大量小封包的发送阻塞网络，从而提高网络应用效率。但是对于时延敏感的应用场景需要关闭该优化算法；
    3）、软中断：如果Linux内核版本支持RPS(2.6.35以上版本)，开启RPS后可以实现软中断，提升网络吞吐量。RPS根据数据包的源地址，目的地址以及目的和源端口，计算出一个hash值，然后根据这个hash值来选择软中断运行的CPU。从上层来看，也就是说将每个连接和CPU绑定，并通过这个hash值，来均衡软中断在多个CPU上，提升网络并行处理性能。

复制代码