关于我们
![]() ![]() |
Netty权威指南(第2版)
《Netty quanwei指南(第2 版)》是异步非阻塞通信领域的经典之作,基于全新版本的Netty 5.0 编写,是国内首本深入介绍Netty 原理和架构的书籍,也是作者多年实战经验的总结和浓缩。内容不仅包含Java NIO入门知识、Netty 的基础功能开发指导、编解码框架定制等,还包括私有协议栈定制和开发、Netty 核心类库源码分析,以及Netty 的架构剖析。
1、Hadoop、Storm、Spark、Facebook、Twitter、阿里巴巴都在使用Java高性能NIO通信框架Netty,本书告诉你Why,通过本书你可以全面、系统地理解Netty 架构设计理念,以及异步NIO 编程。
2、本书作者为资深一线专家,在产品中广泛应用了Netty等NIO框架,具有丰富的多年实践经验,这就使得本书内容带有很强的实践性,让你更全面快速掌握Java高并发异步通信的优选框架Netty的用法。 3、本书第一版出版后受到业界的一致好评,应读者的要求,第2版增加了MessagePack 编解码、服务端创建、客户端创建、高性能之道、可靠性、安全性等内容,内容更精彩。 Netty是什么?使用Netty能够做什么?为什么要从传统的Socket开发切换到NIO进行编程?为什么不直接基于JDK的NIO类库编程而选择Netty?如何全面系统地掌握Netty进行NettyNIO开发、Netty编解码开发、Netty多协议开发?如何通过对Netty源码的学习获得更深入地知识?掌握了Netty后,如何将其应用到实际架构中?Netty工程师的就业前景和可涉足的行业是怎样的?本书都会一一解答。 推荐购买:
2014 年6 月《Netty 权威指南》第1 版面世之后,很多读者通过邮件等方式向我表达了对本书的喜爱和赞誉。同时,对本书的一些瑕疵和不足也进行了指正,并给出了合理的建议。我对读者反馈的合理建议进行了记录和总结,以期在未来修订版或者第2 版中能够修正这些问题。
大约在2014 年11 月份的时候,编辑与我协商出版《Netty 权威指南(第2 版)》的事宜,考虑到如下几个因素,最终我决定推出第2 版: ◎ 第一版需要修正少部分印刷不太清晰的图片,这会改变后续章节的页码; ◎ 源码分析章节的代码希望重新编排一下,与前面的开发示例保持一致; ◎ 部分章节和内容需要优化调整; ◎ 部分读者对推出第2 版的要求。 第2 版的主要变更如下,删除第1 版中的如下章节: ◎ 第7 章:Java 序列化; ◎ 第12 章:UDP 协议开发; ◎ 第13 章:文件传输; ◎ 第22 章:Netty 行业应用。 新增本书中的如下章节: ◎ 第7 章:MessagePack 编解码; ◎ 第13 章:服务端创建; ◎ 第14 章:客户端创建; ◎ 第22 章:高性能之道; ◎ 第23 章:可靠性; ◎ 第24 章:安全性。 第1 版最初的想法是尽量照顾NIO 编程和Netty 初学者,因此入门和基础功能使用示例占了很大比例,涵盖的范围也很广。但事实上,由于Netty 的功能过于庞杂,一本书很难涵盖Netty 的所有功能点,因此,删除了不太常用的Java 序列化、UDP 协议开发和文件传输。 Netty 行业应用的内容很多读者都很期望,希望能够展开详细讲解一下。我思索再三,忍痛割爱,不仅没有加强本章节,反而删除了它。为什么呢?对于真正想了解行业应用的读者,需要展开详细讲解才能够讲透,剖开Netty 在Spark、Hadoop 等大数据领域的应用不谈,即便是作为分布式服务框架的内部高性能通信组件,例如Dubbo,没有大篇幅也很难讲透,与其一笔概括,泛泛而谈,还不如留给其他作者或者未来抽空单独梳理。 掌握Netty 的基础功能使用比较容易,但是理解Netty 底层的架构以及主要架构特性的设计理念却是件困难的事情,它需要长期的行业积累以及对Netty 底层源码的透彻理解。应广大读者的要求,在第2 版中新增了Netty 的高性能、安全性和可靠性的架构剖析,通过这些章节的学习,读者可以更加清晰地理解Netty 架构设计理念。 尽管我本人已经有7 年的NIO 编程和实战经验,在产品中也广泛应用了Netty 和Mina等NIO 框架。但是,受限于个人能力和水平,本书一定还有纰漏和不妥之处,希望广大读者能够批评指正。读者在阅读本书或者实际工作中如果有Netty 相关的疑问,也可以直接联系我,我会尽量回复。我的联系方式如下: ◎ 邮箱:neu_lilinfeng@sina.com ◎ 新浪微博:Nettying ◎ 微信:Nettying。 《Netty 权威指南》第1 版出版之后,很多读者来信咨询自己实际工作和学习中遇到的Netty 问题和案例,有些案例和问题颇具典型性。我将这些案例进行了总结,在微信公众号“Netty 之家”中定期推送,希望广大读者可以关注。 感谢博文视点的小编丁一琼MM 和幕后的美工,正是你们的辛苦工作才保证了本书能够顺利出版;感谢华为IT PaaS 望岳、莫小君和Digital SDP 集成开发部徐皓等领导对我的信任和支持;感谢我的老婆在我编辑第2 版期间赦免了我做饭和刷碗的义务,我得以抽出时间安心写作。 最后感谢《Netty 权威指南》第1 版的读者,你们的理解、鼓励和支持,使我有足够的勇气和动力继续前行。希望大家携起手来共同推动NIO 编程和Netty 在国内的应用和发展。 李林锋 2015 年1 月27 日于南京 第1版前言 大约在2008 年的时候,我参与设计和开发的一个电信系统在月初出账期,总是发生大量的连接超时和读写超时异常,业务的失败率相比于平时高了很多,报表中的很多指标都差强人意。后来经过排查,发现问题主要出现在下游网元的处理性能上,月初的时候BSS 出账,在出账期间BSS 系统运行缓慢,由于双方采用了同步阻塞式的HTTP+XML 进行通信,导致任何一方处理缓慢都会影响对方的处理性能。按照故障隔离的设计原则,对方处理速度慢或者不回应,不应该影响系统的其他功能模块或者协议栈,但是在同步阻塞I/O 通信模型下,这种故障传播和相互影响是不可避免的,很难通过业务层面解决。 受限于当时Tomcat 和Servlet 的同步阻塞I/O 模型,以及在Java 领域异步HTTP 协议栈的技术积累不足,当时我们并没有办法完全解决这个问题,只能通过调整线程池策略和HTTP 超时时间来从业务层面做规避。 2009 年,由于对技术的热爱,我作为业务骨干被领导派去参加一个重点业务平台的研发工作,与两位资深的架构师(其中一位工作20 年,做华为交换机出身)共同参与。这是我第一次全面接触异步I/O 编程和高性能电信级协议栈的开发,眼界大开——异步高性能内部协议栈、异步HTTP、异步SOAP、异步SMPP……所有的协议栈都是异步非阻塞的。后来的性能测试表明:基于Reactor 模型统一调度的长连接和短连接协议栈,无论是性能、可靠性还是可维护性,都可以“秒杀”传统基于BIO 开发的应用服务器和各种协议栈,这种差异本质上是一种代差。 在我从事异步NIO 编程的2009 年,业界还没有成熟的NIO 框架,那个时候Mina 刚刚开始起步,功能和性能都达不到商用标准。最困难的是,国内Java 领域的异步通信还没有流行,整个业界的积累都非常少。那时资料匮乏,能够交流和探讨的圈内人很少,一旦踩住“地雷”,就需要夜以继日地维护。在随后2 年多的时间里,经历了十多次的在通宵、凌晨被一线的运维人员电话吵醒等种种磨难之后,我们自研的NIO 框架才逐渐稳定和成熟。期间,解决的BUG 总计20~30 个。 从2004 年JDK 1.4 首次提供NIO 1.0 类库到现在,已经过去了整整10 年。JSR 51 的设计初衷就是让Java 能够提供非阻塞、具有弹性伸缩能力的异步I/O 类库,从而结束了Java在高性能服务器领域的不利局面。然而,在相当长的一段时间里,Java 的NIO 编程并没有流行起来,究其原因如下。 1.大多数高性能服务器,被C 和C++语言盘踞,由于它们可以直接使用操作系统的 异步I/O 能力,所以对JDK 的NIO 并不关心; 2.移动互联网尚未兴起,基于Java 的大规模分布式系统极少,很多中小型应用服务 对于异步I/O 的诉求不是很强烈; 3.高性能、高可靠性领域,例如银行、证券、电信等,依然以C++为主导,Java 充 当打杂的角色,NIO 暂时没有用武之地; 4.当时主流的J2EE 服务器,几乎全部基于同步阻塞I/O 构建,例如Servlet、Tomcat 等,由于它们应用广泛,如果这些容器不支持NIO,用户很难具备独立构建异步协议栈的 能力; 5.异步NIO 编程门槛比较高,开发和维护一款基于NIO 的协议栈对很多中小型公司 来说像是一场噩梦; 6.业界NIO 框架不成熟,很难商用; 7.国内研发界对NIO 的陌生和认识不足,没有充分重视。 基于上述几种原因,NIO 编程的推广和发展长期滞后。值得欣慰的是,随着大规模分布式系统、大数据和流式计算框架的兴起,基于Java 来构建这些系统已经成为主流,NIO编程和NIO 框架在此期间得到了大规模的商用。在互联网领域,阿里的分布式服务框架Dubbo、RocketMQ,大数据的基础序列化和通信框架Avro,以及很多开源的软件都已经开始使用Netty 来构建高性能、分布式通信能力,Netty 社区的活跃度也名列前茅。根据目前的信息,Netty 已经在如下几个领域得到了大规模的商业应用。 1.互联网领域; 2.电信领域; 3.大数据领域; 4.银行、证券等金融领域; 5.游戏行业; 6.电力等企业市场。 2014 年春节前,我分享了一篇博文《Netty 5.0 架构剖析和源码解读》,短短1 个月下 载量达到了4000 多。很多网友向我咨询NIO 编程技术、NIO 框架如何选择等问题,也有一些圈内朋友和出版社邀请我写一本关于Netty 的技术书籍。作为最流行、表现最优异的NIO 框架,Netty 深受大家喜爱,但是长期以来除了User Guide 之外,国内鲜有Netty 相关的技术书籍供广大NIO 编程爱好者学习和参考。由于Netty 源码的复杂性和NIO 编程本身的技术门槛限制,对于大多数读者而言,通过自己阅读和分析源码来深入掌握Netty 的设计原理和实现细节是件困难的事情。从2011 年开始我系统性地分析和应用了Netty 和Mina,转瞬间已经过去了3 年多。在这3 年的时间里,我们的系统经受了无数严苛的考验,在这个过程中,我对Netty 和Mina 有了更深刻的体验,也积累了丰富的运维和实战经验。我们都是开源框架Netty 的受益者,为了让更多的朋友和同行能够了解NIO 编程,深入学习和掌握Netty 这个NIO 利器,我打算将我的经验和大家分享,同时也结束国内尚无Netty学习教材的尴尬境地。 致谢 如果说个人能够改变自己命运的话,对于程序员来说,唯有通过不断地学习和实践,努力提升自己的技能,才有可能找到更好的机会,充分发挥和体现自己的价值。我希望本书能够为你的成功助一臂之力。 感谢博文视点的策划编辑丁一琼和幕后的美编,正是你们的辛苦工作才保证了本书能够顺利出版;感谢华为Netty 爱好者和关注本书的领导同事们的支持,你们的理解和鼓励为我提供了足够的勇气;感谢我的家人和老婆的支持,写书占用了我几乎所有的业余时间,没有你们的理解和支持,我很难安心写作。 最后感谢Netty 中国社区的朋友,我的微博粉丝和所有喜欢Netty 的朋友们,你们对技术的热情是鼓励我写书的最重要动力,没有你们,就没有本书。希望大家一如既往地喜欢NIO 编程,喜欢Netty,以及相互交流和分享,共同推动整个国内异步高性能通信领域的技术发展。 李林锋 2014 年5 月11 日于南京紫轩阁
李林峰,Netty中国推广者,现华为技术有限公司平台中间件架构与设计部设计师,公司总裁技术创新奖获得者。长期从事高性能通信软件的架构设计和开发工作,有多年在NIO领域的设计、开发和运维经验,精通NIO编程和Netty、Mina等主流NIO框架。
基础篇 走进Java NIO
第1 章 Java 的I/O 演进之路......2 1.1 I/O 基础入门......3 1.1.1 Linux 网络I/O 模型简介......3 1.1.2 I/O 多路复用技术......6 1.2 Java 的I/O 演进......8 1.3 总结...... 10 第2 章 NIO 入门...... 11 2.1 传统的BIO 编程...... 11 2.1.1 BIO 通信模型图...... 12 2.1.2 同步阻塞式I/O 创建的TimeServer 源码分析...... 13 2.1.3 同步阻塞式I/O 创建的TimeClient 源码分析...... 16 2.2 伪异步I/O 编程...... 18 2.2.1 伪异步I/O 模型图...... 19 2.2.2 伪异步I/O 创建的TimeServer 源码分析...... 19 2.2.3 伪异步I/O 弊端分析...... 21 2.3 NIO 编程...... 24 2.3.1 NIO 类库简介...... 24 2.3.2 NIO 服务端序列图...... 28 2.3.3 NIO 创建的TimeServer 源码分析...... 30 2.3.4 NIO 客户端序列图...... 36 2.3.5 NIO 创建的TimeClient 源码分析...... 39 2.4 AIO 编程...... 45 2.4.1 AIO 创建的TimeServer 源码分析...... 46 2.4.2 AIO 创建的TimeClient 源码分析...... 51 2.4.3 AIO 版本时间服务器运行结果...... 56 2.5 4 种I/O 的对比...... 58 2.5.1 概念澄清...... 58 2.5.2 不同I/O 模型对比...... 59 2.6 选择Netty 的理由...... 60 2.6.1 不选择Java 原生NIO 编程的原因...... 61 2.6.2 为什么选择Netty ...... 62 2.7 总结...... 63 入门篇 Netty NIO 开发指南 第3 章 Netty 入门应用...... 66 3.1 Netty 开发环境的搭建...... 66 3.1.1 下载Netty 的软件包...... 67 3.1.2 搭建Netty 应用工程...... 67 3.2 Netty 服务端开发...... 68 3.3 Netty 客户端开发...... 73 3.4 运行和调试...... 76 3.4.1 服务端和客户端的运行...... 76 3.4.2 打包和部署...... 77 3.5 总结...... 77 第4 章 TCP 粘包/拆包问题的解决之道...... 79 4.1 TCP 粘包/拆包...... 79 4.1.1 TCP 粘包/拆包问题说明...... 80 4.1.2 TCP 粘包/拆包发生的原因...... 80 4.1.3 粘包问题的解决策略...... 81 4.2 未考虑TCP 粘包导致功能异常案例...... 82 4.2.1 TimeServer 的改造...... 82 4.2.2 TimeClient 的改造...... 83 4.2.3 运行结果...... 84 4.3 利用LineBasedFrameDecoder 解决TCP 粘包问题...... 85 4.3.1 支持TCP 粘包的TimeServer ...... 86 4.3.2 支持TCP 粘包的TimeClient...... 88 4.3.3 运行支持TCP 粘包的时间服务器程序...... 90 4.3.4 LineBasedFrameDecoder 和StringDecoder 的原理分析...... 91 4.4 总结...... 92 第5 章 分隔符和定长解码器的应用...... 93 5.1 DelimiterBasedFrameDecoder 应用开发...... 94 5.1.1 DelimiterBasedFrameDecoder 服务端开发...... 94 5.1.2 DelimiterBasedFrameDecoder 客户端开发...... 97 5.1.3 运行DelimiterBasedFrameDecoder 服务端和客户端...... 99 5.2 FixedLengthFrameDecoder 应用开发...... 101 5.2.1 FixedLengthFrameDecoder 服务端开发...... 101 5.2.2 利用telnet 命令行测试EchoServer 服务端...... 103 5.3 总结...... 104 中级篇 Netty 编解码开发指南 第6 章 编解码技术...... 106 6.1 Java 序列化的缺点...... 107 6.1.1 法跨语言...... 107 6.1.2 序列化后的码流太大...... 107 6.1.3 序列化性能太低...... 110 6.2 业界主流的编解码框架...... 113 6.2.1 Google 的Protobuf 介绍...... 113 6.2.2 Facebook 的Thrift 介绍...... 115 6.2.3 JBoss Marshalling 介绍...... 116 6.3 总结...... 117 第7 章 MessagePack 编解码...... 118 7.1 MessagePack 介绍...... 118 7.1.1 MessagePack 多语言支持...... 119 7.1.2 MessagePack Java API 介绍...... 119 7.1.3 MessagePack 开发包下载...... 120 7.2 MessagePack 编码器和解码器开发...... 120 7.2.1 MessagePack 编码器开发...... 120 7.2.2 MessagePack 解码器开发...... 121 7.2.3 功能测试...... 121 7.3 粘包/半包支持...... 124 7.4 总结...... 127 第8 章 Google Protobuf 编解码...... 128 8.1 Protobuf 的入门...... 129 8.1.1 Protobuf 开发环境搭建...... 129 8.1.2 Protobuf 编解码开发...... 131 8.1.3 运行Protobuf 例程...... 133 8.2 Netty 的Protobuf 服务端开发...... 133 8.2.1 Protobuf 版本的图书订购服务端开发...... 134 8.2.2 Protobuf 版本的图书订购客户端开发...... 136 8.2.3 Protobuf 版本的图书订购程序功能测试...... 139 8.3 Protobuf 的使用注意事项...... 140 8.4 总结...... 142 第9 章 JBoss Marshalling 编解码...... 143 9.1 Marshalling 开发环境准备...... 143 9.2 Netty 的Marshalling 服务端开发...... 144 9.3 Netty 的Marshalling 客户端开发...... 147 9.4 运行Marshalling 客户端和服务端例程...... 149 9.5 总结...... 150 高级篇 Netty 多协议开发和应用 第10 章 HTTP 协议开发应用...... 154 10.1 HTTP 协议介绍...... 155 10.1.1 HTTP 协议的URL ...... 155 10.1.2 HTTP 请求消息(HttpRequest)...... 155 10.1.3 HTTP 响应消息(HttpResponse) ...... 158 10.2 Netty HTTP 服务端入门开发...... 159 10.2.1 HTTP 服务端例程场景描述...... 160 10.2.2 HTTP 服务端开发...... 160 10.2.3 Netty HTTP 文件服务器例程运行结果...... 166 10.3 Netty HTTP+XML 协议栈开发...... 170 10.3.1 开发场景介绍...... 171 10.3.2 HTTP+XML 协议栈设计...... 174 10.3.3 高效的XML 绑定框架JiBx ...... 175 10.3.4 HTTP+XML 编解码框架开发...... 183 10.3.5 HTTP+XML 协议栈测试...... 199 10.3.6 小结...... 201 10.4 总结...... 202 第11 章 WebSocket 协议开发...... 203 11.1 HTTP 协议的弊端...... 204 11.2 WebSocket 入门...... 204 11.2.1 WebSocket 背景...... 205 11.2.2 WebSocket 连接建立...... 206 11.2.3 WebSocket 生命周期...... 207 11.2.4 WebSocket 连接关闭...... 208 11.3 Netty WebSocket 协议开发...... 209 11.3.1 WebSocket 服务端功能介绍...... 209 11.3.2 WebSocket 服务端开发...... 210 11.3.3 运行WebSocket 服务端...... 218 11.4 总结...... 219 第12 章 私有协议栈开发...... 221 12.1 私有协议介绍...... 221 12.2 Netty 协议栈功能设计...... 223 12.2.1 网络拓扑图...... 223 12.2.2 协议栈功能描述...... 224 12.2.3 通信模型...... 224 12.2.4 消息定义...... 225 12.2.5 Netty 协议支持的字段类型...... 226 12.2.6 Netty 协议的编解码规范...... 227 12.2.7 链路的建立...... 229 12.2.8 链路的关闭...... 230 12.2.9 可靠性设计...... 230 12.2.10 安全性设计...... 232 12.2.11 可扩展性设计...... 232 12.3 Netty 协议栈开发...... 233 12.3.1 数据结构定义...... 233 12.3.2 消息编解码...... 237 12.3.3 握手和安全认证...... 241 12.3.4 心跳检测机制...... 245 12.3.5 断连重连...... 248 12.3.6 客户端代码...... 249 12.3.7 服务端代码...... 251 12.4 运行协议栈...... 252 12.4.1 正常场景...... 252 12.4.2 异常场景:服务端宕机重启...... 253 12.4.3 异常场景:客户端宕机重启...... 256 12.5 总结...... 256 第13 章 服务端创建...... 258 13.1 原生NIO 类库的复杂性...... 259 13.2 Netty 服务端创建源码分析...... 259 13.2.1 Netty 服务端创建时序图...... 260 13.2.2 Netty 服务端创建源码分析...... 263 13.3 客户端接入源码分析...... 272 13.4 总结...... 275 第14 章 客户端创建...... 276 14.1 Netty 客户端创建流程分析...... 276 14.2.1 Netty 客户端创建时序图...... 276 14.2.2 Netty 客户端创建流程分析...... 277 14.2 Netty 客户端创建源码分析...... 278 14.2.1 客户端连接辅助类Bootstrap...... 278 14.2.2 客户端连接操作...... 281 14.2.3 异步连接结果通知...... 283 14.2.4 客户端连接超时机制...... 284 14.3 总结...... 286 源码分析篇 Netty 功能介绍和源码分析 第15 章 ByteBuf 和相关辅助类...... 288 15.1 ByteBuf 功能说明...... 288 15.1.1 ByteBuf 的工作原理...... 289 15.1.2 ByteBuf 的功能介绍...... 294 15.2 ByteBuf 源码分析...... 308 15.2.1 ByteBuf 的主要类继承关系...... 309 15.2.2 AbstractByteBuf 源码分析...... 310 15.2.3 AbstractReferenceCountedByteBuf 源码分析...... 319 15.2.4 UnpooledHeapByteBuf 源码分析...... 321 15.2.5 PooledByteBuf 内存池原理分析...... 326 15.2.6 PooledDirectByteBuf 源码分析...... 329 15.3 ByteBuf 相关的辅助类功能介绍...... 332 15.3.1 ByteBufHolder...... 332 15.3.2 ByteBufAllocator ...... 333 15.3.3 CompositeByteBuf ...... 334 15.3.4 ByteBufUtil ...... 336 15.4 总结...... 337 第16 章 Channel 和Unsafe ...... 338 16.1 Channel 功能说明...... 338 16.1.1 Channel 的工作原理...... 339 16.1.2 Channel 的功能介绍...... 340 16.2 Channel 源码分析...... 343 16.2.1 Channel 的主要继承关系类图...... 343 16.2.2 AbstractChannel 源码分析...... 344 16.2.3 AbstractNioChannel 源码分析...... 347 16.2.4 AbstractNioByteChannel 源码分析...... 350 16.2.5 AbstractNioMessageChannel 源码分析...... 353 16.2.6 AbstractNioMessageServerChannel 源码分析...... 354 16.2.7 NioServerSocketChannel 源码分析...... 355 16.2.8 NioSocketChannel 源码分析...... 358 16.3 Unsafe 功能说明...... 364 16.4 Unsafe 源码分析...... 365 16.4.1 Unsafe 继承关系类图...... 365 16.4.2 AbstractUnsafe 源码分析...... 366 16.4.3 AbstractNioUnsafe 源码分析...... 375 16.4.4 NioByteUnsafe 源码分析...... 379 16.5 总结...... 387 第17 章 ChannelPipeline 和ChannelHandler...... 388 17.1 ChannelPipeline 功能说明...... 389 17.1.1 ChannelPipeline 的事件处理...... 389 17.1.2 自定义拦截器...... 391 17.1.3 构建pipeline ...... 392 17.1.4 ChannelPipeline 的主要特性...... 393 17.2 ChannelPipeline 源码分析...... 393 17.2.1 ChannelPipeline 的类继承关系图...... 393 17.2.2 ChannelPipeline 对ChannelHandler 的管理...... 393 17.2.3 ChannelPipeline 的inbound 事件...... 396 17.2.4 ChannelPipeline 的outbound 事件...... 397 17.3 ChannelHandler 功能说明...... 398 17.3.1 ChannelHandlerAdapter 功能说明...... 399 17.3.2 ByteToMessageDecoder 功能说明...... 399 17.3.3 MessageToMessageDecoder 功能说明...... 400 17.3.4 LengthFieldBasedFrameDecoder 功能说明...... 400 17.3.5 MessageToByteEncoder 功能说明...... 404 17.3.6 MessageToMessageEncoder 功能说明...... 404 17.3.7 LengthFieldPrepender 功能说明...... 405 17.4 ChannelHandler 源码分析...... 406 17.4.1 ChannelHandler 的类继承关系图...... 406 17.4.2 ByteToMessageDecoder 源码分析...... 407 17.4.3 MessageToMessageDecoder 源码分析...... 410 17.4.4 LengthFieldBasedFrameDecoder 源码分析...... 411 17.4.5 MessageToByteEncoder 源码分析...... 415 17.4.6 MessageToMessageEncoder 源码分析...... 416 17.4.7 LengthFieldPrepender 源码分析...... 417 17.5 总结...... 418 第18 章 EventLoop 和EventLoopGroup...... 419 18.1 Netty 的线程模型...... 419 18.1.1 Reactor 单线程模型...... 420 18.1.2 Reactor 多线程模型...... 421 18.1.3 主从Reactor 多线程模型...... 422 18.1.4 Netty 的线程模型...... 423 18.1.5 最佳实践...... 424 18.2 NioEventLoop 源码分析...... 425 18.2.1 NioEventLoop 设计原理...... 425 18.2.2 NioEventLoop 继承关系类图...... 426 18.2.3 NioEventLoop...... 427 18.3 总结...... 436 第19 章 Future 和Promise ...... 438 19.1 Future 功能...... 438 19.2 ChannelFuture 源码分析...... 443 19.3 Promise 功能介绍...... 445 19.4 Promise 源码分析...... 447 19.4.1 Promise 继承关系图...... 447 19.4.2 DefaultPromise ...... 447 19.5 总结...... 449 架构和行业应用篇 Netty 高级特性 第20 章 Netty 架构剖析...... 452 20.1 Netty 逻辑架构...... 452 20.1.1 Reactor 通信调度层...... 453 20.1.2 职责链ChannelPipeline ...... 453 20.1.3 业务逻辑编排层(Service ChannelHandler)...... 454 20.2 关键架构质量属性...... 454 20.2.1 高性能...... 454 20.2.2 可靠性...... 457 20.2.3 可定制性...... 460 20.2.4 可扩展性...... 460 20.3 总结...... 460 第21 章 Java 多线程编程在Netty 中的应用...... 461 21.1 Java 内存模型与多线程编程...... 461 21.1.1 硬件的发展和多任务处理...... 461 21.1.2 Java 内存模型...... 462 21.2 Netty 的并发编程实践...... 464 21.2.1 对共享的可变数据进行正确的同步...... 464 21.2.2 正确使用锁...... 465 21.2.3 volatile 的正确使用...... 467 21.2.4 CAS 指令和原子类...... 470 21.2.5 线程安全类的应用...... 472 21.2.6 读写锁的应用...... 476 21.2.7 线程安全性文档说明...... 477 21.2.8 不要依赖线程优先级...... 478 21.3 总结...... 479 第22 章 高性能之道...... 480 22.1 RPC 调用性能模型分析...... 480 22.1.1 传统RPC 调用性能差的三宗罪...... 480 22.1.2 I/O 通信性能三原则...... 481 22.2 Netty 高性能之道...... 482 22.2.1 异步非阻塞通信...... 482 22.2.2 高效的Reactor 线程模型...... 482 22.2.3 锁化的串行设计...... 485 22.2.4 高效的并发编程...... 486 22.2.5 高性能的序列化框架...... 486 22.2.6 零拷贝...... 487 22.2.7 内存池...... 491 22.2.8 灵活的TCP 参数配置能力...... 494 22.3 主流NIO 框架性能对比...... 495 22.4 总结...... 497 第23 章 可靠性...... 498 23.1 可靠性需求...... 498 23.1.1 宕机的代价...... 498 23.1.2 Netty 可靠性需求...... 499 23.2 Netty 高可靠性设计...... 500 23.2.1 网络通信类故障...... 500 23.2.2 链路的有效性检测...... 507 23.2.3 Reactor 线程的保护...... 510 23.2.4 内存保护...... 513 23.2.5 流量整形...... 516 23.2.6 优雅停机接口...... 519 23.3 优化建议...... 520 23.3.1 发送队列容量上限控制...... 520 23.3.2 回推发送失败的消息...... 521 23.4 总结...... 521 第24 章 安全性...... 522 24.1 严峻的安全形势...... 522 24.1.1 OpenSSL Heart bleed 漏洞...... 522 24.1.2 安全漏洞的代价...... 523 24.1.3 Netty 面临的安全风险...... 523 24.2 Netty SSL 安全特性...... 525 24.2.1 SSL 单向认证...... 525 24.2.2 SSL 双向认证...... 532 24.2.3 第三方CA 认证...... 536 24.3 Netty SSL 源码分析...... 538 24.3.1 客户端...... 538 24.3.2 服务端...... 541 24.3.3 消息读取...... 544 24.3.4 消息发送...... 545 24.4 Netty 扩展的安全特性...... 546 24.4.1 IP 地址黑名单机制...... 547 24.4.2 接入认证...... 548 24.4 总结...... 550 第25 章 Netty 未来展望...... 551 25.1 应用范围...... 551 25.2 技术演进...... 552 25.3 社区活跃度...... 552 25.4 Road Map ...... 552 25.5 总结...... 553 附录A Netty 参数配置表...... 554
13.2.1Netty服务端创建时序图
下面我们对Netty服务端创建的关键步骤和原理进行讲解。 步骤1:创建ServerBootstrap实例。ServerBootstrap是Netty服务端的启动辅助类,它提供了一系列的方法用于设置服务端启动相关的参数。底层通过门面模式对各种能力进行抽象和封装,尽量不需要用户跟过多的底层API打交道,降低用户的开发难度。 我们在创建ServerBootstrap实例时,会惊讶地发现ServerBootstrap只有一个无参的构造函数,作为启动辅助类这让人不可思议,因为它需要与多个其他组件或者类交互。ServerBootstrap构造函数没有参数的根本原因是因为它的参数太多了,而且未来也可能会发生变化,为了解决这个问题,就需要引入Builder模式。《Effective Java》第二版第2条建议遇到多个构造器参数时要考虑用构建器,关于多个参数构造函数的缺点和使用构建器的优点大家可以查阅《Effective Java》,在此不再详述。 步骤2:设置并绑定Reactor线程池。Netty的Reactor线程池是EventLoopGroup,它实际就是EventLoop的数组。EventLoop的职责是处理所有注册到本线程多路复用器Selector上的Channel,Selector的轮询操作由绑定的EventLoop线程run方法驱动,在一个循环体内循环执行。值得说明的是,EventLoop的职责不仅仅是处理网络I/O事件,用户自定义的Task和定时任务Task也统一由EventLoop负责处理,这样线程模型就实现了统一。从调度层面看,也不存在在EventLoop线程中再启动其他类型的线程用于异步执行另外的任务,这样就避免了多线程并发操作和锁竞争,提升了I/O线程的处理和调度性能。 步骤3:设置并绑定服务端Channel。作为NIO服务端,需要创建ServerSocketChannel,Netty对原生的NIO类库进行了封装,对应实现是NioServerSocketChannel。对于用户而言,不需要关心服务端Channel的底层实现细节和工作原理,只需要指定具体使用哪种服务端Channel即可。因此,Netty的ServerBootstrap方法提供了channel方法用于指定服务端Channel的类型。Netty通过工厂类,利用反射创建NioServerSocketChannel对象。由于服务端监听端口往往只需要在系统启动时才会调用,因此反射对性能的影响并不大。相关代码如下。 public ServerBootstrap channel(Class channelClass) { if (channelClass == null) { throw new NullPointerException("channelClass"); } return channelFactory(new ServerBootstrapChannelFactory(channelClass)); } 步骤4:链路建立的时候创建并初始化ChannelPipeline。ChannelPipeline并不是NIO服务端必需的,它本质就是一个负责处理网络事件的职责链,负责管理和执行ChannelHandler。网络事件以事件流的形式在ChannelPipeline中流转,由ChannelPipeline根据ChannelHandler的执行策略调度ChannelHandler的执行。典型的网络事件如下。 (1)链路注册; (2)链路激活; (3)链路断开; (4)接收到请求消息; (5)请求消息接收并处理完毕; (6)发送应答消息; (7)链路发生异常; (8)发生用户自定义事件。 步骤5:初始化ChannelPipeline完成之后,添加并设置ChannelHandler。ChannelHandler是Netty提供给用户定制和扩展的关键接口。利用ChannelHandler用户可以完成大多数的功能定制,例如消息编解码、心跳、安全认证、TSL/SSL认证、流量控制和流量整形等。Netty同时也提供了大量的系统ChannelHandler供用户使用,比较实用的系统ChannelHandler总结如下。 (1)系统编解码框架——ByteToMessageCodec; (2)通用基于长度的半包解码器——LengthFieldBasedFrameDecoder; (3)码流日志打印Handler——LoggingHandler; (4)SSL安全认证Handler——SslHandler; (5)链路空闲检测Handler——IdleStateHandler; (6)流量整形Handler——ChannelTrafficShapingHandler; (7)Base64编解码——Base64Decoder和Base64Encoder。 创建和添加ChannelHandler的代码示例如下。 .childHandler(new ChannelInitializer() { @Override public void initChannel(SocketChannel ch) throws Exception { ch.pipeline().addLast( new EchoServerHandler()); } }); 步骤6:绑定并启动监听端口。在绑定监听端口之前系统会做一系列的初始化和检测工作,完成之后,会启动监听端口,并将ServerSocketChannel注册到Selector上监听客户端连接,相关代码如下。 protected void doBind(SocketAddress localAddress) throws Exception { javaChannel().socket().bind(localAddress, config.getBacklog()); } 步骤7:Selector轮询。由Reactor线程NioEventLoop负责调度和执行Selector轮询操作,选择准备就绪的Channel集合,相关代码如下。 private void select() throws IOException { Selector selector = this.selector; try { //此处代码省略...... int selectedKeys = selector.select(timeoutMillis); selectCnt ++; //此处代码省略...... } 步骤8:当轮询到准备就绪的Channel之后,就由Reactor线程NioEventLoop执行ChannelPipeline的相应方法,最终调度并执行ChannelHandler,接口如图13-2所示。 步骤9:执行Netty系统ChannelHandler和用户添加定制的ChannelHandler。ChannelPipeline根据网络事件的类型,调度并执行ChannelHandler,相关代码如下。 public ChannelHandlerContext fireChannelRead(Object msg) { DefaultChannelHandlerContext next = findContextInbound(MASK_CHANNEL_READ); next.invoker.invokeChannelRead(next, msg); return this; ……
你还可能感兴趣
我要评论
|