Istio权威指南(下):云原生服务网格Istio架构与源码
  • 推荐0
  • 收藏0
  • 浏览61

Istio权威指南(下):云原生服务网格Istio架构与源码

张超盟 (作者)  张国霞 (责任编辑)

  • 丛  书:华为云原生技术丛书
  • 书  号:978-7-121-45305-2
  • 出版日期:2023-05-01
  • 页  数:468
  • 开  本:16(185*235)
  • 出版状态:上市销售
  • 维护人:张国霞
本书是《Istio权威指南》的下册,重点讲解Istio的架构与源码,分为架构篇与源码篇。

架构篇从架构的视角分别介绍Istio各组件的设计思想、数据模型和核心工作流程。在Istio 1.16中,Istiod以原有的Pilot为基础框架构建了包含Pilot、Citadel、Galley等组件的统一控制面。本书第15、16、17章分别介绍以上三个组件各自的架构、模型和流程机制;第18、19、20章依次讲解数据面Pilot-agent、Envoy和Istio-proxy的架构和流程,包括三者的结合关系,配合Istio控制面组件实现流量管理功能,特别是Envoy的架构、模型和关键流程。
源码篇包括第21~26章,与架构篇的6章对应,分别介绍Istio管理面组件Pilot、Citadel、Galley与数据面Pilot-agent、Envoy、Istio-proxy的主要代码结构、代码流程及关键代码片段。本篇配合架构篇中每个组件的架构和机制,对Istio重要组件的实现进行了更详细的讲解和剖析,为读者深入研读Istio相关代码,以及在生产环境下进行相应代码的调试和修改提供指导。

本书适合入门级读者从零开始了解Istio的架构,也适合有一定基础的读者深入研究Istio的源码。
华为云云原生团队详尽解读Istio架构与源码,中国信通院、华为云、CNCF、Istio社区等众咖力赞,内容权威、详尽,持续、全面提供读者服务
——张超盟
华为云应用服务网格架构师,拥有15年以上的开发经验,先后负责过华为云容器应用运维、微服务平台、云服务目录、云服务可靠性、服务网格等云原生产品的架构设计与开发工作,主导过多个重大项目的云原生和微服务化生产落地。在服务网格、Kubernetes容器服务、微服务架构、应用性能管理、大数据、DevOps工具等方面有深入的研究与实践。Istio社区成员,KubeCon、IstioCon及ServiceMeshCon等会议的演讲者,技术图书作者。早期曾在中铁一局从事路桥建设工作。

——徐中虎
华为云云原生团队核心成员,开源技术专家,服务网格Istio核心维护者,Istio社区指导委员会成员,Kubernetes项目核心贡献者,批量计算项目Volcano的核心维护者,拥有丰富的开源工作经验。主要研究方向有微服务架构、服务网格、容器编排平台Kubernetes和未来的分布式云原生架构等。在分布式系统的性能优化、高可靠和可扩展方面研究深入、经验丰富。

——张 伟
华为云服务网格数据面资深专家,拥有18年架构设计与开发经验,先后就职于亿阳信通、加拿大北电网络(中国)、甲骨文、Polycom、阿里巴巴及华为等公司。作为核心开发人员开发过传输网管系统、Tuxedo交易中间件、ts-server多媒体转码服务、GTS高性能事务云服务、sc高性能注册中心、ASM数据面等多个产品,现主要负责华为云ASM服务网格数据面代理产品的设计与开发工作。

——冷 雪
西安电子科技大学杭州研究院菁英副教授,浙江大学工学博士。主要研究方向有云原生安全、性能优化和智能运维等,致力于解决云网环境下的关键问题。曾参与并主持多项科研项目,在国际顶级会议和期刊上发表多篇论文并获得多项授权专利。

/ 华为云云原生团队 /
华为云云原生团队创建于2013年,是国内较早从事云原生研究的团队之一,也是CNCF的初创成员和白金会员。华为云在容器、服务网格、微服务等云原生技术领域都有着深厚的沉淀,拥有10多名CNCF项目维护者,对Kubernetes、Istio等核心项目的贡献一直位居全球前列,并向CNCF捐献了KubeEdge、Volcano、Karmada等知名项目。基于CNCF的开源生态,华为云还打造了云容器引擎、云容器实例、应用服务网格等一系列优质的商业化云原生服务。
为进一步推广云原生技术,加速云原生在行业中落地,华为云联合CNCF、中国信通院及业界云原生技术精英们成立了全球云原生交流平台——创原会。

/ 创原会 /
创原会是CNCF、中国信通院、华为云及业界云原生技术精英们联合成立的全球云原生交流平台,旨在通过研究前沿云原生技术及共享产业落地实践,探索云原生与业务融合的无限可能。自2020年成立至今,创原会已在中国、东南亚、拉美、欧洲陆续成立分会并举办活动50余场,为全球技术精英们提供了一个优质、高端、开放的交流平台,并吸纳近300位CTO、技术总监成为会员,极大地促进了云原生在全球各行业中的普及和落地。
Istio从2017年开源第1个版本到当前版本,已经走过了5年多的时间。在此期间,伴随着云原生技术在各个领域的飞速发展,服务网格的应用也越来越广泛和深入。作为服务网格领域最具影响力的项目,Istio快速发展和成熟,获得越来越多的技术人员关注和应用。我们希望通过《Istio权威指南》系统且深入地讲解Istio,帮助相关技术人员了解和熟悉Istio,满足其日常工作中的需求。《Istio权威指南(上):云原生服务网格Istio原理与实践》是《Istio权威指南》的上册,重点讲解Istio的原理与实践;《Istio权威指南(下):云原生服务网格Istio架构与源码》是《Istio权威指南》的下册,重点讲解Istio的架构与源码。
近年来,服务网格在各个行业中的生产落地越来越多。CNCF在2022年上半年公布的服务网格调查报告显示,服务网格的生产使用率已达到60%,有19%的公司计划在接下来的一年内使用服务网格。当然,服务网格作为云原生的重要技术之一,当前在Gartner的评定中仍处于技术发展的早期使用阶段,有很大的发展空间。
CNCF这几年的年度调查显示,Istio一直是生产环境下最受欢迎和使用最多的服务网格。其重要原因是,Istio是功能非常全面、扩展性非常好、与云原生技术结合得非常紧密、非常适用于云原生场景的服务网格。像早期Kubernetes在编排领域的设计和定位一样,Istio从2017年第1个版本开始规划项目的应用场景和架构时,就致力于构建一个云原生的基础设施平台,而不是解决某具体问题的简单工具。
作为基础设施平台,Istio向应用开发人员和应用运维人员提供了非常大的透明度。Istio自动在业务负载中注入服务网格数据面代理,自动拦截业务的访问流量,可方便地在多种环境下部署和应用,使得业务在使用Istio时无须做任何修改,甚至感知不到这个基础设施的存在。在实现上,Istio提供了统一的配置模型和执行机制来保证策略的一致性,其控制面和数据面在架构上都提供了高度的可扩展性,支持用户基于实际需要进行扩展。
2022年9月28日,Istio项目被正式批准加入CNCF。这必将推动Istio与Envoy项目的紧密协作,一起构建云原生应用流量管理的技术栈。正如Kubernetes已成为容器编排领域的行业标准,加入CNCF也将进一步促进Istio成为应用流量治理领域的事实标准。Istio和Kubernetes的紧密配合,也将有助于拉通规划和开发更有价值的功能。根据Istio官方的统计,Istio项目已有8800名个人贡献者,超过260个版本,并有来自15家公司的85名维护者,可见Istio在技术圈和产业圈都获得了极大的关注和认可。
本书作者所在的华为云作为云原生领域的早期实践者与社区领导者之一,在Istio项目发展初期就参与了社区工作,积极实践并推动项目的发展,贡献了大量大颗粒特性。本书作者之一徐中虎在2020年Istio社区进行的第一次治理委员会选举中作为亚洲唯一代表入选,参与Istio技术策略的制定和社区决策。
本书作者作为Istio早期的实践者,除了持续开发满足用户需求的服务网格产品并参与社区贡献,也积极促进服务网格等云原生技术在国内的推广,包括于2019年出版《云原生服务网格Istio:原理、实践、架构与源码解析》一书,并通过KubeCon、IstioCon、ServiceMeshCon等云原生和服务网格相关的技术峰会,推广服务网格和Istio相关的架构、生产实践和配套解决方案等。

写作目的

《Istio 权威指南》作为“华为云原生技术丛书”的一员,面向云计算领域的从业者及感兴趣的技术人员,普及与推广Istio。本书作者来自华为云云原生团队,本书基于作者在华为云及Istio社区的设计与开发实践,以及与服务网格强相关的Kubernetes容器、微服务和云原生领域的丰富经验,对Istio的原理、实践、架构与源码进行了系统化的深入剖析,由浅入深地讲解了Istio的概念、原理、架构、模型、用法、设计理念、典型实践和源码细节。
本书是《Istio权威指南》的下册,适合入门级读者从零开始了解Istio的架构,也适合有一定基础的读者深入研究Istio的源码。

《Istio权威指南》的组织架构

《Istio权威指南》分为原理篇、实践篇、架构篇和源码篇,总计26章,其组织架构如下。
原理篇:讲解Istio的相关概念、主要架构和工作原理。其中,第1章通过讲解Istio与微服务、服务网格、Kubernetes这几个云原生关键技术的联系,帮助读者立体地理解Istio的概念。第2章概述Istio的工作机制、服务模型、总体架构和主要组件。第3、4、5章通过较大篇幅讲解Istio提供的流量治理、可观测性和策略控制、服务安全这三大核心特性,包括其各自解决的问题、实现原理、配置模型、配置定义和典型应用,可以满足大多数读者在工作中的具体需求。第6章重点讲解自动注入和流量拦截的透明代理原理。第7章讲解Istio正在快速发展的多基础设施流量管理,包括对各种多集群模型、容器、虚拟机的统一管理等。
实践篇:通过贯穿全书的一个天气预报应用来实践Istio的非侵入能力。其中,第8章讲解如何从零开始搭建环境。第9章通过Istio的非侵入方式生成指标、拓扑、调用链和访问日志等。第10章讲解多种灰度发布方式,带读者了解Istio灵活的发布策略。第11章讲解负载均衡、会话保持、故障注入、超时、重试、HTTP重定向、HTTP重写、熔断与连接池、熔断异常点检测、限流等流量策略的实践。第12章讲解两种认证策略及其与授权的配合,以及Istio倡导的零信任网络的关键技术。第13章讲解入口网关和出口网关的流量管理,展示服务网格对东西向流量和南北向流量的管理。第14章则是对多集群和虚拟机环境下流量治理的实践。
架构篇:从架构的视角分别讲解Istio各组件的设计思想、数据模型和核心工作流程。在Istio 1.16中,Istiod以原有的Pilot为基础框架构建了包含Pilot、Citadel、Galley等组件的统一控制面,第15、16、17章分别讲解以上三个组件各自的架构、模型和流程机制。第18、19、20章依次讲解服务网格数据面上Pilot-agent、Envoy和Istio-proxy的架构和流程,包括三者的结合关系,配合Istio控制面组件完成流量管理,特别是Envoy的架构、模型和关键流程。
源码篇:包括第21~26章,与架构篇的6章对应,分别讲解Istio管理面组件Pilot、Citadel、Galley与数据面Pilot-agent、Envoy、Istio-proxy的主要代码结构、代码流程和关键代码片段。本篇配合架构篇中每个组件的架构和机制,对Istio重要组件的实现进行了更详细的讲解和剖析,为读者深入研读Istio相关代码,以及在生产环境下进行相应代码的调试和修改提供指导。

学习建议

对于有不同需求的读者,我们建议这样使用本书。
对云原生技术感兴趣的所有读者,都可通过阅读《Istio权威指南(上):云原生服务网格Istio原理与实践》,了解服务网格和Istio的概念、技术背景、设计理念与功能原理,并全面掌握Istio流量治理、可观测性和安全等功能的使用方式。通过实践篇可以从零开始学习搭建Istio运行环境并完成多种场景的实践,逐渐熟悉Istio的功能、应用场景,以及需要解决的问题,并加深对Istio原理的理解。对于大多数架构师、开发者和其他从业人员,通过对原理篇和实践篇的学习,可以系统、全面地了解Istio的方方面面,满足日常工作需要。
对Istio架构和实现细节感兴趣的读者,可以阅读《Istio权威指南(下):云原生服务网格Istio架构与源码》,了解Istio的整体架构、各个组件的详细架构、设计理念和关键的机制流程。若对Istio源码感兴趣,并且在实际工作中需要调试或基于源码进行二次开发,那么还可以通过阅读源码篇,了解Istio各个项目的代码结构、详细流程、主要数据结构及关键代码片段。在学习源码的基础上,读者可以根据自己的兴趣或工作需求,深入了解某一关键机制的完整实现,并作为贡献者参与Istio或Envoy项目的开发。
勘误和支持

您在阅读本书的过程中有任何问题或者建议时,都可以通过本书源码仓库提交Issue或者PR(源码仓库地址参见本书封底的读者服务),也可以关注华为云原生官方微信公众号并加入微信群与我们交流。我们十分感谢并重视您的反馈,会对您提出的问题、建议进行梳理与反馈,并在本书后续版本中及时做出勘误与更新。
本书还免费提供了Istio培训视频及Istio常见问题解答等资源,请通过本书封底的读者服务获取这些资源。

致谢

在本书的写作及成书过程中,本书作者团队得到了公司内外领导、同事及朋友的指导、鼓励和帮助。感谢华为云张平安、张宇昕、李帮清等业务主管对华为云原生技术丛书及本书写作的大力支持;感谢华为云容器团队张琦、王泽锋、张永明、吕赟等对本书的审阅与建议;感谢电子工业出版社博文视点张国霞编辑一丝不苟地制订出版计划及组织工作。感谢章鑫、徐飞等一起参与华为云原生技术丛书《云原生服务网格Istio:原理、实践、架构与源码解析》的创作,你们为国内服务网格技术的推广做出了很大贡献,也为本书的出版打下了良好的基础。感谢四位作者的家人,特别是豆豆、小核桃、毛毛小朋友的支持,本书创作的大部分时间源自陪伴你们的时间;也感谢CNCF及Istio、Kubernetes、Envoy社区众多开源爱好者辛勤、无私的工作,期待和你们一起基于云原生技术为产业创造更大价值。谢谢大家!

——华为云容器服务域总监 黄 毽
——华为云应用服务网格架构师 张超盟

目录

架 构 篇

第15章 Pilot的架构 2
15.1 Pilot的基本架构 2
15.1.1 Istio的服务模型 4
15.1.2 xDS协议 6
15.2 Pilot的原理 12
15.2.1 xDS服务器 13
15.2.2 服务发现 24
15.2.3 配置规则发现 29
15.2.4 xDS的生成和分发 35
15.3 安全插件 42
15.3.1 认证插件 43
15.3.2 授权插件 46
15.4 Pilot的关键设计 48
15.4.1 三级缓存模型 48
15.4.2 去抖动分发 50
15.4.3 防过度分发 51
15.4.4 增量EDS 51
15.4.5 资源隔离 53
15.4.6 自动管理虚拟机工作负载 54
15.5 本章小结 55

第16章 Citadel的架构 56
16.1 Istio的证书和身份管理 56
16.2 Citadel的基本架构 59
16.3 Citadel的核心原理 60
16.3.1 核心组件的初始化 61
16.3.2 CA服务器 62
16.3.3 证书签发 63
16.3.4 证书轮转器 65
16.4 本章小结 67

第17章 Galley的架构 68
17.1 简化的Galley 68
17.2 Galley的整体架构 69
17.2.1 早期的MCP 70
17.2.2 基于xDS的MCP 72
17.3 Galley的核心工作原理 72
17.3.1 启动初始化 72
17.3.2 API校验 75
17.3.3 对API配置的管理 78
17.4 本章小结 79

第18章 Pilot-agent的架构 80
18.1 Pilot-agent的用途 81
18.2 Pilot-agent的核心架构 81
18.3 Pilot-agent的原理 83
18.3.1 Envoy的启动 84
18.3.2 优雅退出 85
18.3.3 xDS代理 87
18.3.4 证书管理 90
18.3.5 DNS服务器 91
18.3.6 应用健康检查 92
18.4 本章小结 93

第19章 Envoy的架构 94
19.1 Envoy的整体架构 95
19.1.1 Envoy的内部架构 96
19.1.2 Envoy的通信架构 100
19.2 Envoy的内存管理 110
19.2.1 堆内存管理 110
19.2.2 Buffer管理 111
19.3 Envoy过滤器的架构 114
19.3.1 过滤器的注册 115
19.3.2 过滤器的回调方法 117
19.3.3 过滤器的挂起与恢复 118
19.4 Envoy的初始化流程 119
19.4.1 静态配置 120
19.4.2 动态配置 121
19.4.3 Envoy的创建及初始化流程 124
19.4.4 Envoy的运行流程 128
19.4.5 目标服务Cluster的创建 129
19.4.6 监听器的创建 131
19.5 Envoy的网络及线程模型 133
19.5.1 Server主线程 134
19.5.2 Accesslog线程 136
19.5.3 工作线程 138
19.5.4 GuardDog线程 139
19.5.5 线程间的同步 139
19.6 Envoy的热升级流程 141
19.7 Envoy的新连接处理流程 144
19.8 Envoy的请求及响应数据处理流程 145
19.8.1 对下游请求数据的接收及处理 146
19.8.2 对上游请求数据的处理及发送 149
19.8.3 对上游响应数据的接收及发送 151
19.9 xDS的原理及工作流程 153
19.10 安全证书处理 155
19.11 WASM虚拟机的原理 158
19.12 本章小结 161

第20章 Istio-proxy的架构 162
20.1 Istio-proxy的基本架构 162
20.2 Istio-proxy的原理 163
20.2.1 Istio-proxy的整体工作流程 163
20.2.2 L4 metadata_exchange的工作流程 164
20.2.3 L7 metadata_exchange扩展的工作流程 169
20.2.4 Stats的工作流程 170
20.3 本章小结 173

源 码 篇

第21章 Pilot源码解析 175
21.1 启动流程 175
21.2 关键代码解析 177
21.2.1 ConfigController 178
21.2.2 ServiceController 186
21.2.3 xDS的异步分发 194
21.2.4 对xDS更新的预处理 202
21.2.5 xDS配置的生成及分发 208
21.3 本章小结 211

第22章 Citadel源码解析 212
22.1 启动流程 212
22.1.1 Istio CA的创建 213
22.1.2 SDS服务器的初始化 214
22.1.3 Istio CA的启动 215
22.2 关键代码解析 216
22.2.1 CA 服务器的核心原理 216
22.2.2 证书签发实体IstioCA 218
22.2.3 CredentialsController的创建和核心原理 222
22.3 本章小结 224

第23章 Galley源码解析 225
23.1 启动流程 225
23.1.1 Galley WebhookServer的初始化 226
23.1.2 ValidatingWebhookConfiguration控制器的初始化 226
23.2 关键代码解析 228
23.2.1 配置校验 228
23.2.2 Validating控制器的实现 232
23.3 本章小结 235

第24章 Pilot-agent源码解析 236
24.1 整体架构 236
24.2 启动及监控 238
24.3 xDS转发服务 243
24.4 SDS证书服务 248
24.5 健康检查 255
24.5.1 应用容器的LivenessProbe探测 255
24.5.2 应用容器的ReadinessProbe探测 257
24.5.3 Envoy进程的ReadinessProbe探测 258
24.5.4 Pilot-agent进程的LivenessProbe探测 262
24.6 本章小结 265

第25章 Envoy源码解析 266
25.1 Envoy的初始化 266
25.1.1 启动参数bootstrap的初始化 267
25.1.2 初始化观测指标 268
25.1.3 过滤器注册及信息补齐 269
25.1.4 Envoy自身信息解析 273
25.1.5 Admin API的初始化 273
25.1.6 Worker的初始化 276
25.1.7 Dispatcher内存延迟析构 279
25.1.8 CDS的初始化 283
25.1.9 LDS的初始化 286
25.1.10 初始化观测管理系统 287
25.1.11 启动Stats定期刷新 292
25.1.12 GuardDog的初始化 292
25.2 热重启的流程 296
25.3 Envoy的运行和连接创建 298
25.3.1 启动Worker工作线程 299
25.3.2 监听器的加载 301
25.3.3 接收连接 304
25.4 Envoy接收及处理数据 309
25.4.1 读取数据 310
25.4.2 接收数据 311
25.4.3 处理数据 312
25.5 Envoy发送数据到服务端 317
25.5.1 路由匹配 317
25.5.2 获取连接池 320
25.5.3 创建上游请求 325
25.6 Envoy收到服务端响应 333
25.6.1 接收响应数据 333
25.6.2 发送响应数据 335
25.7 xDS流程解析 337
25.7.1 xDS公共订阅 337
25.7.2 xDS推送 342
25.7.3 LDS更新 343
25.7.4 SDS订阅 350
25.8 遥测元数据存储 352
25.8.1 创建遥测元数据 352
25.8.2 收集Stats观测数据 360
25.8.3 定义静态指标 361
25.9 WASM扩展 363
25.9.1 WASM虚拟机的启动 363
25.9.2 WASM虚拟机的运行 374
25.10 本章小结 387

第26章 Istio-proxy源码解析 388
26.1 metadata_exchange 388
26.2 遥测数据Stats的上报 395
26.3 源码地址 406
26.4 本章小结 408

附录A 源码仓库介绍 409
附录B 实践问题总结 416
附录C 服务网格术语表 432

结 语 447

读者评论

同系列书