Python3网络爬虫宝典-图书

推荐0
收藏4
浏览2.2K

Python3网络爬虫宝典

韦世东 (作者)　林瑞和 (责任编辑)

书　　号：978-7-121-39406-5
出版日期：2020-10-01
页　　数：272
开　　本：16(170*240)
出版状态：上市销售
维护人：林瑞和

Python3是当前市面上极受欢迎的人工智能和网络爬虫语言。本书介绍了爬虫方面更深入的知识。书中首先回顾了爬虫的基础知识；然后详细介绍爬虫常用工具与库的相关知识；接着学习 Redis，为后面的学习打下基础；然后讨论了 Redis 在分布式爬虫中的作用以及分布式爬虫的原理、分类与实现方法；再进一步学习增量爬取的原理与实现方法；然后通过学习网页文本抽取方法和智能抽取方法实现了大规模、多网站的数据爬取；在部署方面通过了解、剖析成熟稳定的爬虫部署平台 Scrapyd，并根据实际业务需求重新构建了一套兼容性更强的爬虫部署平台；最后学习了 Python 中常用的几个任务调度库与框架，通过了解 Celery 逻辑与结构，我们掌握了调度相关的知识，并根据实际业务需求构建了一套支持动态任务增删的任务调度平台。

深入讲解网页正文智能提取算法、分布式爬虫、项目部署与定时调度等热门爬虫技术

韦世东
资深爬虫工程师、2019 华为云·云享专家、掘金社区优秀作者、GitChat 认证作者、夜幕团队（Night Team）成员、《Python3 反爬虫原理与绕过实战》作者，对反爬虫和逆向有研究，精通爬虫架构设计和工程链路实践，搭建过日流量亿级的爬虫架构。

前言
爬虫技术是当今数据时代不可或缺的搬运技术。爬虫技术在金融、房产、科技和贸易等领域中产生了很大的正向作用。企业日益增长的数据需求创造了非常多的爬虫岗位，Python 语言的蓬勃发展则造就了一大批优秀的爬虫工程师。
Python 语言的学习门槛低，也降低了爬虫技术的学习门槛。爬虫技术的发展与业务需求紧密相连，对于数据量大、数据质量要求高且讲求实效性的团队来说，如何在单位时间内获取到更多数据以及如何确保数据源的稳定性和准确率是一个不小的挑战。其中涉及时间复杂度、空间复杂度、高效率、高可用、高准确率和高稳定性等诸多知识。很多开发者学习爬虫技术时会有“很容易”的感觉，但在实际工作中却处处
碰壁，每天都会遇到各种各样的技术挑战。因此，爬虫技术的学习门槛低，但技术上限非常高，工资上限也非常高。
爬虫是一门综合技术，你不仅要学习如何发出网络请求、如何解析网页文本、如何将数据保存到数据库中，还需要掌握能显著提高单体爬取效率的异步I/O 知识、能在单位时间内获取到更多数据的分布式爬虫相关知识、保证数据源稳定性的爬虫设计、高准确率的网页正文自动化提取方法、在贴近业务需求情况下优选的有效降低时间复杂度和空间复杂度的方法，以及分布式结构下多个节点通信、文件同步等。
本书内容均来自实际的业务需求，大部分都是爬虫工程师正面临的问题。我希望通过梳理和总结以往工作中的经验，帮助更多开发者了解并掌握在实际工作中需要用到的与爬虫技术相关的知识。
本书内容
本书共6 章，各章内容归纳如下。
第1 章介绍了爬虫程序的构成和完整链条。首先从一个简单的爬虫程序开始，学习了爬虫工程师常用的网络请求库和文本解析库；然后学习如何将数据分别存入MySQL 数据库、MongoDB 数据库、Redis 数据库和Excel 文件；最后以电子工业出版社新闻资讯页爬虫为例，演示了分析、发出网络请求、解析文本和数据入库的完整流程，这为我们后面的学习打下了坚实的基础。
第2 章介绍了自动化工具的使用。首先通过一个真实的需求案例了解爬虫工程师为什么需要自动化工具，然后介绍了WebDriver 的相关知识，学习了爬虫工程师常用的两款自动化工具——Selenium 和Pyppeteer 的基本使用。在2.2 节我们学习App 自动化工具的知识和基本使用，并动手实现了对App 文字内容和图片内容的爬取。
第3 章介绍了增量爬取的原理与实现。我们从一个真实的爬取需求了解到增量爬取的必要性，然后学习增量爬取的分类和不同增量类型的实现原理。要做增量爬取必然要考虑增量池的时间复杂度或空间复杂度，在3.2 节中我们通过一个实际的需求延伸到增量池的时间复杂度和空间复杂度，并从准确的数值中找到合适的增量实现方式。
由于Redis 的高性能，很多爬虫工程师都会选择Redis 作为URL 增量池，这时候我们不得不考虑Redis 数据持久化的方案，3.3 节介绍了Redis 持久化方式的分类和特点，并动手实践了不同类型的持久化。
第4 章介绍了分布式爬虫的设计与实现。面对海量的数据或者紧迫的时间，我们需要寻找一种稳定、高效的爬取方法，分布式爬虫无疑是我们的最佳选择。在4.1 节中，我们通过实际的需求案例了解爬虫工程师为什么需要分布式爬虫、分布式爬虫的原理、分布式爬虫的分类和共享队列的选择等。在4.2 节中，我们剖析了爬虫业内著名的Scrapy-Redis 库的源码，从而了解到分布式爬虫具体的工程实现。通过第2 章的
学习，我们了解到Redis 在分布式爬虫结构中的应用，于是在4.3 节中我们动手实现了对等分布式爬虫和主从分布式爬虫。相对于Redis 来说，消息中间件能够确保每一条消息都能被消费，不会产生数据丢失的情况，这使得消息中间件受到很多中高级爬虫工程师的青睐，于是在4.4 节中我们学习并动手实践基于消息中间件应用RabbitMQ的分布式爬虫。
第5 章介绍了网页正文自动化提取方法。以往我们讨论的都是针对单个网站的聚焦爬虫，每个网站的页面在解析时都需要有一套对应的解析规则，但如果你的上司要求你爬取1000 个网站，你该怎么办呢？这时候你需要一个能够帮助你自动识别和提取网页正文的工具——Readability。在5.1 节中，我们学习爬虫业内著名的网页正文提取工具Readability 的基本使用，并体验到它那“令人惊叹”的正文提取效果。这时候你肯定会好奇，这种工具如何判断哪部分内容是广告，哪部分内容是正文呢？它又是如何清除那些杂乱的文本，最后将正文返回的呢？在5.2 节中，我们通过阅读论文《基于文本及符号密度的网页正文提取方法》了解将数学和HTML 特性结合到一起的威力——准确率高达 99%以上的网页正文提取方法。《基于文本及符号密度的网页正文提取方法》已经有了具体的代码实现，5.3 节中我们剖析了eneralNewsExtractor 库的源码，以深入了解《基于文本及符号密度的网页正文提取方法》具体的工程实现，从而掌握这套算法。
第6 章介绍了Python 项目打包部署与定时调度的相关知识。首先我们从“如何判断项目是否需要部署”开始学习，然后学习爬虫业内著名的爬虫部署平台Scrapyd 的基本使用，接着剖析Scrapyd 源码，以了解Python 项目打包和解包运行的工程实现。
爬虫本身的业务特性使得爬虫项目需要用到定时调度，我们在6.5 节中学习操作系统级定时调度和编程语言级定时调度的具体实现，同时学习Python 领域备受工程师青睐的定时任务库APScheduler 的结构和基本使用。掌握了前面讲解的知识后，你一定迫不及待地想要自己编写一款Python 领域通用的项目部署与调度平台，在6.6 节中，我们将学习如何设计和编码实现一款这样的平台，平台功能包括权限控制、项目打包与部署、定时调度、异常监控和钉钉机器人通知等。6.7 节中解析了分布式调度平台Crawlab 的核心架构，学习到分布式架构中节点通信、文件同步、任务调度和节点健康监控等知识。相信你在掌握这些知识后，技术能力和工资都将更上一层楼。
阅读建议
这是一本围绕着爬虫具体业务展开的书，书中提到了中高级爬虫工程师在实际工作当中常常遇到的问题和代码实践。这些知识并不具有强连贯性和依赖性，在阅读时可根据自己的需求直接阅读对应的章节，无须按章节顺序逐一阅读。动手实践很重要，千万不要依赖书本提供的代码，如果你在学习过程中能够自己动手写代码，相信你的进步一定会很快。
致谢
本书的顺利编写，得益于家人和朋友的帮助。首先感谢我的家人，我的爸爸妈妈、岳父岳母、夫人、妹妹和我的女儿。有了他们的支持，我才能用心写作。
特别感谢崔庆才（静觅）在我学习路上和写作期间给予的帮助。
感谢开源项目Crawlab 作者张冶青（Marvin）为本书提供的技术支持。
感谢夜幕团队队友们对我的帮助，他们是我迷茫时的明灯、三岔路口的指示牌。
感谢匡水平在本书写作期间提供的帮助。
感谢开源项目GeneralNewsExtractor 作者谢乾坤（Kingname）为本书提供的技术支持。
感谢在我学习过程中与我探讨技术的各位朋友，QQ 群群友和微信群群友，他们对技术的研究和原理探究的精神带动着我，使我学到不少知识。
感谢掘金社区为本书提供的支持。
感谢林瑞和编辑，他在书稿立项和写作过程中给我提供了很多建议和帮助。
感谢在我学习之路和写作过程中提供帮助的每一个人。

免责声明
书中所有内容仅供技术学习与研究，本书提倡读者遵守国家法律法规，切勿将本书讲解的爬虫技术用于非法用途。
相关资源
书中用到的代码片段存放在GitHub 仓库，具体网址请在电子工业出版社博文视点官网的本书页面（http://www.broadview.com.cn/39406）下载，代码仓库与本书章节的对应关系可查阅仓库中的README.md 文件。
我是一名爬虫工程师，同时也是Python 开发者和Golang 开发者。我会在微信公众号和技术博客中更新相关的技术文章，欢迎读者访问交流。当然，大家也可以添加我的微信，期待和你共同进步，一起变强！
韦世东
2020 年3 月

目录
第1 章爬虫程序的构成和完整链条 ........................................................................ 1
1.1 一个简单的爬虫程序 ................................................................................ 1
1.2 爬虫的完整链条 ........................................................................................ 3
1.3 爬取下来的数据被用在什么地方 ............................................................ 7
1.4 爬虫工程师常用的库 .............................................................................. 11
1.4.1 网络请求库 .................................................................................. 11
1.4.2 网页文本解析............................................................................... 19
1.5 数据存储 .................................................................................................. 30
1.5.1 将数据存入MySQL 数据库 ........................................................ 31
1.5.2 将数据存入MongoDB 数据库 .................................................... 34
1.5.3 将数据存入Redis 数据库 ............................................................ 36
1.5.4 Excel 文件的读写 ........................................................................ 38
1.6 小试牛刀——出版社新闻资讯爬虫 ....................................................... 42
实践题 ............................................................................................................... 46
本章小结 ........................................................................................................... 47
第2 章自动化工具的使用 ...................................................................................... 48
2.1 网页渲染工具 .......................................................................................... 48
2.1.1 WebDriver 是什么 ........................................................................ 51
2.1.2 Selenium 的介绍和基本使用 ....................................................... 52
2.1.3 Pyppeteer 的介绍和基本使用 ...................................................... 59
2.1.4 Splash 知识扩展 ........................................................................... 61
本节小结 .................................................................................................. 62
2.2 App 自动化工具 ...................................................................................... 62
2.2.1 Android 调试桥 ............................................................................ 62
2.2.2 Airtest Project 与Poco ................................................................. 64
VIII Python3 网络爬虫宝典
2.2.3 爬取App 中的图片 ...................................................................... 75
2.2.4 控制多台设备............................................................................... 78
本节小结 .................................................................................................. 79
实践题 ............................................................................................................... 79
本章小结 ........................................................................................................... 79
第3 章增量爬取的原理与实现 .............................................................................. 80
3.1 增量爬取的分类和实现原理 .................................................................. 81
3.1.1 增量爬取的分类 ........................................................................... 81
3.1.2 增量爬取的实现原理 ................................................................... 83
本节小结 .................................................................................................. 88
3.2 增量池的复杂度和效率 .......................................................................... 88
3.2.1 增量池的时间复杂度 ................................................................... 88
3.2.2 增量池的空间复杂度 ................................................................... 95
本节小结 ................................................................................................ 103
3.3 Redis 的数据持久化 .............................................................................. 103
3.3.1 持久化方式的分类和特点 ......................................................... 103
3.3.2 RDB 持久化的实践 ................................................................... 106
3.3.3 AOF 持久化的实践 .................................................................... 112
3.3.4 Redis 密码持久化 ...................................................................... 115
本节小结 ................................................................................................ 115
实践题 ............................................................................................................. 115
本章小结 ......................................................................................................... 116
第4 章分布式爬虫的设计与实现 ........................................................................ 117
4.1 分布式爬虫的原理和分类 .................................................................... 117
4.1.1 分布式爬虫的原理 ..................................................................... 117
4.1.2 分布式爬虫的分类 ..................................................................... 120
4.1.3 共享队列的选择 ......................................................................... 122
本节小结 ................................................................................................ 125
4.2 分布式爬虫库Scrapy-Redis .................................................................. 126
4.2.1 Scrapy-Redis 的介绍和基本使用 .............................................. 127
4.2.2 去重器、调度器和队列的源码解析 ......................................... 129
目录 IX
本节小结 ................................................................................................ 134
4.3 基于Redis 的分布式爬虫 ..................................................................... 134
4.3.1 对等分布式爬虫的实现 ............................................................. 135
4.3.2 主从分布式爬虫的实现 ............................................................. 139
本节小结 ................................................................................................ 141
4.4 基于RabbitMQ 的分布式爬虫 ............................................................. 141
4.4.1 RabbitMQ 的安装和基本操作 ................................................... 142
4.4.2 分布式爬虫的具体实现 ............................................................. 146
本节小结 ................................................................................................ 152
实践题 ............................................................................................................. 152
本章小结 ......................................................................................................... 152
第5 章网页正文自动化提取方法 ........................................................................ 153
5.1 Python Readability ................................................................................. 155
5.2 基于文本及符号密度的网页正文提取方法 ......................................... 158
5.3 GeneralNewsExtractor ............................................................................ 162
5.3.1 GeneralNewsExtractor 的安装和使用 ....................................... 162
5.3.2 GeneralNewsExtractor 的源码解读 ........................................... 165
本节小结 ................................................................................................ 175
本章小结 ......................................................................................................... 175
第6 章 Python 项目打包部署与定时调度 ........................................................... 176
6.1 如何判断项目是否需要部署 ................................................................ 176
6.2 爬虫部署平台Scrapyd .......................................................................... 179
6.2.1 Scrapyd 的安装和服务启动 ....................................................... 179
6.2.2 爬虫项目的打包和部署 ............................................................. 180
本节小结 ................................................................................................ 184
6.3 Scrapyd 源码深度剖析 .......................................................................... 185
6.4 项目打包与解包运行实战 .................................................................... 197
6.4.1 用Setuptools 打包项目 .............................................................. 197
6.4.2 运行EGG 包中的Python 项目 ................................................. 199
6.4.3 编码实现Python 项目打包 ....................................................... 201
本节小结 ................................................................................................ 203
X Python3 网络爬虫宝典
6.5 定时功能 ................................................................................................ 203
6.5.1 操作系统提供的定时功能 ......................................................... 203
6.5.2 编程语言实现的定时功能 ......................................................... 206
6.5.3 APScheduler ............................................................................... 209
本节小结 ................................................................................................ 212
6.6 实战：开发Python 项目管理平台Sailboat ......................................... 212
6.6.1 Sailboat 的模块规划和技术选型 ............................................... 212
6.6.2 Sailboat 的权限设计思路 ........................................................... 214
6.6.3 Sailboat 的数据结构设计 ........................................................... 215
6.6.4 Sailboat 基础结构的搭建 ........................................................... 218
6.6.5 Sailboat 用户注册和登录接口的编写 ....................................... 220
6.6.6 Sailboat 权限验证装饰器的编写 ............................................... 229
6.6.7 Sailboat 项目部署接口和文件操作对象的编写 ....................... 232
6.6.8 Sailboat 项目调度接口的编写 ................................................... 240
6.6.9 Sailboat 执行器的编写和日志的生成 ....................................... 243
6.6.10 Sailboat 定时调度功能的实现 ................................................. 248
6.6.11 Sailboat 异常监控和钉钉机器人通知功能的编写 ................. 249
本节小结 ................................................................................................ 258
6.7 分布式调度平台Crawlab 核心架构解析 ............................................. 259
实践题 ............................................................................................................. 262
本章小结 ......................................................................................................... 262

全部展开

读者评论

请问怎么下载这本书的电子版书籍？我买了纸质书，但有时候不想带着书跑，想在手机上看。

xiabocs发表于 2021/2/10 10:30:06
- 建议在zlib上下载，https://zlibrary-china.se/book/18557110/77d39a
  但是不建议手机上看
  
  Fargar Kominsky发表于 2023/7/29 2:14:17

图书分类

B站运营大揭秘：百万Up主真想教会你的创作笔记

特色专题

帮助

Python3网络爬虫宝典

目录

读者评论

下载资源