本书以爬虫逆向方向的相关技术和岗位要求进行撰写, 总结了爬虫的架构体系、主流框架和未来发展。书中包括各种自动化工具、抓包工具、逆向工具的使用。核心内容以WebJs逆向、安卓逆向、小程序逆向为主, 结合三十多个实战案例进行分析, 内容从易到难, 循序渐进。另外还对主流的反爬虫技术进行了讲解, 包括传输协议、验证码体系、字符集映射、行为和指纹等。
李玺, 就职于中科大数据研究院, 深耕爬虫逆向方向, 拥有丰富的经验和精湛的技巧。
前言
第1章网络爬虫架构/
1.1爬虫发展史/
1.2爬虫基本架构/
1.3分布式爬虫架构/
1.3.1主从分布式/
1.3.2对等分布式/
1.4网络爬虫遍历策略/
1.4.1广度优先策略/
1.4.2深度优先策略/
1.4.3优先策略/
1.5智能采集系统架构/
1.5.1采集需求分类/