Python数据抓取技术与实战

本书以Python为实现语言，围绕“拿到数据—分析数据—展示数据”这一完整链条展开，按数据抓取、数据分析、数据可视化三个部分组织内容，各部分相对独立，读者可按需选读。 开篇第1章先用一个完整的小例子带读者完成Python环境安装、pip使用、帮助查阅等基础准备，并快速梳理文件操作、循环、异常、元组、列表、字典、集合、随机数、enumerate等后续必然用到的语言要素。第2章聚焦字符串解析，介绍常用字符串函数、正则表达式、BeautifulSoup与json结构，为从网页文本中提取有用信息打基础。第3章进入单机数据抓取，讲解顺序抓取的基本流程、requests库的用法，以及并发与并行抓取。第4章把视角扩展到分布式，介绍RPC调用与Celery任务系统。第5章专门讲Selenium，覆盖单机抓取、分布式抓取以及Linux无图形界面下的运行方式，用于应对依赖脚本渲染的页面。第6章讨论抓取中的IP封锁问题，说明Tor的安装使用、多线程方案以及与Selenium的结合。第7章汇总Flash、桌面程序、U盘、二三级页面、图片处理、App数据抓取等常见疑难场景。第8章给出一个监控框架的设计说明与实例，第9章简要介绍Hadoop生态圈与Cloudera环境搭建，为海量数据的后续处理做铺垫。 全书侧重把成熟原理和流行框架落到具体问题上，配有可运行的实例代码，读者可边跑边改，把示例改造成符合自己需求的抓取程序。