Python网络数据采集

《Python网络数据采集》（英文原书名 Web Scraping with Python: Collecting Data from the Modern Web）是 Ryan Mitchell 撰写、陶俊杰与陈小莉翻译的爬虫技术入门书，2016 年由人民邮电出版社作为「图灵程序设计丛书」之一出版，据 O'Reilly Media 英文原版译出。全书分两部分，共 14 章，另有 3 个附录。 第一部分「创建爬虫」讲数据采集的基础：从用 urllib 向服务器发请求开始，讲 BeautifulSoup 的解析与导航树用法、正则表达式与 Lambda 表达式、遍历单个域名与整站递归采集，也介绍 Scrapy 框架；随后讲 API 的基本概念与调用规则（Echo Nest、Twitter、Google 等接口）、JSON 解析，以及把数据存到文件、CSV 与 MySQL 的方法，并演示读取编码文本、CSV、PDF、Word 等文档数据。 第二部分「高级数据采集」直面实务难点：用 OpenRefine 与 Python 清洗脏数据，用 NLTK 做基础自然语言处理；用 Requests 处理表单提交、登录与 Cookie；用 Selenium（及当时的 PhantomJS）应对由 JavaScript 渲染的页面；用 Pillow 与 OCR 技术处理图像中的文字，并讨论如何绕开验证码等反采集机制；最后讲用单元测试与 Selenium 做网站自动化测试，以及通过代理服务器和 Tor 进行远程采集。附录 A、B、C 分别介绍 Python、互联网基础，以及网络数据采集的法律与道德约束。 本书篇幅紧凑（约 200 页、28 万字），重在建立整体知识地图和提供可运行的示例，并不深入并发、集群等高阶性能主题。作者在书中也提醒：动手采集前应了解 robots 协议与相关法规，尊重网站权益与用户隐私。