标签
内容简介
本书是面向有一定Python基础读者的网络爬虫开发入门指南，由澳大利亚开发者理查德·劳森（Richard Lawson）撰写、李斌翻译，2016年由人民邮电出版社引进出版，英文原书名为《Web Scraping with Python》。全书以“先把道理讲清、再用代码落地”的思路展开：开篇讨论爬虫在什么场景下有用、涉及哪些法律与伦理边界，并介绍在动手之前如何做背景调研，包括检查robots.txt、阅读网站地图、估算站点规模、识别网站所用技术以及确认网站所有者，随后带领读者写出第一个爬虫，并借助网站地图、ID遍历和链接跟踪等方式系统地遍历站点。 在数据抽取部分，书中对比讲解了正则表达式、Beautiful Soup 和 lxml 三种从页面中提取信息的常用手段，并介绍如何借助缓存减少重复下载、降低带宽消耗与服务器压力；针对真实网站中更复杂的场景，书中说明了如何解析依赖 JavaScript 渲染的页面、如何与表单和会话交互、如何处理cookie、如何应对受验证码保护的页面，以及对 AJAX 调用进行逆向分析等技巧。最后一部分使用 Scrapy 框架构建较为完整的爬虫，并把书中介绍的方法应用到真实网站案例中，展示从基础脚本走向工程化抓取的进阶路径。
编辑推荐
很多人学爬虫的起点是“照着教程抄代码”，结果一换目标网站就束手无策。这本书的可贵之处在于，它先教你怎么“看”一个网站：先读 robots.txt、找网站地图、估算规模、判断对方用了什么技术，再决定用什么工具去抓。这种“先调研、后动手”的顺序，正是区别脚本小子和合格爬虫开发者的地方。 书中对数据抽取的三种主流方式——正则、Beautiful Soup、lxml——做了实打实的横向比较，读者能直观看到各自的适用场景与性能差异，而不是只会用其中一种。缓存、多线程、动态页面渲染、表单与验证码等章节，也都是实际项目里绕不开的硬骨头。全书篇幅精炼，一百多页，不注水，适合当作第一本系统性的爬虫读物反复翻看。需要提醒的是，本书初版基于较早期的 Python 与库版本，练习时请对照各库最新文档调整代码。
适合谁读
适合
- 已掌握Python基础语法，想系统入门爬虫开发的读者
- 需要用Python做数据采集的学生、数据分析师与运营人员
- 希望理解爬虫工程结构、为进阶Scrapy打基础的自学者
- 高校计算机相关专业开展课程实践或毕业设计的本科生
不适合
- 完全没有编程基础，尚不清楚变量、循环和函数的零起点读者
- 只想要现成爬虫脚本、不打算理解原理与合规要求的读者
阅读建议
- 先补足 requests 与 HTML 基础，再进入第1章背景调研，动手前务必养成阅读 robots.txt 的习惯
- 第2章三种抽取方法建议各写一遍同一目标页面的代码，对比可读性与速度再选型
- 读完本书后接续 Scrapy 官方文档或第2版，以适配当前Python与第三方库版本
- 练习时自建测试站点或爬取公开示例站，遵守抓取频率限制，勿对真实生产站点施压
出版社简介
人民邮电出版社
中国 · 成立于 1953 年
人民邮电出版社以科技、计算机与信息通信类图书见长，并由此延伸至摄影、艺术、软件学习与励志成长等门类，形成较为多元的出版方向。库内图书既涵盖《重构与模式（修订版）》《华为交换机学习指南（第二版）》等计算机与通信技术读物，也收录《小王子（中英法彩绘典藏纪念版）》《了不起的盖茨比》《假如给我三天光明》等双语典藏类作品；《北京十年：1980-1990》与《鬼刀 WLOP个人插画作品集》则体现其在摄影与艺术领域的布局。作者资源包括安东尼·圣埃克苏佩里、海伦·凯勒、Joshua Kerievsky、王达、张兆增与WLOP等。
常见问题
这本书适合零基础学Python的人吗？
不太适合。作者在书前明确假定读者具备一定Python编程经验，书中不会讲解语法基础。建议先掌握变量、函数、类与requests基本用法，再开始阅读本书。
书里的代码现在还能直接运行吗？
本书初版基于较早的Python与各库版本，部分库的API已有变化，例如Scrapy、Beautiful Soup等的写法。建议对照官方文档调整代码；也可考虑阅读基于Python 3重写的第2版。
书里用到了哪些主要工具和框架？
据出版方介绍，书中涉及lxml、Beautiful Soup、正则表达式、requests、多线程抓取、缓存方案，以及用于动态页面的浏览器渲染与用于工程化抓取的Scrapy框架。
第2版和这本书有什么区别？
第2版由凯瑟琳·雅姆尔与理查德·劳森合著，改为基于Python 3编写，新增并发抓取、Portia可视化爬虫等内容。若只是想入门，本书足够；想要更新更全的技术栈，可选第2版。
读者评论
查询本书
本站为索引目录：「全网查询」由您发起、在您的浏览器中运行，所列入口均指向第三方站点，请自行判断可用性。
