Spark快速大数据分析

Holden Karau / Andy Konwinski / Patrick Wendell / Matei Zaharia人民邮电出版社2015年

评分 4.1
字数
34.3万字
章节数
15
丛书
图灵程序设计丛书
ISBN
9787115403094

标签

计算机 人工智能 分布式计算大数据分析大数据技术开发者数据分析数据科学程序设计集群管理

内容简介

本书原名为 Learning Spark: Lightning-Fast Big Data Analysis，是 O'Reilly 出版的第一本系统介绍 Apache Spark 的入门书，由 Spark 项目核心开发者与发起人 Holden Karau、Andy Konwinski、Patrick Wendell、Matei Zaharia 共同撰写，中文版由王道远翻译、英特尔大数据技术中心审校，收入“图灵程序设计丛书”。全书共 11 章，按“先跑起来、再弄懂原理、最后上集群并做高级拓展”的顺序组织：开头介绍 Spark 的定位、统一的软件栈（Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX 与各类集群管理器）、适用人群与项目简史；随后手把手带读者下载安装 Spark，在 Python 与 Scala 的 shell 中交互式体验，并用独立应用初始化 SparkContext。主体部分围绕弹性分布式数据集 RDD 展开，讲解转化操作与行动操作、惰性求值、跨语言传递函数、持久化缓存，进而延伸到键值对 RDD、聚合分组连接排序、数据分区与 PageRank 示例。后段涵盖各类数据源与文件格式的读写、累加器与广播变量等进阶技巧、集群运行架构与 spark-submit 部署、作业调度、性能调优与调试，最后介绍 Spark SQL、Spark Streaming 与基于 MLlib 的机器学习。书中示例以 Python、Java、Scala 三种 API 并行的方式给出，读者可按自己熟悉的语言选读。该书以简明、可直接对照动手的特点，较早地系统介绍 Spark 1.x 时代的 API 与生态，在中文读者中流传较广，至今仍是理解 RDD 编程模型与 Spark 整体结构的参考读物。

编辑推荐

这本《Spark快速大数据分析》有两个少见之处：一是它的作者阵容来自 Spark 项目本身，四位作者中既有 Databricks 的联合创始人，也有 Spark 的发起人与 Apache 基金会副主席；二是它不推荐读者先啃架构图，而是让你先把 shell 跑起来，在几行代码中感受内存计算的差别，再回头理解 RDD 这一层抽象。全书结构像一条缓坡：从交互式 shell 到独立应用，从 RDD 的转化与行动操作到键值对与分区，从数据读写到集群部署和调优，最后通往 Spark SQL、Streaming 与 MLlib 这几条支流。对于习惯对照代码学习的读者，示例同时给出 Python、Scala、Java 三种写法，可以只挑自己常用的语言阅读。本书中文版排版清晰、篇幅克制，两百多页就把 Spark 的核心轮廓勾了出来，被视为国内较早系统介绍 Spark 的译作之一，豆瓣评分长期在 8 分以上。需要提醒的是，书中代码基于 Spark 1.x，SchemaRDD 等 API 在后来的 Spark 2.x、3.x 中已经改名或重构，阅读时应配合官方文档理解概念，而不是照抄示例逐行运行。也正因如此，它更适合作为理解“Spark 为什么这样设计”的读物，而不是一本版本相关的速查手册。

适合谁读

适合

不适合

阅读建议

  1. 前两章务必动手把 shell 跑通，先建立“作业在内存中执行”的直观感受。
  2. 第 3、4 章可以缩写例子反复敲打，理解转化操作与行动操作的区别后再读后文。
  3. 第 7、8 章按自己的部署环境选读，单机读者可略过 YARN、Mesos 与 EC2 部分。
  4. 读第 9 至 11 章时对照当前版本的官方文档，注意 SchemaRDD 等旧 API 的变更。

出版社简介

人民邮电出版社 中国 · 成立于 1953 年

人民邮电出版社以科技、计算机与信息通信类图书见长，并由此延伸至摄影、艺术、软件学习与励志成长等门类，形成较为多元的出版方向。库内图书既涵盖《重构与模式（修订版）》《华为交换机学习指南（第二版）》等计算机与通信技术读物，也收录《小王子（中英法彩绘典藏纪念版）》《了不起的盖茨比》《假如给我三天光明》等双语典藏类作品；《北京十年：1980-1990》与《鬼刀 WLOP个人插画作品集》则体现其在摄影与艺术领域的布局。作者资源包括安东尼·圣埃克苏佩里、海伦·凯勒、Joshua Kerievsky、王达、张兆增与WLOP等。

目录

  1. 推荐序
  2. 译者序
  3. 序
  4. 前言
  5. 第1章 Spark数据分析导论
  6. 第2章 Spark下载与入门
  7. 第3章 RDD编程
  8. 第4章 键值对操作
  9. 第5章 数据读取与保存
  10. 第6章 Spark编程进阶
  11. 第7章 在集群上运行Spark
  12. 第8章 Spark调优与调试
  13. 第9章 Spark SQL
  14. 第10章 Spark Streaming
  15. 第11章 基于MLlib的机器学习

常见问题

这本书和《Spark快速大数据分析（第2版）》是同一本书吗？ 不是同一本。2015 年版译自 Holden Karau 等人的 Learning Spark 第一版，讲 Spark 1.x；2021 年的第 2 版由 Jules S. Damji 等人撰写、王道远翻译，讲 Spark 3.0 及 Spark SQL、Delta Lake、MLlib 等新内容。
书中的代码还能直接运行吗？ 多数难以直接运行。书中示例基于 Spark 1.x，SchemaRDD 已在后续版本中改为 DataFrame/DataSet，部分 API 也被弃用。建议把示例当作理解概念的模型，实际动手时参照当前版本的官方文档改写。
零基础可以直接读吗？ 需要先具备一门语言的编程基础（书中用 Python、Scala、Java 举例）和基本的命令行操作能力。完全没有编程经验的读者会卡在环境搭建与函数式写法上，建议先补基础再读。
精通编程但没接触过 Hadoop 能读懂吗？ 可以。本书对 MapReduce、HDFS 等前置知识只做必要介绍，键值对、分区等概念都从 Spark 自身讲起，没有 Hadoop 经验的读者主要在第 5 章数据源和第 7 章集群部分多花些时间即可。

本站为索引目录：「全网查询」由您发起、在您的浏览器中运行，所列入口均指向第三方站点，请自行判断可用性。

作者简介

Holden Karau 作者

Holden Karau 是一位在计算机与人工智能领域受到关注的技术作者，目前公开资料有限，其国籍、生卒年与完整履历均未见明确记载。库内收录其作品一种，即《Spark快速大数据分析》，该书围绕 Spark 这一分布式计算框架展开，面向希望处理大规模数据的开发者与学习者。从题材看，Karau 的写作偏向工程实践与工具应用，注重把抽象的计算概念落到具体的数据分析任务中，语言力求清晰、便于上手。这类作品在中文技术图书市场中为读者了解大数据处理思路提供了入门路径，也常被用作相关课程与自学的参考。由于可查证的资料不多，对其生平与创作全貌难以展开更细的描述，读者更多是通过这部作品认识其写作特点与专业兴趣。

Andy Konwinski 作者

安迪·康温斯基（Andy Konwinski）是一位计算机领域作者，其国籍与生卒年等个人资料在公开渠道中信息有限。目前可确认其代表作是与他人合著的《Spark快速大数据分析》，该书围绕Apache Spark这一分布式计算框架展开，介绍其在大数据处理与分析场景中的使用方法。从题材来看，他的写作面向希望了解大数据处理技术的读者，内容偏重技术原理与实践操作的结合。该书在中文计算机技术读物中具有一定认知度，常被归入计算机与人工智能类目中，为入门和进阶读者提供参考。由于关于作者本人的公开资料有限，这里主要依据其作品来介绍他在技术写作方面的贡献。

Patrick Wendell 作者

Patrick Wendell 是一位与大数据处理技术相关的作者，其中文资料目前公开有限，生年、国籍与详细经历均未见明确记载。库内收录其作品一种，即《Spark快速大数据分析》，该书常被归入计算机与人工智能类。从作品题材看，他关注的是 Spark 这一分布式计算框架的快速入门与实战应用，内容多涉及数据处理流程、集群运行与分析方法等基础而实用的主题。这类写作通常面向希望尽快上手的开发者和数据从业者，注重概念清晰与操作可行，而非堆砌理论。尽管作者个人背景信息较少，但凭借该作品在相关技术领域的传播，其名字常与 Spark 学习资料联系在一起，对中文读者了解大数据分析工具具有一定参考价值。

Matei Zaharia 作者

Matei Zaharia 是《Spark快速大数据分析》的作者，该作品在库内被归入计算机与人工智能类。关于他的国籍、生卒年、教育背景与职业经历，公开资料有限，因此本条简介不作推测，仅围绕现有作品信息展开。从书名可以看出，本书聚焦大数据处理与分析，主题涉及 Spark 这一计算框架的使用方法与实践思路，面向希望借助该技术完成数据处理的读者。此类题材通常要求作者既理解分布式计算的原理，也能把复杂概念转化为可操作的步骤，因此写作风格往往偏重条理清晰、示例具体、贴近实际应用。就库内收录情况而言，该书是读者了解 Spark 应用的一条入口，对关注大数据分析工具的中文读者具有参考价值。