Hadoop数据仓库实战 封面

Hadoop数据仓库实战

评分 3.8
字数
8.1万字
章节数
151
ISBN
9787115526090

标签

内容简介

本书以Hive为开发平台,主要介绍了如何使用HiveQL来查询和分析存储在Hadoop分布式文件系统上的大数据集合,具体内容包括Hive入门、Hive数据库及表操作、Hive元数据、Hive高级操作、Hive函数与Streaming、Hive视图与索引、Hive调优、Hive与HBase集成、数据迁移框架Sqoop等。本书介绍的每个任务都运用了大量案例,紧密结合实际应用,融入了含金量十足的开发经验。在此基础上,本书通过丰富的练习和操作实践,帮助读者巩固所学的内容。本书配以多元的学习资源和支持服务,包括视频、案例素材、学习社区等,为读者提供全方位的学习体验。本书适合作为计算机、大数据等相关专业的教材,也适合具有一定Linux或Java开发基础且想从事大数据开发的人员阅读学习,还可以作为大数据分析与运维人员的参考用书。

编辑推荐

《Hadoop数据仓库实战》是人民邮电出版社策划的‘大数据技术丛书’中的一部作品。作者肖睿长期深耕于大数据技术领域,拥有丰富的企业级数据平台建设经验,这使得本书并非简单的技术手册,而是充满了实战视角的工程化思考。本书将经典的数据仓库理论(如维度建模、ETL流程)与以Hadoop为核心的新一代大数据技术栈(包括Hive、Spark等)进行了深度融合,清晰地勾勒出一条从传统数据仓库向大数据平台平滑迁移与升级的技术路径。

本书最突出的价值在于其‘实战’定位。它没有停留在组件用法的简单介绍,而是通过精心设计的案例,系统性地讲解了如何利用Hadoop生态工具来构建、管理和优化一个企业级数据仓库。书中对数据分层(如ODS、DWD、DWS、ADS)、任务调度、元数据管理、数据质量监控等生产环境中必然面临的核心问题给出了具体方案。对于已经具备Hadoop基础、希望进一步将其应用于系统性数据资产管理和价值挖掘的工程师而言,本书提供了宝贵的“脚手架”和设计蓝图。

值得注意的是,技术发展日新月异,书中涉及的某些具体工具版本可能已非最新,但其阐述的架构思想、设计原则与解决问题的逻辑依然具有很高的参考价值。阅读时,建议读者重点把握其方法论,并结合当前最新的技术生态进行灵活运用。

适合谁读

适合

  • 具备Hadoop及Hive基础,希望构建企业级数据仓库的中高级大数据开发工程师
  • 负责从传统数据仓库(如Teradata、Oracle)向大数据平台迁移的技术架构师与项目负责人
  • 需要系统性理解大数据环境下数据治理、分层设计与任务调度的数据平台管理者
  • 对数据仓库理论有了解,并希望学习如何在Hadoop生态中实现的高校学生或研究者

不适合

  • 完全没有Hadoop或SQL基础的纯初学者,建议先学习相关入门知识
  • 仅寻求Hadoop某个单一组件(如Spark核心编程)深度优化技巧的读者

阅读建议

  1. 建议按章节顺序阅读,前三章的理论与架构综述是后续实践的基础,不宜跳过
  2. 阅读时,可将书中的案例与自身工作项目进行对照思考,尝试设计或优化自己的数据分层模型
  3. 重点关注第6章及之后关于数据治理、任务调度与运维的章节,这是工程化落地的关键,也是本书区别于简单工具书的精华所在

出版社简介

人民邮电出版社 中国 · 成立于 1953 年

人民邮电出版社以科技、计算机与信息通信类图书见长,并由此延伸至摄影、艺术、软件学习与励志成长等门类,形成较为多元的出版方向。库内图书既涵盖《重构与模式(修订版)》《华为交换机学习指南(第二版)》等计算机与通信技术读物,也收录《小王子(中英法彩绘典藏纪念版)》《了不起的盖茨比》《假如给我三天光明》等双语典藏类作品;《北京十年:1980-1990》与《鬼刀 WLOP个人插画作品集》则体现其在摄影与艺术领域的布局。作者资源包括安东尼·圣埃克苏佩里、海伦·凯勒、Joshua Kerievsky、王达、张兆增与WLOP等。

目录

  1. 版权信息
  2. 内容提要
  3. 大数据核心技术系列 编委会
  4. 序言
  5. 前言
  6. 智慧教材使用方法
  7. 第1章 Hive入门
  8. 任务1 了解Hive基础
  9. 1.1.1 认识Hive
  10. 1.1.2 Hive架构设计
  11. 1.1.3 Hive工作流程
  12. 1.1.4 Hive适用场景
  13. 任务2 掌握Hive数据存储模型
  14. 1.2.1 Hive存储格式
  15. 1.2.2 Hive数据单元
  16. 1.2.3 Hive存储模型
  17. 任务3 安装配置Hive环境
  18. 1.3.1 Hive的发展历程
  19. 1.3.2 搭建Hive CDH环境
  20. 1.3.3 Hive初体验
  21. 1.3.4 Hive开发环境
  22. 1.3.5 技能实训
  23. 本章小结
  24. 本章作业
  25. 第2章 Hive数据库及表操作
  26. 任务1 熟悉Hive数据类型
  27. 2.1.1 基本数据类型
  28. 2.1.2 复杂数据类型
  29. 任务2 使用Hive管理雇员信息
  30. 2.2.1 Hive DDL操作
  31. 2.2.2 Hive DML操作
  32. 2.2.3 Hive Shell
  33. 2.2.4 技能实训
  34. 任务3 使用Hive Java API操作雇员表
  35. 2.3.1 开发环境搭建
  36. 2.3.2 JDBC操作Hive数据库
  37. 2.3.3 技能实训
  38. 本章小结
  39. 本章作业
  40. 第3章 Hive元数据
  41. 任务1 访问雇员数据的元数据信息
  42. 3.1.1 Hive元数据的概念及存储方式
  43. 3.1.2 雇员数据元数据信息查询
  44. 3.1.3 技能实训
  45. 任务2 使用Hive Java API读取雇员表元数据
  46. 3.2.1 hive-metastore组件
  47. 3.2.2 使用HiveMetaStoreClient访问元数据
  48. 3.2.3 技能实训
  49. 任务3 使用HCatalog管理雇员数据的元数据
  50. 3.3.1 HCatalog介绍
  51. 3.3.2 HCatalog应用
  52. 本章小结
  53. 本章作业
  54. 第4章 Hive高级操作
  55. 任务1 关联查询零售商店订单明细
  56. 4.1.1 SELECT语句
  57. 4.1.2 关联查询
  58. 4.1.3 联合查询
  59. 4.1.4 技能实训
  60. 任务2 使用分组排序实现商品销售排行
  61. 4.2.1 排序
  62. 4.2.2 分组聚合
  63. 4.2.3 技能实训
  64. 任务3 使用窗口函数实现零售数据统计
  65. 4.3.1 窗口函数
  66. 4.3.2 窗口的定义
  67. 4.3.3 技能实训
  68. 本章小结
  69. 本章作业
  70. 第5章 Hive函数与Streaming
  71. 任务1 应用内置函数
  72. 5.1.1 函数概述
  73. 5.1.2 内置函数详解
  74. 5.1.3 技能实训
  75. 任务2 使用Java编写Hive自定义函数
  76. 5.2.1 自定义函数概述
  77. 5.2.2 UDF
  78. 5.2.3 UDAF
  79. 5.2.4 UDTF
  80. 5.2.5 技能实训
  81. 任务3 使用Streaming实现数据处理
  82. 5.3.1 Streaming概念
  83. 5.3.2 Streaming应用
  84. 5.3.3 技能实训
  85. 本章小结
  86. 本章作业
  87. 第6章 Hive视图与索引
  88. 任务1 创建并管理零售商店的顾客表和订单表视图
  89. 6.1.1 视图的基本概念及使用场景
  90. 6.1.2 视图的基本操作
  91. 6.1.3 Materialized Views和Lateral View
  92. 6.1.4 技能实训
  93. 任务2 建立零售商店顾客表索引
  94. 6.2.1 Hive索引的基本概念及使用场景
  95. 6.2.2 为零售商店顾客表建立索引
  96. 6.2.3 与索引相关的元数据表
  97. 6.2.4 技能实训
  98. 本章小结
  99. 本章作业
  100. 第7章 Hive调优
  101. 任务1 熟悉Hive性能调优策略
  102. 7.1.1 Hive性能调优使用工具
  103. 7.1.2 优化Map Task和Reduce Task个数
  104. 7.1.3 Hive Job优化
  105. 7.1.4 Hive Query优化
  106. 7.1.5 设置压缩
  107. 7.1.6 技能实训
  108. 任务2 解决Hive数据倾斜问题
  109. 7.2.1 数据倾斜问题
  110. 7.2.2 数据倾斜问题解决方案
  111. 任务3 Hive集成Tez
  112. 7.3.1 Tez简介
  113. 7.3.2 Tez安装配置
  114. 7.3.3 Hive与Tez集成
  115. 7.3.4 技能实训
  116. 本章小结
  117. 本章作业
  118. 第8章 Hive与HBase集成
  119. 任务1 理解Hive与HBase集成的场景及原理
  120. 8.1.1 Hive与HBase集成的应用场景
  121. 8.1.2 Hive与HBase集成原理
  122. 任务2 实现Hive与HBase集成
  123. 8.2.1 Hive与HBase集成配置
  124. 8.2.2 Hive与HBase集成功能测试
  125. 8.2.3 将零售商店顾客购买统计信息存入HBase表
  126. 8.2.4 技能实训
  127. 任务3 使用Phoenix操作HBase数据库
  128. 8.3.1 Phoenix简介
  129. 8.3.2 搭建Phoenix CDH环境
  130. 8.3.3 技能实训
  131. 本章小结
  132. 本章作业
  133. 第9章 数据迁移框架Sqoop
  134. 任务1 使用Sqoop完成Hadoop与MySQL间的数据迁移
  135. 9.1.1 Sqoop简介
  136. 9.1.2 导入MySQL数据到HDFS
  137. 9.1.3 导入MySQL数据到Hive
  138. 9.1.4 导入MySQL数据到HBase
  139. 9.1.5 导出HDFS数据到MySQL
  140. 9.1.6 技能实训
  141. 任务2 使用Sqoop Job完成Hive与MySQL间的数据迁移
  142. 9.2.1 Sqoop Job
  143. 9.2.2 技能实训
  144. 本章小结
  145. 本章作业
  146. 第10章 项目实训:电子商务消费行为分析
  147. 10.1 项目准备
  148. 10.2 难点分析
  149. 10.3 项目实现思路
  150. 本章小结
  151. 本章作业

常见问题

本书需要什么样的前置知识?
读者应熟悉Linux基础操作、掌握SQL,并对Hadoop分布式基础架构(HDFS、YARN)以及Hive有基本的了解。了解传统数据仓库的基本概念(如星型模型、雪花模型)更有助于理解。
书中的技术栈是否已经过时?
本书以Hadoop 2.x和Hive为核心,其作为大数据仓库基座的稳定性已被业界广泛验证。虽然书中可能未涵盖最新的Flink、Iceberg等技术,但其数据仓库的构建方法论、分层思想和治理理念是通用的,具有持久的学习价值。掌握核心思想后,读者可以更容易地接纳新工具。
这本书与单纯的Hive编程指南有什么区别?
主要区别在于视角和完整性。本书并非专注于Hive语法大全,而是站在企业级数据仓库建设的全局,阐述如何将Hive作为核心组件之一,与其他工具协同,完成从数据接入、处理、管理到服务应用的全流程。它更强调‘系统’和‘工程’,而不仅是‘工具使用’。

微信读书相关

读者评论

查询本书

本站为索引目录:「全网查询」由您发起、在您的浏览器中运行,所列入口均指向第三方站点,请自行判断可用性。

作者简介

肖睿 作者 · 中国 · 1973

肖睿,1973年11月生于吉林省,北京大学教育学博士,中国IT职业教育专家,北大青鸟Aptech联合创始人,2015年创办课工场。现任北京青鸟职业教育科技发展有限公司CEO、北大青鸟人工智能研究院院长,并受聘为北京大学软件学院特约讲师。他长期投身IT职业教育和教材编写,主编的多部教材入选国家规划教材。库内收录其作品23种,涵盖Java高级特性、Hadoop数据仓库、MySQL数据库应用、网页设计与开发、Java Web应用设计、SSM轻量级框架、SEM数据分析等方向,常见分类为编程设计、计算机综合、设计与考试。这些作品立足实战,强调边练边学,面向职业教育读者,在计算机与设计类教学中有一定影响。

兰伟 作者

兰伟,目前公开资料有限,其身份背景、国籍与生卒年等信息均未见明确记载。从库内收录情况看,兰伟著有《Hadoop数据仓库实战》一书,作品归入计算机综合类,是其在数据仓库与大数据技术领域的主要成果体现。该书围绕Hadoop平台上的数据仓库建设展开,属于面向工程实践的技术写作,内容侧重实际应用与操作,适合有一定基础的读者参考。受资料所限,尚无法确认作者的教育经历、职业身份及更多著作情况,读者可结合该书的技术主题了解其在相关领域的写作取向。

廖春琼 作者

廖春琼是一位公开资料有限的计算机类图书作者,目前可确认的库内作品仅有一种,即《Hadoop数据仓库实战》。从这一代表作品来看,其写作方向集中于大数据与数据仓库技术领域,属于计算机综合分类下的实务型题材。该书围绕Hadoop生态在数据仓库场景中的应用展开,通常涉及数据存储、数据处理与数据分析等工程实践内容,面向希望了解或搭建大数据数据仓库的技术读者。由于作者的生平信息、教育背景与职业经历均未见公开披露,本文不作推测,仅就其已呈现的作品题材说明:廖春琼的写作带有明显的技术实践取向,注重将分布式计算框架与数据仓库建设结合起来,为相关从业者和学习者提供可操作的参考。

刘兵 作者 · 中国 · 1958

刘兵,1958年生,清华大学人文学院科学史系教授、博士生导师,兼任中国科协—清华大学科学技术传播与普及研究中心主任。他1982年毕业于北京大学物理系,此后长期从事科学史、科学哲学与科学文化传播研究,著有《克丽奥眼中的科学》《超导史话》等。其写作视野兼顾学术与普及:既有《普朗克传:正直者的困境》这类传记译介,也涉及日本731部队历史的《在刺刀和藩篱下》,并持续关注科学文化中的性别议题;另有《Hadoop数据仓库实战》等计算机作品,以及《评论科学二十年》《转换视角看科学》等评论与科普文集,展现出跨学科的知识背景与面向公众的写作取向。

李永明 作者

李永明,公开资料有限,目前可确认的身份信息较少,尚不清楚其国籍、生卒年与完整教育背景,库内仅收录其作品一种。从现有书目来看,李永明以《Hadoop数据仓库实战》进入中文技术写作视野,该书归入计算机综合类,面向大数据处理与数据仓库建设这一实践性较强的领域。作品选题偏向工程落地,关注Hadoop生态在数据仓库场景中的搭建与应用,属于面向开发者和数据从业者的实战型技术读物。其写作路数与同类教材相比更强调操作与项目结合,适合希望系统了解数据仓库实现路径的读者参考。由于作者公开资料有限,其生平经历、其他著述与社会职务等暂无法详述,读者可通过该作品了解其在数据技术方向的关注点与表达方式。

胡淑新 作者

胡淑新,公开资料有限,目前可确认的身份信息较少,仅知其为《Hadoop数据仓库实战》一书的作者。该书被归入计算机综合类,涉及的 Hadoop 与数据仓库属于大数据技术领域的核心内容,通常面向希望了解分布式存储与数据仓库构建实践的读者。从现有信息看,胡淑新的写作围绕具体技术工具的实战应用展开,而非泛泛的理论介绍,具有面向工程实践、注重可操作性的特点。由于库内仅收录其作品一种,且缺少生平、职业背景与学术经历等记录,暂时无法对其创作脉络与整体风格作出更全面的评价。读者若要了解其写作特点,可结合《Hadoop数据仓库实战》的章节内容加以体会。

同一作者

同类高分