标签
内容简介
编辑推荐
本书最突出的价值在于其‘实战’定位。它没有停留在组件用法的简单介绍,而是通过精心设计的案例,系统性地讲解了如何利用Hadoop生态工具来构建、管理和优化一个企业级数据仓库。书中对数据分层(如ODS、DWD、DWS、ADS)、任务调度、元数据管理、数据质量监控等生产环境中必然面临的核心问题给出了具体方案。对于已经具备Hadoop基础、希望进一步将其应用于系统性数据资产管理和价值挖掘的工程师而言,本书提供了宝贵的“脚手架”和设计蓝图。
值得注意的是,技术发展日新月异,书中涉及的某些具体工具版本可能已非最新,但其阐述的架构思想、设计原则与解决问题的逻辑依然具有很高的参考价值。阅读时,建议读者重点把握其方法论,并结合当前最新的技术生态进行灵活运用。
适合谁读
适合
- 具备Hadoop及Hive基础,希望构建企业级数据仓库的中高级大数据开发工程师
- 负责从传统数据仓库(如Teradata、Oracle)向大数据平台迁移的技术架构师与项目负责人
- 需要系统性理解大数据环境下数据治理、分层设计与任务调度的数据平台管理者
- 对数据仓库理论有了解,并希望学习如何在Hadoop生态中实现的高校学生或研究者
不适合
- 完全没有Hadoop或SQL基础的纯初学者,建议先学习相关入门知识
- 仅寻求Hadoop某个单一组件(如Spark核心编程)深度优化技巧的读者
阅读建议
- 建议按章节顺序阅读,前三章的理论与架构综述是后续实践的基础,不宜跳过
- 阅读时,可将书中的案例与自身工作项目进行对照思考,尝试设计或优化自己的数据分层模型
- 重点关注第6章及之后关于数据治理、任务调度与运维的章节,这是工程化落地的关键,也是本书区别于简单工具书的精华所在
出版社简介
人民邮电出版社以科技、计算机与信息通信类图书见长,并由此延伸至摄影、艺术、软件学习与励志成长等门类,形成较为多元的出版方向。库内图书既涵盖《重构与模式(修订版)》《华为交换机学习指南(第二版)》等计算机与通信技术读物,也收录《小王子(中英法彩绘典藏纪念版)》《了不起的盖茨比》《假如给我三天光明》等双语典藏类作品;《北京十年:1980-1990》与《鬼刀 WLOP个人插画作品集》则体现其在摄影与艺术领域的布局。作者资源包括安东尼·圣埃克苏佩里、海伦·凯勒、Joshua Kerievsky、王达、张兆增与WLOP等。
目录
- 版权信息
- 内容提要
- 大数据核心技术系列 编委会
- 序言
- 前言
- 智慧教材使用方法
- 第1章 Hive入门
- 任务1 了解Hive基础
- 1.1.1 认识Hive
- 1.1.2 Hive架构设计
- 1.1.3 Hive工作流程
- 1.1.4 Hive适用场景
- 任务2 掌握Hive数据存储模型
- 1.2.1 Hive存储格式
- 1.2.2 Hive数据单元
- 1.2.3 Hive存储模型
- 任务3 安装配置Hive环境
- 1.3.1 Hive的发展历程
- 1.3.2 搭建Hive CDH环境
- 1.3.3 Hive初体验
- 1.3.4 Hive开发环境
- 1.3.5 技能实训
- 本章小结
- 本章作业
- 第2章 Hive数据库及表操作
- 任务1 熟悉Hive数据类型
- 2.1.1 基本数据类型
- 2.1.2 复杂数据类型
- 任务2 使用Hive管理雇员信息
- 2.2.1 Hive DDL操作
- 2.2.2 Hive DML操作
- 2.2.3 Hive Shell
- 2.2.4 技能实训
- 任务3 使用Hive Java API操作雇员表
- 2.3.1 开发环境搭建
- 2.3.2 JDBC操作Hive数据库
- 2.3.3 技能实训
- 本章小结
- 本章作业
- 第3章 Hive元数据
- 任务1 访问雇员数据的元数据信息
- 3.1.1 Hive元数据的概念及存储方式
- 3.1.2 雇员数据元数据信息查询
- 3.1.3 技能实训
- 任务2 使用Hive Java API读取雇员表元数据
- 3.2.1 hive-metastore组件
- 3.2.2 使用HiveMetaStoreClient访问元数据
- 3.2.3 技能实训
- 任务3 使用HCatalog管理雇员数据的元数据
- 3.3.1 HCatalog介绍
- 3.3.2 HCatalog应用
- 本章小结
- 本章作业
- 第4章 Hive高级操作
- 任务1 关联查询零售商店订单明细
- 4.1.1 SELECT语句
- 4.1.2 关联查询
- 4.1.3 联合查询
- 4.1.4 技能实训
- 任务2 使用分组排序实现商品销售排行
- 4.2.1 排序
- 4.2.2 分组聚合
- 4.2.3 技能实训
- 任务3 使用窗口函数实现零售数据统计
- 4.3.1 窗口函数
- 4.3.2 窗口的定义
- 4.3.3 技能实训
- 本章小结
- 本章作业
- 第5章 Hive函数与Streaming
- 任务1 应用内置函数
- 5.1.1 函数概述
- 5.1.2 内置函数详解
- 5.1.3 技能实训
- 任务2 使用Java编写Hive自定义函数
- 5.2.1 自定义函数概述
- 5.2.2 UDF
- 5.2.3 UDAF
- 5.2.4 UDTF
- 5.2.5 技能实训
- 任务3 使用Streaming实现数据处理
- 5.3.1 Streaming概念
- 5.3.2 Streaming应用
- 5.3.3 技能实训
- 本章小结
- 本章作业
- 第6章 Hive视图与索引
- 任务1 创建并管理零售商店的顾客表和订单表视图
- 6.1.1 视图的基本概念及使用场景
- 6.1.2 视图的基本操作
- 6.1.3 Materialized Views和Lateral View
- 6.1.4 技能实训
- 任务2 建立零售商店顾客表索引
- 6.2.1 Hive索引的基本概念及使用场景
- 6.2.2 为零售商店顾客表建立索引
- 6.2.3 与索引相关的元数据表
- 6.2.4 技能实训
- 本章小结
- 本章作业
- 第7章 Hive调优
- 任务1 熟悉Hive性能调优策略
- 7.1.1 Hive性能调优使用工具
- 7.1.2 优化Map Task和Reduce Task个数
- 7.1.3 Hive Job优化
- 7.1.4 Hive Query优化
- 7.1.5 设置压缩
- 7.1.6 技能实训
- 任务2 解决Hive数据倾斜问题
- 7.2.1 数据倾斜问题
- 7.2.2 数据倾斜问题解决方案
- 任务3 Hive集成Tez
- 7.3.1 Tez简介
- 7.3.2 Tez安装配置
- 7.3.3 Hive与Tez集成
- 7.3.4 技能实训
- 本章小结
- 本章作业
- 第8章 Hive与HBase集成
- 任务1 理解Hive与HBase集成的场景及原理
- 8.1.1 Hive与HBase集成的应用场景
- 8.1.2 Hive与HBase集成原理
- 任务2 实现Hive与HBase集成
- 8.2.1 Hive与HBase集成配置
- 8.2.2 Hive与HBase集成功能测试
- 8.2.3 将零售商店顾客购买统计信息存入HBase表
- 8.2.4 技能实训
- 任务3 使用Phoenix操作HBase数据库
- 8.3.1 Phoenix简介
- 8.3.2 搭建Phoenix CDH环境
- 8.3.3 技能实训
- 本章小结
- 本章作业
- 第9章 数据迁移框架Sqoop
- 任务1 使用Sqoop完成Hadoop与MySQL间的数据迁移
- 9.1.1 Sqoop简介
- 9.1.2 导入MySQL数据到HDFS
- 9.1.3 导入MySQL数据到Hive
- 9.1.4 导入MySQL数据到HBase
- 9.1.5 导出HDFS数据到MySQL
- 9.1.6 技能实训
- 任务2 使用Sqoop Job完成Hive与MySQL间的数据迁移
- 9.2.1 Sqoop Job
- 9.2.2 技能实训
- 本章小结
- 本章作业
- 第10章 项目实训:电子商务消费行为分析
- 10.1 项目准备
- 10.2 难点分析
- 10.3 项目实现思路
- 本章小结
- 本章作业
常见问题
本书需要什么样的前置知识?
书中的技术栈是否已经过时?
这本书与单纯的Hive编程指南有什么区别?
微信读书相关
读者评论
查询本书
本站为索引目录:「全网查询」由您发起、在您的浏览器中运行,所列入口均指向第三方站点,请自行判断可用性。
作者简介
肖睿,1973年11月生于吉林省,北京大学教育学博士,中国IT职业教育专家,北大青鸟Aptech联合创始人,2015年创办课工场。现任北京青鸟职业教育科技发展有限公司CEO、北大青鸟人工智能研究院院长,并受聘为北京大学软件学院特约讲师。他长期投身IT职业教育和教材编写,主编的多部教材入选国家规划教材。库内收录其作品23种,涵盖Java高级特性、Hadoop数据仓库、MySQL数据库应用、网页设计与开发、Java Web应用设计、SSM轻量级框架、SEM数据分析等方向,常见分类为编程设计、计算机综合、设计与考试。这些作品立足实战,强调边练边学,面向职业教育读者,在计算机与设计类教学中有一定影响。
兰伟,目前公开资料有限,其身份背景、国籍与生卒年等信息均未见明确记载。从库内收录情况看,兰伟著有《Hadoop数据仓库实战》一书,作品归入计算机综合类,是其在数据仓库与大数据技术领域的主要成果体现。该书围绕Hadoop平台上的数据仓库建设展开,属于面向工程实践的技术写作,内容侧重实际应用与操作,适合有一定基础的读者参考。受资料所限,尚无法确认作者的教育经历、职业身份及更多著作情况,读者可结合该书的技术主题了解其在相关领域的写作取向。
廖春琼是一位公开资料有限的计算机类图书作者,目前可确认的库内作品仅有一种,即《Hadoop数据仓库实战》。从这一代表作品来看,其写作方向集中于大数据与数据仓库技术领域,属于计算机综合分类下的实务型题材。该书围绕Hadoop生态在数据仓库场景中的应用展开,通常涉及数据存储、数据处理与数据分析等工程实践内容,面向希望了解或搭建大数据数据仓库的技术读者。由于作者的生平信息、教育背景与职业经历均未见公开披露,本文不作推测,仅就其已呈现的作品题材说明:廖春琼的写作带有明显的技术实践取向,注重将分布式计算框架与数据仓库建设结合起来,为相关从业者和学习者提供可操作的参考。
刘兵,1958年生,清华大学人文学院科学史系教授、博士生导师,兼任中国科协—清华大学科学技术传播与普及研究中心主任。他1982年毕业于北京大学物理系,此后长期从事科学史、科学哲学与科学文化传播研究,著有《克丽奥眼中的科学》《超导史话》等。其写作视野兼顾学术与普及:既有《普朗克传:正直者的困境》这类传记译介,也涉及日本731部队历史的《在刺刀和藩篱下》,并持续关注科学文化中的性别议题;另有《Hadoop数据仓库实战》等计算机作品,以及《评论科学二十年》《转换视角看科学》等评论与科普文集,展现出跨学科的知识背景与面向公众的写作取向。
李永明,公开资料有限,目前可确认的身份信息较少,尚不清楚其国籍、生卒年与完整教育背景,库内仅收录其作品一种。从现有书目来看,李永明以《Hadoop数据仓库实战》进入中文技术写作视野,该书归入计算机综合类,面向大数据处理与数据仓库建设这一实践性较强的领域。作品选题偏向工程落地,关注Hadoop生态在数据仓库场景中的搭建与应用,属于面向开发者和数据从业者的实战型技术读物。其写作路数与同类教材相比更强调操作与项目结合,适合希望系统了解数据仓库实现路径的读者参考。由于作者公开资料有限,其生平经历、其他著述与社会职务等暂无法详述,读者可通过该作品了解其在数据技术方向的关注点与表达方式。
胡淑新,公开资料有限,目前可确认的身份信息较少,仅知其为《Hadoop数据仓库实战》一书的作者。该书被归入计算机综合类,涉及的 Hadoop 与数据仓库属于大数据技术领域的核心内容,通常面向希望了解分布式存储与数据仓库构建实践的读者。从现有信息看,胡淑新的写作围绕具体技术工具的实战应用展开,而非泛泛的理论介绍,具有面向工程实践、注重可操作性的特点。由于库内仅收录其作品一种,且缺少生平、职业背景与学术经历等记录,暂时无法对其创作脉络与整体风格作出更全面的评价。读者若要了解其写作特点,可结合《Hadoop数据仓库实战》的章节内容加以体会。