标签
内容简介
本书涵盖大数据专业经典的40个实验，每一个实验给出具体的目的、要求、原理，并给出详细的实验步骤和试验程序。具体包括HDFS实验、YARN实验、MapReduce实验、Hive实验、Spark实验、ZooKeeper实验、HBase实验、Storm实验等等。
编辑推荐
刘鹏教授的《大数据实验手册》是一部极具实践指导价值的专业工具书。本书并非传统意义上的理论教材,而是以实验为核心,通过精心设计的实操项目,引导读者深入理解大数据技术的核心组件与应用场景。书中实验内容覆盖了Hadoop,Spark,Flink等主流生态框架,从环境搭建,数据采集,存储管理到计算分析,可视化呈现,形成了完整的学习闭环。其突出价值在于'手册'特性:步骤清晰,代码详实,注重排错,能有效降低学习门槛,帮助读者在动手过程中构建系统化知识体系。对于已经具备一定编程和数据库基础的读者而言,本书是弥合理论与工程实践之间鸿沟的高效桥梁。书中案例来源于实际应用,不仅传授技术,更传递了解决真实问题的思路与方法。需要注意,本书技术迭代较快,读者在实践时需关注相关开源组件版本的更新与适配。总体而言,这是一本值得放在手边,常练常新的实战指南。
适合谁读
适合
- 具备Java或Python基础,希望系统学习大数据技术的在校学生
- 从事数据分析,后端开发等工作,需要快速掌握大数据平台实操技能的工程师
- 高校教师或培训讲师,寻求一套完整的大数据实验教学方案
- 对Hadoop/Spark生态有初步了解,但缺乏系统性实践经验的开发者
不适合
- 完全没有编程基础和计算机系统概念的纯理论研究者
- 仅希望了解大数据概念与应用前景,不打算进行实际操作的非技术型读者
阅读建议
- 建议按照章节顺序进行实验,确保基础环境部署正确后再推进后续复杂内容
- 动手时务必理解每个步骤的原理,并尝试举一反三修改参数或数据源以加深理解
- 可配合官方文档和开源社区资源,解决实验中遇到的版本依赖或环境特定问题
出版社简介
电子工业出版社
中国 · 成立于 1982 年
电子工业出版社是一家以电子信息及相关领域为出版特色的综合性出版社。从库内三千余种图书来看，其出版方向覆盖编程设计、人工智能、计算机综合、财经、摄影与社科等门类，既关注技术前沿，也兼顾大众阅读。代表图书包括《因子投资：方法与实践》《x86汇编语言：从实模式到保护模式》《RISC-V开放架构设计之道》《人工智能：语音识别理解与实践》《相控阵雷达技术》《雷达目标特性》及《100个Go语言典型错误》等，多围绕技术方法与工程实践展开。作者资源方面，有石川、李忠、王晓波、大卫·帕特森、安德鲁·沃特曼、余子濠等中外作者。受公开资料所限，暂不展开更多出版特色。
目录
- 版权信息
- 内容简介
- 编写组
- 总序
- 前言
- 实验一 大数据实验一体机基础操作
- 1.1 实验目的
- 1.2 实验要求
- 1.3 实验原理
- 1.4 实验步骤
- 实验二 HDFS实验：部署HDFS
- 2.1 实验目的
- 2.2 实验要求
- 2.3 实验原理
- 2.4 实验步骤
- 实验三 HDFS实验：读写HDFS文件
- 3.1 实验目的
- 3.2 实验要求
- 3.3 实验原理
- 3.4 实验步骤
- 实验四 YARN实验：部署YARN集群
- 4.1 实验目的
- 4.2 实验要求
- 4.3 实验原理
- 4.4 实验步骤
- 4.5 实验结果
- 实验五 MapReduce实验：单词计数
- 5.1 实验目的
- 5.2 实验要求
- 5.3 实验原理
- 5.4 实验步骤
- 5.5 实验结果
- 实验六 MapReduce实验：二次排序
- 6.1 实验目的
- 6.2 实验要求
- 6.3 实验原理
- 6.4 实验步骤
- 6.5 实验结果
- 实验七 MapReduce实验：计数器
- 7.1 实验目的
- 7.2 实验要求
- 7.3 实验背景
- 7.4 实验步骤
- 7.5 实验结果
- 实验八 MapReduce实验：Join操作
- 8.1 实验目的
- 8.2 实验要求
- 8.3 实验背景
- 8.4 实验步骤
- 8.5 实验结果
- 实验九 MapReduce实验：分布式缓存
- 9.1 实验目的
- 9.2 实验要求
- 9.3 实验步骤
- 9.4 实验结果
- 实验十 Hive实验：部署Hive
- 10.1 实验目的
- 10.2 实验要求
- 10.3 实验原理
- 10.4 实验步骤
- 10.5 实验结果
- 实验十一 Hive实验：新建Hive表
- 11.1 实验目的
- 11.2 实验要求
- 11.3 实验原理
- 11.4 实验步骤
- 11.5 实验结果
- 实验十二 Hive实验：Hive分区
- 12.1 实验目的
- 12.2 实验要求
- 12.3 实验原理
- 12.4 实验步骤
- 12.5 实验结果
- 实验十三 Spark实验：部署Spark集群
- 13.1 实验目的
- 13.2 实验要求
- 13.3 实验原理
- 13.4 实验步骤
- 13.5 实验结果
- 实验十四 Spark实验：SparkWordCount
- 14.1 实验目的
- 14.2 实验要求
- 14.3 实验原理
- 14.4 实验步骤
- 14.5 实验结果
- 实验十五 Spark实验：RDD综合实验
- 15.1 实验目的
- 15.2 实验要求
- 15.3 实验原理
- 15.4 实验步骤
- 15.5 实验结果
- 实验十六 Spark实验：Spark综例
- 16.1 实验目的
- 16.2 实验要求
- 16.3 实验原理
- 16.4 实验步骤
- 实验十七 Spark实验：SparkSQL
- 17.1 实验目的
- 17.2 实验要求
- 17.3 实验原理
- 17.4 实验步骤
- 17.5 实验结果
- 实验十八 Spark实验：Spark Streaming
- 18.1 实验目的
- 18.2 实验要求
- 18.3 实验原理
- 18.4 实验步骤
- 18.5 实验结果
- 实验十九 Spark实验：GraphX
- 19.1 实验目的
- 19.2 实验要求
- 19.3 实验原理
- 19.4 实验步骤
- 19.5 实验结果
- 实验二十 部署ZooKeeper
- 20.1 实验目的
- 20.2 实验要求
- 20.3 实验原理
- 20.4 实验步骤
- 20.5 实验结果
- 实验二十一 ZooKeeper进程协作
- 21.1 实验目的
- 21.2 实验要求
- 21.3 实验原理
- 21.4 实验步骤
- 21.5 实验结果
- 实验二十二 部署HBase
- 22.1 实验目的
- 22.2 实验要求
- 22.3 实验原理
- 22.4 实验步骤
- 22.5 实验结果
- 实验二十三 新建HBase表
- 23.1 实验目的
- 23.2 实验要求
- 23.3 实验原理
- 23.4 实验步骤
- 23.5 实验结果
- 实验二十四 部署Storm
- 24.1 实验目的
- 24.2 实验要求
- 24.3 实验原理
- 24.4 实验步骤
- 24.5 实验结果
- 实验二十五 实时WordCountTopology
- 25.1 实验目的
- 25.2 实验要求
- 25.3 实验原理
- 25.4 实验步骤
- 25.5 实验结果
- 实验二十六 文件数据Flume至HDFS
- 26.1 实验目的
- 26.2 实验要求
- 26.3 实验原理
- 26.4 实验步骤
- 26.5 实验结果
- 实验二十七 Kafka订阅推送示例
- 27.1 实验目的
- 27.2 实验要求
- 27.3 实验原理
- 27.4 实验步骤
- 27.5 实验结果
- 实验二十八 Pig版WordCount
- 28.1 实验目的
- 28.2 实验要求
- 28.3 实验原理
- 28.4 实验步骤
- 28.5 实验结果
- 实验二十九 Redis部署与简单使用
- 29.1 实验目的
- 29.2 实验要求
- 29.3 实验原理
- 29.4 实验步骤
- 29.5 实验结果
- 实验三十 MapReduce与Spark读写Redis
- 30.1 实验目的
- 30.2 实验要求
- 30.3 实验原理
- 30.4 实验步骤
- 30.5 实验结果
- 实验三十一 MongoDB实验：读写MongoDB
- 31.1 实验目的
- 31.2 实验要求
- 31.3 实验原理
- 31.4 实验步骤
- 31.5 实验结果
- 实验三十二 LevelDB实验：读写LevelDB
- 32.1 实验目的
- 32.2 实验要求
- 32.3 实验原理
- 32.4 实验步骤
- 32.5 实验结果
- 实验三十三 Mahout实验：K-Means
- 33.1 实验目的
- 33.2 实验要求
- 33.3 实验原理
- 33.4 实验步骤
- 33.5 实验结果
- 实验三十四 使用Spark实现K-Means
- 34.1 实验目的
- 34.2 实验要求
- 34.3 实验原理
- 34.4 实验步骤
- 34.5 实验结果
- 实验三十五 使用Spark实现SVM
- 35.1 实验目的
- 35.2 实验要求
- 35.3 实验原理
- 35.4 实验步骤
- 35.5 实验结果
- 实验三十六 使用Spark实现FP-Growth
- 36.1 实验目的
- 36.2 实验要求
- 36.3 实验原理
- 36.4 实验步骤
- 36.5 实验结果
- 实验三十七 综合实战：车牌识别
- 37.1 实验目的
- 37.2 实验要求
- 37.3 实验步骤
- 37.4 实验结果
- 实验三十八 综合实战：搜索引擎
- 38.1 实验目的
- 38.2 实验要求
- 38.3 实验步骤
- 38.4 实验结果
- 实验三十九 综合实战：推荐系统
- 39.1 实验目的
- 39.2 实验要求
- 39.3 实验步骤
- 39.4 实验结果
- 实验四十 综合实战：环境大数据
- 40.1 实验目的
- 40.2 实验要求
- 40.3 实验原理
- 40.4 实验步骤
- 实验四十一 综合实战：智能硬件大数据托管
- 41.1 实验目的
- 41.2 实验要求
- 41.3 实验原理
- 41.4 实验步骤
- 41.5 实验结果
- 实验四十二 综合实战：贷款风险评估
- 42.1 实验目的
- 42.2 实验要求
- 42.3 实验原理
- 42.4 实验相关
- 42.5 实验结果
常见问题
本书需要什么样的前置知识？
需要具备Linux操作系统基础命令知识,Java或Python编程基础,以及数据库相关概念。对分布式系统有初步了解更佳。
书中的实验环境如何搭建？
书中详细介绍了基于虚拟机和云平台的两种环境搭建方式,读者可根据自身硬件条件和网络环境选择。推荐使用Linux系统进行实验。
本书内容是否已经过时？
本书以主流框架的核心原理和操作方法为主,这些内容具有较长时效性。但具体软件版本会持续更新,建议实践时参考最新稳定版官方文档进行微调。
读者评论
查询本书
本站为索引目录：「全网查询」由您发起、在您的浏览器中运行，所列入口均指向第三方站点，请自行判断可用性。
作者简介
刘鹏
作者 · 中国 · 1970
刘鹏（1970年生），中国计算机科学家，清华大学计算机系统结构专业博士，曾任解放军理工大学教授、博士生导师，现任南京云创大数据科技股份有限公司董事长。他长期从事云计算、大数据与人工智能的研究与教学，库内收录其作品十四种，涵盖科学科普、人工智能、计算机综合、医学、文学鉴赏、农林牧业等分类。其写作横跨专业教材与大众通识，既有《云计算（典藏版）》《机器学习与深度学习》《模式识别》《人工智能数学基础》等计算机与人工智能著作，也有《黄帝内经通识》这类面向普通读者的传统医学读物，以及《水运工程装配式结构应用技术与实践》等工程实践类书籍。公开资料有限，其生平等细节以库内记录为准。
