Python大数据架构全栈开发与应用 封面

Python大数据架构全栈开发与应用

评分 3.6
字数
24.7万字
章节数
85
ISBN
9787121453038

标签

内容简介

本书介绍了如何使用Python实现企业级的大数据全栈式开发、设计和编程工作,涉及的知识点包括数据架构整体设计、数据源和数据采集、数据同步、消息队列、关系数据库、NoSQL数据库、批处理、流处理、图计算、人工智能、数据产品开发。

本书既深入浅出地介绍了不同技术组件的基本原理,又通过详细对比介绍了如何根据不同场景选择最佳实践技术方案,并通过代码实操帮助读者快速掌握常用技术的应用过程,最后通过项目案例介绍了如何将所学知识应用于实际业务场景中。

编辑推荐

本书最大的价值在于“全栈”二字:它不满足于只讲某个框架的用法,而是把数据架构设计、数据源采集、数据同步、消息队列、关系型与NoSQL数据库、批处理、流处理、图计算、人工智能接入、数据产品开发串成一条完整的工程链路。作者团队兼具一线咨询与落地经验,因此在介绍每个技术组件原理的同时,会横向对比不同方案的适用场景,帮助读者建立“选型”而非“套用”的判断力。书中的代码实操与最后的项目案例,把零散知识点收束回真实业务问题,适合作为从单点技能向系统设计能力过渡的桥梁。阅读时建议把它当作工具书与路线图并用:先通读架构全景,再按项目中遇到的环节精读对应章节,边读边搭最小可运行示例,效果远好于从头到尾线性通读。

适合谁读

适合

  • 已掌握Python基础、希望进入大数据工程领域的开发者
  • 需要承担数据平台架构设计与技术选型的中高级工程师
  • 从传统后端或数据分析转向全栈数据开发的从业者
  • 希望理解数据链路全貌以更好协作的数据产品经理

不适合

  • 零编程基础的读者,书中代码实操需要一定Python功底
  • 只想学习单一框架用法、不关心架构与选型的读者
  • 期望系统学习分布式理论推导的科研型读者

阅读建议

  1. 先读架构设计与技术选型章节,建立全局地图后再深入具体组件
  2. 每章动手跑通书中的最小示例,再对照业务场景做改造练习
  3. 把项目案例当作复盘材料,读完后尝试独立设计一条简化数据链路
  4. 将本书放在手边作为查阅手册,遇到具体环节时定向精读相关章节

出版社简介

电子工业出版社 中国 · 成立于 1982 年

电子工业出版社是一家以电子信息及相关领域为出版特色的综合性出版社。从库内三千余种图书来看,其出版方向覆盖编程设计、人工智能、计算机综合、财经、摄影与社科等门类,既关注技术前沿,也兼顾大众阅读。代表图书包括《因子投资:方法与实践》《x86汇编语言:从实模式到保护模式》《RISC-V开放架构设计之道》《人工智能:语音识别理解与实践》《相控阵雷达技术》《雷达目标特性》及《100个Go语言典型错误》等,多围绕技术方法与工程实践展开。作者资源方面,有石川、李忠、王晓波、大卫·帕特森、安德鲁·沃特曼、余子濠等中外作者。受公开资料所限,暂不展开更多出版特色。

目录

  1. 版权信息
  2. 内容简介
  3. 前言
  4. 第1章 数据架构整体设计
  5. 1.1 数据架构概述
  6. 1.2 数据架构设计的8个考虑因素
  7. 1.3 数据架构设计的4个核心内容
  8. 1.4 常见的6种数据架构
  9. 1.5 案例:某B2B企业的数据架构选型
  10. 1.6 常见问题
  11. 第2章 数据源和数据采集
  12. 2.1 数据源概述
  13. 2.2 企业内部流量数据采集技术选型
  14. 2.3 企业外部互联网数据采集技术选型
  15. 2.4 使用Requests+BeautifulSoup抓取数据并写入Sqlite
  16. 2.5 使用Scrapy+XPath抓取数据并写入MongoDB
  17. 2.6 案例:某B2C电商企业的数据源结构
  18. 2.7 常见问题
  19. 第3章 数据同步
  20. 3.1 数据同步概述
  21. 3.2 数据同步的技术选型
  22. 3.3 Python操作DataX实现数据同步
  23. 3.4 Python操作第三方库实现Google Analytics数据同步
  24. 3.5 案例:某O2O企业离线数据同步案例
  25. 3.6 常见问题
  26. 第4章 消息队列
  27. 4.1 消息队列概述
  28. 4.2 消息队列的技术选型
  29. 4.3 Python操作RabbitMQ处理消息队列服务
  30. 4.4 Python操作Kafka处理消息队列服务
  31. 4.5 Python操作ZeroMQ处理消息队列服务
  32. 4.6 案例:利用消息队列采集电商用户行为数据
  33. 4.7 常见问题
  34. 第5章 关系数据库
  35. 5.1 关系数据库概述
  36. 5.2 关系数据库的技术选型
  37. 5.3 使用基于DB-API 2.0规范的PyMySQL操作MySQL数据库
  38. 5.4 使用基于ORM技术的SQLAlchemy操作PostgreSQL数据库
  39. 5.5 案例:某传统零售企业基于关系数据库的数据集市
  40. 5.6 常见问题
  41. 第6章 NoSQL数据库
  42. 6.1 NoSQL数据库概述
  43. 6.2 不同类型NoSQL数据库的技术选型
  44. 6.3 使用Python操作HBase
  45. 6.4 使用Python操作Redis
  46. 6.5 使用Python操作ES
  47. 6.6 使用Python操作Neo4j
  48. 6.7 使用Python操作MongoDB
  49. 6.8 案例:某菜谱网站基于ES+Redis构建智能搜索推荐引擎
  50. 6.9 常见问题
  51. 第7章 批处理
  52. 7.1 批处理概述
  53. 7.2 批处理的技术选型
  54. 7.3 Python使用PyHive操作HQL进行批处理
  55. 7.4 PySpark操作DataFrame进行批处理
  56. 7.5 案例:某B2C企业基于PySpark实现用户画像标签的构建
  57. 7.6 常见问题
  58. 第8章 流处理
  59. 8.1 流处理概述
  60. 8.2 流处理的依赖条件
  61. 8.3 流处理的技术选型
  62. 8.4 Python操作Structured Streaming实现流处理
  63. 8.5 案例:某B2C企业基于Structured Streaming实现实时话题热榜统计
  64. 8.6 常见问题
  65. 第9章 图计算
  66. 9.1 图计算概述
  67. 9.2 图计算引擎的技术选型
  68. 9.3 Python操作GraphFrames实现图计算
  69. 9.4 案例:基于用户社交行为的分析
  70. 9.5 常见问题
  71. 第10章 人工智能
  72. 10.1 人工智能概述
  73. 10.2 人工智能的技术选型
  74. 10.3 PySpark ML的应用实践
  75. 10.4 案例:某B2C企业推荐系统的搭建与演进
  76. 10.5 常见问题
  77. 第11章 数据产品开发
  78. 11.1 数据产品开发概述
  79. 11.2 数据产品的路线选型
  80. 11.3 Python数据产品自研的技术选型
  81. 11.4 基于Django的产品开发
  82. 11.5 案例:某企业基于Django构建内部用户画像标签产品
  83. 11.6 常见问题
  84. 附录A Docker安装使用
  85. 附录B 使用EMR搭建Hadoop大数据集群

常见问题

没有大数据基础,只懂Python能读懂吗?
可以入门,但需要做好补课准备。书中对组件原理做了深入浅出的介绍,代码实操也以Python为主,因此Python基础是必要条件。若完全没有接触过数据库、消息队列等概念,建议先补充关系型数据库和基本分布式常识,再按章节顺序阅读,遇到不熟悉的技术先跑通示例再回头理解原理。
书中的技术选型对比对实际工作有帮助吗?
有帮助,这正是本书区别于纯教程的地方。作者在介绍每个环节时会横向比较不同技术方案的适用场景,帮助读者理解“为什么选这个而不是那个”。实际工作中技术选型往往比写代码更关键,建议阅读时结合自己公司的数据规模与团队情况做对照思考,把对比结论整理成自己的选型清单。
这本书适合作为团队内部分享的材料吗?
比较适合。全书按数据链路的环节组织,章节相对独立,可以拆分成采集、同步、存储、计算、应用等主题做系列分享。建议由负责对应环节的同事主讲,并结合团队现有技术栈做本地化改造,这样既能覆盖知识面,又能直接落到团队的实际架构问题上。

读者评论

查询本书

本站为索引目录:「全网查询」由您发起、在您的浏览器中运行,所列入口均指向第三方站点,请自行判断可用性。

作者简介

宋天龙 作者

宋天龙的公开资料有限,目前尚无法确认其国籍、生卒年与教育背景。从库内收录的三种作品来看,他的写作集中在大数据、人工智能与编程设计等计算机技术领域,尤其关注 AIGC 技术在实际工作中的应用。其代表作品包括《AIGC辅助数据分析与挖掘:基于ChatGPT的方法与实践》《AIGC辅助数据分析与数据化运营:场景化解决方案与案例分析》以及《Python大数据架构全栈开发与应用》。这些作品显示出他擅长将 ChatGPT 等生成式工具与数据分析、数据化运营和全栈开发结合起来,以方法讲解配合场景案例,面向希望借助人工智能提升数据工作效率的技术人员与业务读者。整体而言,其写作偏向实践应用与场景化解决方案,在计算机综合与人工智能类目中具有一定参考价值。

张伟松 作者 · 中国

张伟松,国内编程设计类图书作者,目前公开资料有限,尚无法确认其详细生平与教育背景。库内收录其作品一种,即《Python大数据架构全栈开发与应用》,该书属于编程设计分类,围绕 Python 技术栈展开,涉及大数据架构的全栈开发与应用实践。从题材来看,作者关注的是将 Python 语言用于数据系统搭建与工程落地的完整链路,内容偏向实务操作与架构层面的整体把握,适合希望从开发走向架构的读者参考。受限于现有资料,其写作风格与行业影响难以全面评述,读者可结合该书的具体章节判断其技术侧重与讲解方式。

触脉咨询技术团队 作者 · 中国

触脉咨询技术团队是一个以集体署名方式出现的编写团队,公开资料有限,目前尚无法确认其成员构成与具体背景。从库内收录情况看,该团队的作品方向集中在编程设计与大数据技术领域,代表作为《Python大数据架构全栈开发与应用》。书名显示其关注点覆盖 Python 语言、大数据架构以及全栈开发与应用落地,属于面向技术实践的综合型选题。由于该团队仅有这一种作品入库,其写作风格与整体影响仍有待更多资料补充后再作判断。

同一作者

同类高分