前言

妙趣横生大数据 Juicy Big Data

本项目《妙趣横生大数据》是Datawhale🐳大数据技术相关内容的导论课程。

当今的时代处处充斥着大数据的影子，大数据技术也为信息技术发展带来了重大的变革，并深刻影响着人们生活的方方面面。而我们旨在带领大家走进大数据时代的浪潮中，理解并能够使用目前主流的大数据处理架构Hadoop解决相应的问题，从小白到实践者。

食用方法

🐳 推荐使用 Big Data Github在线阅读 进行学习。

项目结构：

├─docs---------------------------------------------章节主要内容（理论+实验）  
├─experiments--------------------------------------每个章节配套的补充小实验  
└─resources----------------------------------------相关资源  

• 建议自学时长: 22天
• 自学形式:以教材内容为主，学习与总结知识点；以课后实验为辅，尝试完成实验，巩固知识理论。
• 学习安排
  • Task01 (3天) ：阅读第1章大数据概论、第2章Hadoop内容，总结知识点，选做其中Hadoop安装环境配置实验。（提前做第六章期中大作业内容，后面几个Task同上）
  • Task02 (3天) ：阅读第3章HDFS内容，总结知识点，选做其中HDFS操作实验。
  • Task03 (3天) ：阅读第4章HBase内容，选做其中HBase安装与操作实验。
  • Task04 (3天) ：阅读第5章Mapreduce内容，选做其中WordCount实验。
  • Task05 (2天) ：阅读第6章期中大作业（必做，提前阅读并完成）
  • Task06 (3天) ：阅读第7章Hive内容，选做其中Hive相关实验。（提前做第十章期末大作业内容，后面同上）
  • Task07 (3天) ：阅读第8章Spark内容、选做其中Spark实验。
  • Task08 (2天) ：阅读第9章大数据技处理技术总结内容、并完成第10章期末大作业（必做，提前阅读并完成）

以下是目录，还等什么，学就完事了～

大数据处理技术导论目录

• 第一章：大数据概述
• 第二章：Hadoop
• 第三章：HDFS
• 第四章：HBase
• 第五章：MapReduce
• 第六章：期中大作业
• 第七章：Hive
• 第八章：Spark
• 第九章：大数据处理技术总结
• 第十章：期末大作业

第二章以后的章节都配置有实验内容，使用Linux操作系统进行编程实战。

课程收获

通过本教程的学习，你将能够学习到：

• 了解并描述大数据技术的应用场景，真实世界的大数据问题和方法的例子。
• 解释大数据4V的特性以及各种特性如何影响到数据的收集、监控、存储、分析和报告的方方面面。
• 识别大数据问题，并能够将问题转化为数据科学问题。
• 总结HDFS文件系统和MapReduce编程模型的特点和意义，以及它们与大数据的关系。
• 识别和利用数据科学生命周期和相关数据流中的各种组件，如HBase，Hive等。

参考教程

1. 《大数据处理技术原理与应用 第三版》——林子雨
2. Big Data US SanDiego
3. 《Hadoop权威指南》
4. 《Hive编程指南》
5. 《维度建模权威指南(第3版)》
6. 《大数据处理之道》
7. 《Spark快速大数据分析》
8. 牛客网部分面试题

环境安装

• Java 8
• Hadoop 3.3.1
• HBase 2.3.5 or 2.4.8
• Mysql 8.0.32
• Hive 2.3.9
• Spark 3.2.0

安装包下载地址：https://datawhale.feishu.cn/drive/folder/fldcnvODsgRWbyqVW9ApavEVEJg 密码: hO38

注意：课程里默认是把安装包下载到/data/hadoop文件夹下，并解压到/opt下

致谢

感谢以下Datawhale成员对项目推进作出的贡献(排名不分先后)：

关注我们

扫描下方二维码关注公众号：Datawhale

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。