授课要点

思政映射与融入点

预期教学成效

大数据概述

通过讲述北大教授苏萌教授放弃国外更好发展机会回国开始创业，带领几位博士生开始进行数据分析到后来成为大数据的引领者，向同学们传播爱国，艰苦奋斗，勇于攀登，勇于创新的思政元素。

同学们通过研究性学习和课堂分享大数据在不同领域的应用，深入了解大数据在社会发展和科研领域的影响及应用，提升社会责任感及为以后学习就业提供方向。

Hadoop集群

搭建

告诉学生一个简单的错误都会导致集群搭建无法成功，所以在集群搭建过程中要认真严谨。

让学生通过集群搭建中碰到的问题，引发学生细心严谨、精益求精的态度，对自己人生作出更好的规划。

分布式文件 系统HDFS 体系结构

在HDFS体系结构中，一个大的数据文件可以切分成若干个小的数据块分布存储到多个数据节点，多个数据节点合理配合达到事半功倍的效果。

让学生通过HDFS体系结构学习，深知团队的重要性，在学习和生活中可以寻求合作伙伴，将任务合理划分，找到最优解决办法，最终能达到合作共赢的效果。

分布式文件 系统HDFS 文件读写

在HDFS文件读写过程中，数据存储多副本冗余存储看似微乎其微，但实则非常重要，在HDFS体系结构以及HDFS数据读取过程中有着至关重要的作用。

同学们通过HDFS文件读写过程，让同学们以后在做任何事情应该考虑周全，不要忽略任何微不足道的小事情。生活中一些重要内容也要冗余存储备份，以防丢失。

MapReduce 工作流程

根据MapReduce工作流程引申出每个人都有自己的位置，小到一个班级、一个家庭，大到一个国家，每个人都应该积极响应号召、各司其职、做好自己的本职工作，为集体贡献自己的力量 [4] 。就像抗击新冠疫情期间，疾控工作人员、医护人员、科技工作者、广大党员、人民群众等积极响应党的号召，坚守自己的岗位，分工合作，奋力夺取抗疫斗争全面胜利。

同学门通过MapReduce工作流程，让同学们了解应该做好自己本职工作，各司其职，为社会国家贡献自己一份力量。

MapReduce 程序设计

程序设计模块化使用函数来实现，函数讲究的是合作，把一个大任务的某一个相对独立的部分交给别人做。个体的力量是弱小的，因此只有个体与个体或者个体加入到集体当中去，发挥出别人的合作关系，才能更易实现自身的目标，同时也能够更好的实现在集体之中的自我价值。在项目设计中分组教学过程就是采用MapReduce的“分而治之”策略，小组中成员团队协作才能更快更好地完成项目设计。

让同学们学习到中小学阶段，学生各自为战，埋头苦学，但到了大学阶段，团结协作能力的培养更为重要。在小组协作完成程序设计过程中，同学们应该共同商讨，合理分工，集体一起努力团队才能更好，同样，大家一起努力，国家才能富强。

Spark 运行架构

在Spark工作流程中，Driver Program作为Spark集群的管家，负责整个应用的任务分配及控制，其他部分均服从管理和调度。在任何一个集体中，我们作为其中的一员都应该遵守规定，服从管理，才能让集体更加有秩序，工作才能顺利开展。同时作为社会中的一员，我们更应该遵守各项规章制度，做一个遵纪守法的合格公民，只有大家共同努力，我们的社会发展才能更好。

让同学们清楚作为新时代中国青年，要勇于砥砺奋斗，在披波斩浪中开拓前进，在披荆斩棘中开辟天地，在攻坚克难中创造业绩，练就过硬本领，增强学习紧迫感。

Spark弹性 分布式数据集 编程实践

QQ、微博等社交软件中，都存在好友推荐功能，在分析的好友关系中，可以在数据分析中得到间接好友，希望同学们保持科学求真的精神，对待任何事情都能透过现象看本质。作为即将步入社会的大学生，要有学会辨别是非的能力，谨慎交友，也能通过现象看到本质，不要被各种推荐关系蒙蔽双眼。同时可以请同学们介绍数据泄露、数据买卖等相关实例，让同学们意识到数据安全与隐私的重要性。

让同学们保持科学求真的精神，对待任何事情都能透过现象看本质。作为即将步入社会的大学生，要有学会辨别是非的能力，谨慎交友，也能通过现象看到本质，不要被各种推荐关系蒙蔽双眼。