2022学期总结

Posted 2022-06-20 xizaizhao

时间过得快，一学期就这样进入了尾声，学习Spark也一学期了，收获了很多，也学会了很多，在现在这个网络时代，数据清洗数据处理是比较重要的，在学习期间不断的出现很多问题，每次遇到问题的时候，自己先解决，解决不到再求助同学和老师，学习过程中就要不断的出现问题不断的解决问题，这样才会得到成长，得到锻炼，这样才会再困难中学习。
听华卫老师讲一学期的课了，华卫老师讲课是很精彩，每节课都讲的很好，不仅教会我们学习大数据这门课，还教会我们要多学习专业以外的课程比如：英语，华老师上课就是中英文结合的，方式很独特，中英文结合方式讲课令我收获最大的是让我对英语有了兴趣，每次我们签到虽然是手势签到，但是华老师用换成了英文版的收拾签到，方式很独特，最开始我只能听对一两个，到后期，我签到成为第一个签到成功的，我想这就是收获，这就是学习，这就是一种锻炼，我想这就是老师中英文结合上课的目的，让我对英文更加有兴趣，让我们觉得我们还是可以的。
在大数据这门课程学习中前期我们是学习搭建虚拟机，最开始我们都还是跟着老师一起，跟上了节奏的，但是到了后面来，学校虚拟机清除了要比赛，我们来上课虚拟机都没有了，当时觉得好失望，好几个周的成果就没有了，但是我想这就是独立学习的好机会，老师前期讲过，现在我们从新来，从新把老师讲的自己再搭建，这过程是枯燥无味的，自己搭建总有很多问题，所以就不断的求助同学老师，不断的学习，不断的出错，不断的解决，后来跟上了老师步伐，只有这样不断的重复操作，到现在自己会独立搭建虚拟机了。主要学习了Spark学习：
一、Spark运行时架构:
Spark有多种运行模式，可以运行在一台机器上，称为本地（单机）模式，也可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行，称为Spark On YARN模式，还可以使用Spark自带的资源调度系统，称为Spark Standalone模式。
本地模式通过多线程模拟分布式计算，通常用于对应用程序的简单测试。本地模式在提交应用程序后，将会在本地生成一个名为SparkSubmit的进程，该进程既负责程序的提交，又负责任务的分配、执行和监控等。
二、YARN集群架构
（一）YARN集群主要组件
1、ResourceManager - 资源管理器
2、NodeManager - 节点管理器
3、Task - 任务
4、Container - 容器
5、ApplicationMaster - 应用程序管理器
Scala概述:
Scala是Scalable Language的简写，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计，设计初衷是要集成面向对象编程和函数式编程的各种特性。
Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。
Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上运行。其运行时候的性能通常与Java程序不分上下，并且Scala代码可以调用Java方法、继承Java类、实现Java接口等，几乎所有Scala代码都大量使用了Java类库。
Scala 是完全兼容Java的，其实Scala就是在Java语言的基础上增加了一层编码的 “壳”，让程序人员可以通过函数式编程的方式来开发程序。由于Scala最终被编译为.class，所以其实本质上还是Java，所以在Scala中可以任意的调用Java的API。好处显而易见：让Jva程序员可以更无障碍的转到Scala；让原先Java的API仍然可以在Scala中使用；公司中的Java平台不用替换就可以使用Scala。
Scala特性：
1、一切都是对象
2、一切都是函数
3、一切都是表达式
学习是一个不断收获的好方向，学习使人快乐，学习使人成长，时间过得快，好似昨天才刚踏进大学的校门，今天感觉就要毕业了，大学是一个锻炼人的平台，无论在哪方面，不到半年时间我们也要走上职场了。最后好好珍惜我们大学的时光。