《大数据实时处理》学生学期总结

Posted 2022-06-23 howard2005

文章目录

• 1、乔自静《学期总结》
• 2、陈春宏《学期总结》
• 3、陈梅《学期总结》
• 4、蒋志友《学期总结》
• 5、付洪蔺《学期总结》
• 6、黄立涛《学期总结》
• 7、黄雨《学期总结》
• 8、滕瑶《学期总结》
• 9、王富祥《学期总结》
• 10、王文萱《学期总结》
• 11、张洪嘉《学期总结》
• 12、赵茜《学期总结》
• 13、郑芯钰《学期总结》
• 14、周世洋《学期总结》
• 15、朱文正《学期总结》

1、乔自静《学期总结》

这学期学习《大数据实时处理》让我受益匪浅，记得第一次上华卫老师的课时，很开心，老师幽默风趣，讲课的时候也照顾大家的感受，致力于让每个人都听懂。老师每次讲完一个知识点，都会询问大家做好没，可能大家出于自身的原因，没有很多人回应，但华卫老师还是会很有耐心的等到大家都做完了之后再去讲下一个知识点，在老师等待大家的过程中，遇到自己解决不了的问题都会向老师求助，老师也会很有耐性的帮助大家，并告诉问题出自哪里，怎么解决，这样下次遇到同样的问题时，自己都可以动手解决了。

第一次上课的时候，老师会用英语和我们交流，一会用英语给我们签到，一开始听到这种签到方式，感觉很有趣但也很慌，由于不熟悉英语的这种模式，老师念数字的语速也很快，班上没有几个人能完成签到，大家都会让老师再多说几遍，慢慢的大家开始习惯这种签到方式，也都跟得上老师的速度，现在基本上很少有人会叫老师再说第二遍了。

一开始学习这门课时，感觉很简单，都是跟着老师一步步的操作走，可学到现在，我一点都不那么认为了，一开始只是简单的基础，越学到后面越难，也越来越跟不上老师讲课的速度。老师有时候会给我们讲点题外话，会给我们说些名言警句，让我们对学习不要丧失兴趣。因为后面学到的地方越来越难，导致有些人赶不上老师的进度了，老师给了我们自己写的讲稿，让我们自己在课下的时候赶上进度。老师写的讲稿每一步都写的很仔细，跟他上课讲的基本一致，所以在课堂上没有听懂的，也可以看着他的讲稿自己琢磨，如果都不能理解的话，也可以给老师发消息，询问老师，老师看的消息都会第一时间解答。很喜欢老师的上课氛围，让我觉得很轻松，过得很充实，经常感觉一上午的时间过得很快。

时光匆匆，转眼间已经期末了，华卫老师在课堂的讲课方式，让我喜欢上了这门课程，虽然有时候我没有跟上老师的步骤，但是我会在课下的时候尽量追赶上。希望下学期，华卫老师能够继续上我们班的课。

希望自己下学期不要急躁的去学习，要心平气和，认真复习课上的内容，加强自己的知识点，下学期继续努力的奋斗吧！加油！

2、陈春宏《学期总结》

时光如梭，转眼间又到了这个学期的最后阶段。

在这一学期，自学了大数据里面的一个开源框架Zookeeper，Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。从了解Zookeeper的特点到搭建Zookeeper集群。让我感触良多，Zookeeper他主要负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

在学习路线的指引下我又学习了flume，flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。flume Agent组件有三个部分组成Source、Channel、Sink。Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种 格式的日志数据，Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储 或索引系统、或者被发送到另一个 Flume Agent。Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运 作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。在学习flume的基础下又学习了Kafka,知道了Kafka的基础架构，怎么安装部署Kafka，和了解消息队列的两种模式点对点模式和发布/订阅模式，通过学习Kafka和flume完成了一个用户行为采集的平台，通过flume采集数据，Kafka消费flume里面的数据，在通过flume把数据上传到HDFS上面。

在这段时间中，为了学习Spark，我学习Scala，Scala是一个面向对象的语言，里面的函数式编程让我在学习中感觉到很新颖。Spark是Scala编写的。在Spark学习中，学习了Spark中的RDD，Spark SQL，后因为时间原因没有学习Spark Streaming,了解Spark Streaming 用于流式数据的处理。

在这学期中我学到了很多。对学习大数据有了浓厚的兴趣。

3、陈梅《学期总结》

又到了期末，这学期就差不多结束，过不了半年我们将要去实习，都说到了大学就轻松了，大学比高中还累。高中有明确的目标，不用去想别的，大学不一样，会有各种会，需要去参加活动，还得想以后毕业，还有和身边人的相处。每个人都是独立的个体，习性都不习惯，有时候大学的累更是心理和精神上的。

每学期都没有一个明确的规划，没有自己的目标，做事三分热情，最开始是很认真，久了之后就开始躺平。每周也应该拿出一点时间锻炼自己的身体，这学期没有体育课了，很久都没有去跑步打羽毛球之类的运动，运动的时候锻炼了身体，精力也会充沛。

在这学期专业课的学习当中，没有做好课前的工作就会跟不上老师当前讲课的步伐，需要自己在课下寻找时间把环境和准备工作做好，最开始是只有一次的课程没有跟上，然后堆积久了就是好几次的课程没有跟上了。以后就要及时跟上老师的步伐，不能拖延，定下期限，一定要脚踏实地，一步一个脚印。

我们来到学校是为了增长知识，接受更好的教育，离开了家没有人约束，久了之后就忘记最开始来学校的目的是干嘛。这学期在宿舍呆着的时间挺多的，宿舍呆着就是玩耍，在图书馆里面多多少少都能学习一些。看到一句话：“我觉得所有的乐趣都是在你走了很久之后，重新回头去看的时候，能找到我为什么走了这么久的理由。因为做眼前的事情是痛苦的，走了很久当你回头时发现自己在进步。”我还记得最开始接触Hadoop时，建立实例虚拟机这方面的内容，感觉好难，还有搭建环境，就想放弃。慢慢的久了之后，几遍、十遍、数十遍，越来越熟练，之后就是需要耐心，发现错误，解决错误。

在学习中，每个人就像一张白纸，主要是你去学习了什么，便会在你的白纸上面留下痕迹，要是你一直没有学习，便还是最开始的模样。在学习中的收获，生活中遇到的事情，都会在这张白纸上面留下痕迹，需要我们时刻去反省。

在这学期我准备了一些考证，一个过了，一个没有考过，还是我没有去看讲解视频，认真做笔记，就直接去做卷子，背卷子上面的题目和答案，没有去深刻的了解，我想在暑期里面把课程过一遍，下学期开学便开始复习，在十月底迎接考试，想过，然后准备笔试。我喜欢和小朋友们的相处，这两天去查看了三支一扶相关的政策，发现竞争力好大，一个岗位都有几百人去竞争，更不用说一些事业单位的招聘，对于我们来说，学历较低，学历就是敲门砖。

在大二的生活中，跟以前相比，多了就业的焦虑，专业课听不懂，自己自制力不好，人又懒惰，不想在课后花时间去钻研。别总想着做了这件事情会给我们带来什么好处、对以后的就业有没有帮助，要想着我学习了就行，要广泛的去了解。不能放弃学习，不断地学习。

4、蒋志友《学期总结》

大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。“大数据”的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。

近几十年，我们总是在遇到各种各样的新思维。在新思维面前我们首先应该做到的就是要破和立，要改变自己的传统，跟上时代的脚步。即使脑子还跟不上，嘴巴上也必须跟上，否则可能会被扣上思想僵化甚至阻碍世界发展的大帽子。既然大数据是“通往未来的必然改变”，那我就必须“不受限于传统的思维模式和特定领域里隐含的固有偏见”。大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的未来。大数据终将会影响到我们，也像其他技术一样会是一把双刃剑，用得好，动心，滥用，害怕。如同核技术一样，用的话，造福地球，滥用，给个金刚石地球你，照样爆。我相信，未来的大数据的发展会如作者所说的，是一场生活、工作与思维的革命。刚开始接触这门课我很有感触，就是跟上学期孙老师的可差不多，在私有云上进行操作。说个好笑的吧，孙老师那门课有点儿难，我学的很辛苦，然后就感觉华老师这门课也很难。开始几天就没怎么听课，就开始摆烂了。就这样过去了一两个周吧，再这样下去也不是办法，期末肯定要挂科。所幸的是，还好华老师有讲稿，所以上华老师课时，我都在下面自己按着老师的讲稿从私有云上搭建集群到Scala的安装配置，课余时间我也没放过。不知不觉中我跟上了老师的进度。我的心情好了很多，这是我凭借自己，当然还有老师讲稿。

不知不觉中大学已经过去快两年了。在这期间我学到了很多东西，也收获了很多，交到了很多朋友。我的专业资质不是很好，总是比别人慢半拍，但我很努力学习。以前觉得计算机这门课很简单，可当我开始学的时候并不容易。华卫老师的《大数据实时处理》也是收获颇多。

5、付洪蔺《学期总结》

时间真的流逝很快，我们大二的时光也快要完了，在学习中的我们，体会到了酸与甜，苦与辣，生活，不经历一番风雨，我们怎么能成长。

大二现在的我们，经过了将近一个学期的时间来学习spark课程，这真的让我体会到了学习的困难。首先我们下载安装，搭配环境，然后在去搭建伪分布式环境，集群这些等等，最后在去写程序，运行，虽然说看着过程很简单，但是实践操作起来就挺困难，其中的酸甜苦辣之味，只有亲身体验，才真正的了解到什么是计算机，什么是程序员，计算机并不是大人们所说的只是在办公室敲敲代码，动动小手这么简单。

虽然说我在高中时期所学的是计算机专业，当时老师讲的题，分析的题也很详细。和大学中老师讲的题，分析的题目总是有所相同的，可不管怎样，终是让我受益匪浅。让我对计算机多了一份热爱。虽然学习的过程中有时候会讨厌计算机，后悔学习计算机，不过还好，还是坚持了下来，这学期学习spark，刚开始学习的时候还好，还能跟上老师的脚步，也能听得懂，不过慢慢的，电脑出现的问题越来越多，我们安装的版本太高，老师的版本和我们的不一样，由于版本不一样，有些操作的步骤也就不一样，老师讲到别的时候，我们还在整配置，有时候又是别的地方出现问题，在final shell中查jps的时候，这也是很容易出现的问题，这个配置jps的时候真的感觉难，总是会出现一些问题，有时候那个jps少一个，有时候有没得，那只能说我们前面配置文件错了，我们就要一个一个文件的去排除等等，还有在java中写文件的时候，也总是要出错，解决一个问题往往要花费很久的时间，而且有时候老师在讲的时候，文件一报错，后面就会跟不上老师的讲的步骤，也只能后面去慢慢看老师的博客自己写，所以我觉得只有经历过，才能明白其中的味道，我觉得通过spark的学习让我觉得，计算机这个行业不仅仅是一份职业，更是一份细心和一份耐心还包括一份职责心。

6、黄立涛《学期总结》

时间过得好快。不知不觉已经来到期末了，这一学期就要结束了。我现在来讲一讲我后半学期对学习《大数据实时处理》的结果吧。

经过了后半学期这段时间，我感觉我对《大数据实时处理》的兴趣没有以前那么高了。因为我已经完全控制不住急躁的去学习了，有很大部分原因是做的集群被清空了，那可是我做了很久才累积下来的东西，就这样全部清空了。我只好充满烦躁的去重新在做一次，兴趣也就一点一点的被消磨掉了。后来我想了想，这对我来说并不是什么坏结果，因为我重新做一遍，也就代表我对这部分知识又重新温习了一遍。所以我现在也不是那么烦躁不安了，最后一段时间我要好好利用，争取期末考能够顺利通过。

当然也得感谢老师这段时间对我们的教导，感谢你把这么多知识交给我们，跟着你一起学习是一件非常快乐开心的事情。

7、黄雨《学期总结》

前几周才写了半期总结，没想到这么快就是期末总结了。期末真的是太劳累了，每天早出晚归，为了跟上老师的节奏，从前面一步步的重新开始。从搭建Spark Standalone开始到RDD真的是不容易啊，不过幸好有讲稿在啊，不然都不知道从何开始，如何下手。

最难的还是实训需要用到mysql，这是我最难过的坎儿，安装容易，卸载难，幸好用到它的地方不是很多，实在是卸不干净，所以直接跳过了，因为其他地方我都能弄出来。

不得不说其实前几天做的私有云上面的项目对我来说真的挺顺利的，我更喜欢私有云。只是计划赶不上变化，迎来了实训，实训又要通过本地模式来运行。又从头还是从本地虚拟机开始整呗，这个遇到的问题比私有云的多多了，最开始就是镜像文件，又从网上去下载，然后又到了搭建Spark集群。在master虚拟机上安装配置Spark，到后面启动Spark集群，但是问题是master的进程没有问题，但是不知道为啥slave1和slave2的少一个，幸好有同学的帮忙解决了此问题。

Spark的三篇讲稿有两篇都出现问题，我也是服了，spark HA集群上又是最后启动jps进程，三个主机都少东西，然后我又从头开始做一遍，结果又出现问题了，自己尽力了，解决不了还是找了同学帮忙解决。不得不说他是真的很厉害，啥问题都能解决，可能是做的次数多了，遇到的问题多了，所以会的也就多了。希望后面出现的问题能少一些，我真的顶不住啊。希望后面我能顺利的跟上进度，不出现太多的问题。

总结下来还是自己学的不牢靠，基础知识掌握的不行。但从这段时间的搭建环境中，我自己悟出来一个道理，出了问题别慌，自己能解决的话还好说，如果解决不了的话那慌也是没有用的，要耐心的发现问题的根源，才能更好的解决问题。遇到不同的问题也是可以让自己积累点经验。但是有句话叫“兴趣是最好的老师”，说实话其实IT并不是特别的感兴趣，但是既然选择了这个专业，我也会在学习期间好好对待。

8、滕瑶《学期总结》

时间匆匆流逝，一不小心一学期马上就要完了，对于自己所学到的东西，应该有一个很好的总结。

从我刚开始上老师的课，到后面跟不上老师的节奏，这中间真的很崩溃，好不容易搭建好了集群，做到scala，实训云又被清空，之前的所有努力都白费，又要重新搭建网络，创建实例，一次一次反复的尝试，在这尝试中，我学会了仔细，慢慢静下心来寻找错误，越是浮躁越是不能解决问题，马上就要期末考了，是检测我这一学期的成果，虽然在这学期中，我对计算机这方面的学习有很大欠缺，但却锻炼了我个人的习惯，思维等，也算有所收获，我是个极易放弃的人，但这次的学习我也在反复尝试来回着做，不懂得就问，问的同学都快愣了。

这次能愉快的跟着老师学习很开心，虽然不能深刻的理解sprak，但也有了基础的理解，能知道个大概我也算满足，有时候很佩服老师的学识，自己没有办法像老师这样做到自律，希望以后能有所改变。

谢谢华卫老师一学期的辛苦付出。

9、王富祥《学期总结》

一转眼，大二也即将结束了，时间过得可真是快啊，这一学期是不平凡的一学期，我经历了很多东西，从三月份的成都大运会培训，到四月份的参加南充“中行杯”比赛，再到参加五月份的全国大学生网络安全技能大赛“蓝帽杯”，虽然都未能获奖，但是此间亦是让我受益良多。

三月十四日，我们踏上了去往成都大运会的培训地点，让从未接触过这个专业的我感觉到期待与兴奋，毕竟说道黑客技术，谁又能不激动呢。但是当我真正接触之后我们才发现，真的太难了，毕竟我们学校没有这个专业。我也没有自己去学过网络安全，这使得我们在培训的过程中一度绝望。不过好在后来调整心态，最后还是在培训中受益良多。

时间来到四月二十二日，我踏上了去往南充参加“中行杯”比赛的路上，这个比赛让我真正感觉到了自己和别人的差距，跨专业对抗，再加上并没有基础，在比赛的途中频繁蒙圈，甚至连网线接口该接在交换机那个为止都不知道，以至于第二阶段的CTF界面没有进去，最后第二阶段以0分结尾。但我并不觉得自己很失败，反而觉得这是一次很好的历练的机会，是一次身心的双重历练。

最后在五月份，我参加了全国大学生网络安全技能大赛“蓝帽杯”线上比赛，这个比赛面向本科和专科，线上发题，解出得分，解出人越多分值就会越低。我记得当时榜单上好多都是本科战队，一个学校参加了快十只队伍，反观我们学校去只有一只。这一次的比赛让我感受到了本科和专科的差距，但是专科里面还是有人才，有些题的一血甚至是专科拿到的。我当时虽然一个题也做不出来，但是还是让我感受到了自己和那些大佬的差距。

到现在，我明白了一个道理，人如果一直在给自己的懒惰找理由，那么他将永远不能得到他想要的东西，如果你想要一个东西，你就要付出时间，付出精力，去得到它。心态要好，态度要端正，我不会觉得我参加比赛没拿奖丢脸，但是我会觉得自己不努力学习，不参加任何比赛，每天浑浑噩噩的混着日子丢脸。

10、王文萱《学期总结》

这个学期快结束了，在这个学期里，老师为我们的学习付出了许多心血，我们也为自己的学习撒下了许多辛勤的汗水。

在学习的过程中，同学和老师也帮助我解决了很多问题，也更让我明白了不懂得问题就要问这个问题，在安装IntelliJ IDEA软件时也遇到了很多困难，安装了很久才安装好，期间我也想过要放弃，但是同学的耐心帮助，也让我最后成功的安装好了。在学习scala的时候，我也时不时遇到困难，但是很多时候是自己粗心，导致没有敲空格，或者拼写错误的问题。我自己有时候看了好几遍也看不出来，但是同学来帮我解决完的时候，才发现，哦，原来是这么傻的错误啊。在学习中，同学就像小老师一样来帮我解决问题，指出问题的源头，也让我更加看到了我和同学之间的差距。大数据实时处理这门课已经结束了，通过这门课又一次刷新了我对编程的认知，也使我更加深了对大数据的理解。让我懂得了平时对知识的积累相当重要，同时也要注重课上老师的讲解，老师在课上的延伸是课本上所没有的，这些知识对于我们对程序的编写有很大的作用，同时，编程也要求我们有足够的耐心，细细推敲。越着急可能就越无法得到我们想要的结果，遇到不会的问题要多多请教，知识是在实践与向别人请教的过程中积累的，所以问是至关重要的，只要肯下功夫很多东西都是可以完成的。

在以后的学习中，我一定更加努力学习，不懂就问，使自己取得更大的进步！

11、张洪嘉《学期总结》

在这个学期里，我们班在专业老师的带领下进行了大数据分析的实践学习。在这之前，我们已经对这门课程学习了一个学期，对其有了一定的了解，但是也仅仅是停留在了解的范围，对里面的好多东西还是很陌生，的在运用起来的时候还是感到很棘手，毕竟，万事开头难嘛。

在本学期的Spark、Scala学习中，我原本以为不会外语是一件很棘手的问题，可是经过几个周的学习发现，外语只是辅助并没有我想象中的在中有很大的影响，在加上老师的一些解释，让我了解了基本的运行道理，需要什么思路，看见一个简单的问题我该如可着手。让我在以后编写代码时，应该多多分析问题的前因后果，不能只是一味的看代码，更应该分析代码思想。

我比较感兴趣的还是Scala运算，很喜欢老师上课的氛围，会留时间给我们做，不懂就问你，也会一直问同学们有没有哪里不懂的，接下来的时间，希望我能跟上老师的步伐，一起完成这门学科的学习，也在老师的课学到很多知识，虽然不是学习的知识，是教我们一些今后不管走哪一方面的工作都要注意的。每次和别人交流时，我都以为自己在学校里每天都一无所获，可是在总结学习、收获成果时，我才清楚地看到我没有白白地度过这一学年。在这一学年里我深深体会到，一切知识的学习、新鲜事物的接触都会对自己有指导作用，就看自己是不是用心去想它、真心想用它。一旦真正结合为自己的实际行动，我想一定会有很大的提高和升华。每次和别人交流时，我都以为自己在学校里每天都一无所获，可是在总结学习、收获成果时，我才清楚地看到我没有白白地度过这一学年。在这一学年里我深深体会到，一切知识的学习、新鲜事物的接触都会对自己有指导作用，就看自己是不是用心去想它、真心想用它。一旦真正结合为自己的实际行动，我想一定会有很大的提高和升华。

12、赵茜《学期总结》

时间过得快，一学期就这样进入了尾声，学习Spark也一学期了，收获了很多，也学会了很多，在现在这个网络时代，数据清洗数据处理是比较重要的，在学习期间不断的出现很多问题，每次遇到问题的时候，自己先解决，解决不到再求助同学和老师，学习过程中就要不断的出现问题不断的解决问题，这样才会得到成长，得到锻炼，这样才会再困难中学习。

听华卫老师讲一学期的课了，华卫老师讲课是很精彩，每节课都讲的很好，不仅教会我们学习大数据这门课，还教会我们要多学习专业以外的课程比如：英语，华老师上课就是中英文结合的，方式很独特，中英文结合方式讲课令我收获最大的是让我对英语有了兴趣，每次我们签到虽然是手势签到，但是华老师用换成了英文版的收拾签到，方式很独特，最开始我只能听对一两个，到后期，我签到成为第一个签到成功的，我想这就是收获，这就是学习，这就是一种锻炼，我想这就是老师中英文结合上课的目的，让我对英文更加有兴趣，让我们觉得我们还是可以的。

在大数据这门课程学习中前期我们是学习搭建虚拟机，最开始我们都还是跟着老师一起，跟上了节奏的，但是到了后面来，学校虚拟机清除了要比赛，我们来上课虚拟机都没有了，当时觉得好失望，好几个周的成果就没有了，但是我想这就是独立学习的好机会，老师前期讲过，现在我们从新来，从新把老师讲的自己再搭建，这过程是枯燥无味的，自己搭建总有很多问题，所以就不断的求助同学老师，不断的学习，不断的出错，不断的解决，后来跟上了老师步伐，只有这样不断的重复操作，到现在自己会独立搭建虚拟机了。

学习是一个不断收获的好方向，学习使人快乐，学习使人成长，时间过得快，好似昨天才刚踏进大学的校门，今天感觉就要毕业了，大学是一个锻炼人的平台，无论在哪方面，不到半年时间我们也要走上职场了。最后好好珍惜我们大学的时光。

13、郑芯钰《学期总结》

学习的时光是过的很快的，转眼又到了期末，到了检验学习成果的时候。在这一学期的学习中，我遇到了许多的问题，总是解决完这个又出现新的问题，但是经过一次又一次的跟着讲稿尝试，靠着老师的帮助，也能勉勉强强跟着做完。在学习的过程中，遇到问题最多的便是搭建spark集群，这个是最重要的环节，因为这个没有搭建好，后面的课程根本不能做，但在这个上面，总是出现问题，当时以为做好的，但是做项目的时候，就出现问题了，只能回过头来，在重新走一遍，对此，我感到非常头疼，但是经过一次次出现问题，解决问题，却加深了我对这门课的理解，所以，这让我觉得，不怕问题的出现，而是迎难而上，找到问题出现的原因，去解决它，会让你有意想不到的收获。对此，我也很感谢老师，是老师每次的帮助，还有他非常详细的讲稿，让我不至于一头雾水，课上没跟上，但是课下跟着老师的讲稿也能一步一步的完成，一学期很快，这学期结束下学期就到了大三了，让我不禁对未来感到期待，也感到迷茫，不知以后我会从事什么样的工作，但我坚信，只要肯努力，敢下定决心去学习，总会有云雾见花开的时候。

14、周世洋《学期总结》

不知不觉这学期已经快要结束了，在学期里我学到了很多，但在我了解到这些知识的同时也让我认识到了我所掌握的还是太浅。

这学期所学的新知识，Scala与spark，让我知道了，学习有事也并不是一件简单的事，不仅需要平时的努力也需要课后的相关知识补充，在课上学习的时间是远远不够的，计算机的发展迅速，同时也警示这我们，在学习的道路上不能停止，这学期所学的Scala，spark，以及对搭建环境等等，为我们更好的去了解大数据的复杂与精妙。

另外，积极阅读有关书籍和签料，扩大目己的知识面：经常提出问题，与同学讨论，向老师请教；搞好师生关系；抓住点滴时间学习一些相关专业领域的知识，知识总是有用的。
在这学期的期中考武中，尽管取得一些成结，但常心中的目标还很远，仍需继续努力，抓紧目己的学习，知识无止境，探索无止境，人的发展亦无止境，我还有很多的知识需要学习。

在纪律方面：基本可以做到：尊重教币，同学之同可以京诚相待，能遵守学校各项纪律，守公共秩序，遵守社会公德：不退至．不早退。不旷课。

以上是我对这学期的一些方面的个人总结，确定未来的发展目标，我对未来充满信心。自然，这需要老师们的精心培养和同学们的真诚帮助。

15、朱文正《学期总结》

时光荏苒，光阴似箭。转眼间一学期就过去了，一学期下来通过华老师的传授学到了很多，也感悟了很多。在这一学期的学习与操作中，有成功的喜悦，也有失败的辛酸。

在进行Hadoop的实践学习巩固中我发现nameNode在Hadoop中非常重要。他是Hadoop的大脑，主要负责管理系统上的分配块，还为客户提出请求时的数据提供特定地址下面我简述一下如何安装配置Apache的一个开源Hadoop。

1. 使用root账户登陆
2. 修改IP
3. 修改host主机名 4.配置ssh免密码登陆 5.安装防火墙 6.安装JDK
4. 解压Hadoop安装包
5. 配置Hadoop的核心文件hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml
6. 配置hadoop环境变量
7. 格式化Hadoop namenode-format
8. 启动节点: start-all.sh
9. 列出hadoop集群中Hadoop都需要分别启动哪些进程

通过这些进程便知道自己有哪些地方没有搞好，特别是在进行hadoop的环境搭建中经常容易出错导致最后失败，只能重新搭建，所以仔细检查很重要，还有易错点就是当时在进行ssh免密的时候，经常会导致只有主机可以免密而其余节点不行，或者ssh搭建好了但是启动不了，没有jps进程，让人非常无奈，但是又没有办法，只能仔仔细细认认真真的检查错误点，让自己记住那个错误，不再重新犯错。

当然第一次进行配置的时候配置的时间还是比较长，但是后面多进行的几次配置后，熟能生巧发现其实也没有自己想象的那么困难。用华老师的话来讲，就是这个只是最基础最简单的东西。

后来开始进行Scala的安装教学的时候，老师给我们的介绍是Scala 是完全兼容Java的，其实Scala就是在Java语言的基础上增加了一层编码的 “壳”，让程序人员可以通过函数式编程的方式来开发程序。由于Scala最终被编译为.class，所以其实本质上还是Java，所以在Scala中可以任意的调用Java的API。好处显而易见：让Jva程序员可以更无障碍的转到Scala；让原先Java的API仍然可以在Scala中使用；公司中的Java平台不用替换也可以使用Scala。所以Scala是很大众的一种静态类型的语言，Scala的特性可以用三句话解释那就是一切都是对象、一切都是函数、一切都是表达式。

说实话当时在接触Scala的时候还是感觉比较方便的就是安装配置的时候很烦，而且稍微有些不注意没有配置好就发现有些功能不能够正常使用，没有办法只能进行再一次的重装，而且有时候可能装的版本不一致从而导致使用功能进行异常报错。Scala有两种模式一种叫做交互模式，一种叫做编译模式，一般情况下我们都使用的是交互模式，因为我觉得相较于编译模式交互模式的使用方式更加的简介，因为交互模式可以直接在Scala>提示符后面直接敲代码执行，然后和Java一样执行Scala sum.scala这种类型就可以执行命名
而编译模式将代码写在.scala文件中，通过编译命令将.scala编译为.class，然后去解释执行。在.scala文件中编写好代码，创建对象，包含入口函数。通过scalac 或 fsc 命令进行编译，产生对应的.class文件。再通过scala命令来解释执行对象。

这些虽然其实难度并不是太大但是需要下功夫将这些步骤记住记好，不说记住，至少记住用途。我发现我对与Scala的运用还是很不熟练，还需要多看一些Spark的基础学习笔记才能更好的进行基础运用