大数据实训

Posted 北聖

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据实训相关的知识,希望对你有一定的参考价值。

学大数据为什么要做实训

当我们学完大数据课程后,知道了大数据的基本理论,学了大数据理论知识不等于会大数据技术,就如同学武术套路,不会用也只是花架子,光说不练永远是假把式,IT技术与其他领域的学习并不相同,求学者最需要的就是实操,在实际操作中掌握所学知识点,届时只有通过实践才能知道自己有没有学会。

学生通过项目实训,加深对大数据理解
当你学完大数据的理论知识,对理论不一定掌握的很牢固,当你利用自己所学习的理论知识,在实训过程中更加领悟其中的原理,利用其中的原理来帮助你实现自己项目,通过自己做出的项目又反过来帮助你对大数据的理解,这样形成了一个良性循环,使你更好的学习大数据。

在实训过程中有效利用所学的理论知识来实现项目,将所学的理论知识与实践结合起来,培养勇于探索的创新精神、提高动手能力,加强社会活动能力,严肃认真的学习态度,理论与实践的有机结合,增强学生专业学习的时效性,使学生在学习和实践过程中真正提高专业的技能以及解决问题的能力,综合能力也得到大大的提高。

项目实训也是对求学者所学技术的一个考核,是对学员负责的表现为以后专业实习和走上工作岗位打下坚实的基础。

如何高效做好大数据实训

一、细心且认真

细心就是有一种端正的工作态度和敬业的精神。细节源于态度,态度决定一切。试想,一个不想干事的人能关注细节吗?答案显然是不可能的。在工作中,我深深地体会到认真做事只是把事情做对,用
心做事才能把事情做好。要树立从小事做起,重视细节的理念。细微之处见精神。汪先生所说的“做事不贪大,做人不计小”确实很重要。中国具有“重小轻大,重概括轻数据”的传统文化心理。凡与“小”沾边的事物均受到轻视。实践证明,能否做好工作,关键在于是否抓住一个“小”字。东汉的薛勤曾说“一屋不扫何以扫天下”就是这个道理。

认真是在工作和生活当中必须要有的,认真防止了马虎会造成的祸患,会让事情比较完美的完成,其实认真的做一件事,反而会省很多时间和精力,也会少很多遗憾。

举一个实例:在大数据实训过程中,第一步便是安装虚拟机,这时候,如果不细心,不认真就可能在大数据实训的第一步就出错了,后面的操作不管怎么样就是错误的,对后期的实训造成许许多多的麻烦。实训时有一个最深刻也是最重要的地方就是给虚拟机配置网络,当时如果跳跃了这一步,你就会发现,在后期的实验的过程中每次你要用的软件会连不上自己的虚拟机,这时不仅浪费自己实训宝贵时间,而且拖延实训后面的进度,并且影响个人心态。所以,想要高效的做好大数据实训,在实训的过程中必须认真且细心对待。下图就是虚拟机网络的一部分:

在此操作过程中,网络配置,以及网络模式选择都是非常重要的。

二、认真思考,动手操作

常常善于思考的好处是,让人不至于在纷乱复杂的烦恼面前失去理智,伤了别人也伤了自己。世间任何事都会有两权相害取其轻的折中办法,鲁莽行事只会让事情更加糟糕,局面更加失控。在实训过程中,肯定会出现许许多多的问题,这时候,如果自己心情比较浮躁,不能保持理智去思考问题的根源,这将是毁灭性灾难,不仅解决不了问题,而且容易出现更多的问题。这时候,认真思考就显得尤为重要,不仅能定位到问题所在地,而且能学习更多的知识。下面举一个实例,说明认真思考,然后自己动手操作的重要性。在实训过程中,曾经出现过一次这样的操作,使得后序的实训无法进行,在一次集群配置的过程中,出现了一次配置失误,然后产生了一堆问题。这时候如果不静下心来找到问题的根源所在,那么不管用什么方法也不可能解决问题!下图就是问题所在:

解决此问题来源于自己配置hadoop环境下的 yarn-site.xml
的配置文件时出错,所以我们得定位到这里然后进入修改,进入修改完后保存退出,然后继续执行下步。
解决问题图:


三、独立解决出现的问题

为啥说独立解决问题呢?因为我觉得:独立解决问题的能力是非常重要的,也是自学能力的生动体现。从上小学到大学毕业之前的这段求学时光,主要是老师负责教,学生负责学,有疑问可以随时向老师请教,获得解答。大学毕业之后,就没有可以依赖的老师了,面对新事物、新问题,更多地要靠自己解决。这个时候,有没有独立解决问题的能力就会在个体之间表现得非常明显。具备独立解决问题能力的人,在后续的工作和生活中,会比不具备独立解决问题的能力的人更得心应手,更游刃有余,每天成长的更多,且随着时间的推移,这种进步的“复利”效应会越来越明显。
比如刚刚列举的问题,此时你静下心来思考问题的根源,然后找到根源来解决目前这个问题,此时,如果你又出现另一个bug,这时,你的心境比之前要好得多,而且更有经验,以后不管出现什么样的错误,你都能独立轻松解决问题,如此反复,你将学到的是人生最宝贵的经验。

四、养成好习惯

一个人具备良好的习惯,对他的人生影响作用重大简单总结有以下几点:1.有利于身体健康。2.可以培养自信心,3.做事容易成功
就之前举的例子,如果做开始养成了细心且认真的好习惯,在最开始就不会操作失误,能极大的降低损失,极大地节省因为失误去解决的问题的时间,这时候我们不仅可以多出来时间去学习而且使自己心情舒畅。
养成良好学习习惯,从潜意识的角度来说,他可以调动潜意识为学习服务,他让我们在学习上主动出击,去主动的接纳知识,让我们具有更高的学习效率。
总之,养成良好的习惯没有一点坏处,不仅仅能解决好多问题,更能使我们取得成功。

大数据实训的意义

个人发展

IT技术与其他领域的学习并不相同,求学者最需要的就是实操,在实际操作中掌握自己所学知识点,通过前期的知识准备加上真实的大数据项目,求学者不仅能够提高动手能力,还能够将前期所学真正的融会贯通,从而实现真正的自我提升,为以后的发展增添一份优势。

找工作时的优势

企业的最终目的都是盈利,所以都会选择价值最高的员工。通过网上的招聘信息我们也不难发现,工作经验是企业招聘的一个重要考核标准。因此,很多刚刚毕业的学生就因为没有工作经验而被压低工资,但是认真通过实训后的学生不一样,实训后的学生真正的具备实操能力,让学生在学习结束后,就已经具备了相当高的实操能力,而这就相当于工作经验,也就成为了求职的关键。

以上是关于大数据实训的主要内容,如果未能解决你的问题,请参考以下文章

.NET 大数据实时计算--学习笔记

大数据实时数据同步超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)

大数据实时数据同步超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)

大数据实时数据同步超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)

大数据实训第7天

《大数据之路:阿里巴巴大数据实践》——8-11章 数据模型