常用的开发工具

Posted 2021-04-25 大数据学习与文本分析

要使用搞大数据的各种平台，编程工具的选择就显得很重要了，不论在windows下还是linux下，一个好的工具，开以事半功倍！废话不多说，直接介绍一些我所了解的开发工具，当然可能不全，欢迎补充！

1. git工具，这是一个多版本的控制工具，支持版本回退等操作，团队协作的重要工具，推荐的学习网站是   廖雪峰的官方网站 ，链接：https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000  我就是跟着这个学习的，感觉很受益。与其关联的是github，这个应该很多人比较熟悉了，你可以git clone 一个仓库后，git checkout -b 你的branch名字，然后修该文件 git add  文件  ， git commit -m 描述， git push 文件 推送上去，，，当然先作为该仓库的贡献者，可以创建pr

   上传自己的branch后，可以等待 人员审核，然后成为贡献者

2. maven，这是java的一个jar包管理的框架。当然平时小项目用到的jar包，我们都是手动下载，但当项目足够庞大的时候，下jar包可是很费事的，所以这个maven有一个中心仓库 ，链接：https://www.mvnrepository.com/   一般会这样用，新建一个maven工程：
   

   一般就是这个样子的，pom文件就是jar包的依赖，打开maven中央仓库，找到相应版本的依赖，加入pom文件的依赖中：

就OK了。前两天做项目的时候，师兄给了一堆的csv文件，让我导入hbase，然后我琢磨了两天，怎么都搞不定？大致原因有如下几点：python、处理的时候缺各种的jar包嘛！！！最后就采用了一种我自认为很舒服的办法，我用python先将所有的csv文件规则化，比如去除换行啊，文中的逗号（英文的），然后得到预处理文件，然后用maven工程写了java的程序导入hbase，然后直接 mvn  package assemably:single打个jar包，直接上传到master，运行完美，哈哈哈哈，说实话，第一次体会到mvn的功能强大，限于项目的保密性，哈哈哈哈，就不能公布代码，哈哈哈哈，皮一下就很开心啦~~~~~~~~~~

3. sbt组织，和maven类似的操作，有兴趣可以了解一下，经常写scala程序用的多一点

总结，在写大数据的处理程序的时候，有时候真的找各种jar包，是一件特别累的事，真的很多时候可以很崩溃，今天就先介绍这些平台，下一次介绍一点开发工具及上述的几种的配置，增加开发效率哈~~~~~~~