大数据技术平台都有哪些?

Posted 2023-04-25

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

记住学到这里可以作为你学大数据的一个节点。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么程度，你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变得很简单，不会再费劲的编写MapReduce程序。有的人说Pig那？它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的？排队买票你知道不？数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰溜溜的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接收方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

参考技术A 百度指数、国家统计局、百度商情、纽扣数据、百度推广、360大数据平台、易车指数、高德地图、移动观测台、艾瑞网。 参考技术B 大数据信息是大量高速，且多变的借助大数据工具及相关技术可针对不同的行为特征的用户进行针对性的营销。目前主流的十佳权威大数据分析平台主要有阿里巴巴、百度、腾讯、高德开放平台、鹿豹座大数据研究院、友盟、华为云服务、浪潮、神州融、海康威视。 参考技术C 比如Java，大数据不需要太深的Java技术，所以有点基础就可以了，其次是Linux，大数据基本是在这个平台上运行的，所以对于这个平台需要一定的掌握才行。
最后还有就是Hadoop，星环，浪潮，帆软，海云数据等等 参考技术D 1、 数据库&数据平台类，星环。专注于Hadoop生态系列的大数据平台公司。Hadoop是开源的，星环将Hadoop不稳定的部分优化，功能细化，为所有企业提供Hadoop大数据引擎及数据库工具。
2、 大数据存储硬件类，浪潮。浪潮是很老牌的IT公司，在大数据方面一直稳扎稳打研究存储，在大数据存储方面国内领先。3、 云端大数据，阿里巴巴。这个不多说，明星产品-阿里云，与亚马逊AWS抗衡，做公有云、私有云、混合云。
4、数据应用方面，帆软、海云数据。

国外大数据网站都有哪些

国外大数据网站：
1、The Internet map
全世界各大网站的可视化，网站都用圆形表示，圆的大小表示网站的访问量。
2、Kaspersky Cyberthreat real-time map

由防毒软件提供，卡巴斯基制作的 Cybermap ，这个作品能实时展现现在世界上有多少起服务器攻击事件。
3、http://aworldoftweets.frogdesign.com/ 参考技术A 大数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域，有着旺盛的应用需求、广阔的应用前景。为把握这一新兴领域带来的新机遇，需要不断跟踪研究大数据，不断提升对大数据的认知和理解，坚持技术创新与应用创新的协同共进，加快经济社会各领域的大数据开发与利用，推动国家、行业、企业对于数据的应用需求和应用水平进入新的阶段。