如果我们使用Hadoop处理大数据,那么数据会存储在哪里因为hadoop数据库HBase存储结构化数据而大数据是非结构化数据

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如果我们使用Hadoop处理大数据,那么数据会存储在哪里因为hadoop数据库HBase存储结构化数据而大数据是非结构化数据相关的知识,希望对你有一定的参考价值。

Hadoop用于处理大数据,hadoop使用HBase作为其数据库,但BigData可能80%是非结构化的,HBase仅存储结构化数据。

非结构化数据存储在哪里?或者有没有任何hadoop工具将非结构化数据转换为结构化格式?

答案

“大数据”并不意味着任何结构的存在,但大多数数据集都是半结构化的,否则很难一致地解析。

HBase位于HDFS之上。 Hbase可以存储二进制blob,因此其数据可用于存储非结构化数据。

HDFS可以存储任何类型的数据。它没有关于文件内容的元数据

您通常使用Hive(MetaStore)来应用HDFS数据集的结构

以上是关于如果我们使用Hadoop处理大数据,那么数据会存储在哪里因为hadoop数据库HBase存储结构化数据而大数据是非结构化数据的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop中最不容错过的压缩知识

小白学习大数据测试之hadoop再次探索

请教如何在hadoop获取数据

Hadoop分布式存储

hadoop和spark的相同和区别

大数据学习-2 认识Hadoop