如果我们使用Hadoop处理大数据,那么数据会存储在哪里因为hadoop数据库HBase存储结构化数据而大数据是非结构化数据
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如果我们使用Hadoop处理大数据,那么数据会存储在哪里因为hadoop数据库HBase存储结构化数据而大数据是非结构化数据相关的知识,希望对你有一定的参考价值。
Hadoop用于处理大数据,hadoop使用HBase作为其数据库,但BigData可能80%是非结构化的,HBase仅存储结构化数据。
非结构化数据存储在哪里?或者有没有任何hadoop工具将非结构化数据转换为结构化格式?
答案
“大数据”并不意味着任何结构的存在,但大多数数据集都是半结构化的,否则很难一致地解析。
HBase位于HDFS之上。 Hbase可以存储二进制blob,因此其数据可用于存储非结构化数据。
HDFS可以存储任何类型的数据。它没有关于文件内容的元数据
您通常使用Hive(MetaStore)来应用HDFS数据集的结构
以上是关于如果我们使用Hadoop处理大数据,那么数据会存储在哪里因为hadoop数据库HBase存储结构化数据而大数据是非结构化数据的主要内容,如果未能解决你的问题,请参考以下文章