hadoop应用场景
Posted 大漠之烟
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hadoop应用场景相关的知识，希望对你有一定的参考价值。
- 大数据量存储：分布式存储
- 日志处理: Hadoop擅长这个
- 海量计算: 并行计算
- ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库
- 使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统
- 机器学习: 比如Apache Mahout项目
- 搜索引擎:hadoop + lucene实现
- 数据挖掘：目前比较流行的广告推荐
- 大量地从文件中顺序读。HDFS对顺序读进行了优化，代价是对于随机的访问负载较高。
- 数据支持一次写入，多次读取。对于已经形成的数据的更新不支持。
- 数据不进行本地缓存（文件很大，且顺序读没有局部性）
- 任何一台服务器都有可能失效，需要通过大量的数据复制使得性能不会受到大的影响。
- 用户细分特征建模
- 个性化广告推荐
- 智能仪器推荐
以上是关于hadoop应用场景的主要内容，如果未能解决你的问题，请参考以下文章
Hadoop支持的压缩格式对比和应用场景以及Hadoop native库