alluxio介绍与作用

Posted 2020-06-28

    一、介绍Alluxio

   Tachyon正式改名为alluxio，并发布v1.0.0版本，alluxio是内存高速虚拟分布式存储系统。

   Alluxio是一个以内存为中心的虚拟分布式存储系统，统一数据访问和桥梁的计算框架和底层存储

系统。应用程序只需要alluxio就可以把访问存储在任何底层存储系统的数据连接。此外，Alluxio以内

存为中心的架构实现数据访问的数量级的速度比现有的解决方案快很多。

   在大数据的生态系统，Alluxio在于计算框架或jobs之间，如Apache的Spark，Apache的

MapReduce，或Apache Flink，和各种各样的存储系统，如Amazon S3，OpenStack Swift，GlusterFS，

HDFS，Ceph，或OSS。Alluxio带来显着的改善生态系统的性能；例如，百度使用alluxio提高加速数据分

析管道30倍的吞吐量。

   二、现有的特性

   （1）、灵活的文件API

     Alluxio的原生API与java.io.file类InputStream和OutputStream接口相似，提供高效的支持内存映射的I/O，我们推荐使用这个API来获得最好的性能alluxio。另外，alluxio提供Hadoop兼容的文件系统接口，允许Hadoop MapReduce和Spark使用alluxio代替HDFS。

   （2）、支持可插拔存储

   （3）、分层存储

   （4）、统一命名空间、

   （5）、血统

   （6）、WebUI和命令行

本文出自 “起航Loki” 博客，转载请与作者联系！