Linux里面presto作用是啥？

Posted 2023-05-10

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。

Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。
Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。

Presto以分析师的需求作为目标，他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择，要么使用速度快的昂贵的商业方案，要么使用消耗大量硬件的慢速的“免费”方案。
目前用的不是很多。 参考技术A presto是Linux中很常用的命令，用于查找文件中符合条件的字符串，如果查到，会把文件的那一列显示出来。
支持通配符，支持正则表达式，功能强大。 参考技术B presto是在它内部做hive类似的逻辑 接下来,深入看下presto的内部架构 这里面三个服务: Coordinator是一个中心的查询角色,它主要的一个作用是接受查询请求

Linux里面hdfs作用是啥？

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。 参考技术A 我们通过 hadoop shell上传的文件是存放在 DataNode的block中, 通过 linux shell是看 不到文件的,只能看到block。 可以一句话描述HDFS:把客户端的大文件存放在很多节点的数据块中 参考技术B (2)HDFS设计思想 3,HDFS架构 4,HDFS特点 优点: (1)构建在廉价的机器上 a: 通过多副本提高可靠性 b: 提供了容错和恢复机制 (2)高容错性 a. 数据自动保存多个副本 参考技术C Linux里面hdfs作用是批量数据的分布式存储和处理。 参考技术D Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件（commodity hardware）上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的