我可以限制从 Hive 中的文件加载的记录数吗

Posted

技术标签:

【中文标题】我可以限制从 Hive 中的文件加载的记录数吗【英文标题】:Can I Limit Number of Record to be loaded from file in Hive 【发布时间】:2017-07-27 19:17:22 【问题描述】:

我可以在 Hive 加载命令中使用限制子句吗

load data local inpath '" + filepath + "' into table " + tableName Limit 1000;

【问题讨论】:

试试看,你会发现 ;-) 【参考方案1】:

不,你不能。将数据加载到您的表中,然后只需 SELECT * from table LIMIT 1000

【讨论】:

【参考方案2】:

如果源文件在 RDBMS 中,您可以使用 sqoop 将前 1000 条记录加载到配置单元中。

【讨论】:

以上是关于我可以限制从 Hive 中的文件加载的记录数吗的主要内容,如果未能解决你的问题,请参考以下文章

从云套件中快速加载所有记录,避免限制结果

引起:java.lang.OutOfMemoryError:超出GC开销限制

限制从 s-s-rS 中的数据库单次获取数据

Hive 限制中的最大动态分区

如何优化限制查询以便从庞大的表中更快地访问数据?

处理 hive 中的多行记录