用于插入数据的 Hive 循环

Posted 2023-03-23

【中文标题】用于插入数据的 Hive 循环

【英文标题】：Hive loop for inserting data

【发布时间】：2018-04-25 14:57:30

【问题描述】：

是否可以在 Hive 中进行循环以在表中插入一堆随机值？ 我知道我可以用某种编程语言创建一个脚本来创建一个包含所需行数的 csv 文件，然后将 csv 作为外部表加载到 hive 中。

所以我想要有 1000000 行的表。架构：

名称字符串， s_name 字符串， 年龄说明

提前致谢。

【问题讨论】：

就目前而言，这个问题太宽泛了..您的表格有多少列？输出应该是什么样子？你试过什么了？请在问题中添加这些详细信息。

“我知道我可以用某种编程语言创建一个脚本来创建一个包含所需行数的 csv 文件，然后将 csv 作为外部表加载到 hive 中。”这基本上就是你需要在这里做的事情

为什么需要循环？您可以在单个插入语句中生成 1M 行

【参考方案1】：

正确的方法是使用 csv（或任何其他文件格式）在 Hive 中插入数据。如果您不想使用编程语言，您可以使用 Excel（或任何其他类比）根据需要生成尽可能多的带有随机数据的行，然后将它们保存在 CSV 文件中。希望这会有所帮助。