Hive/Impala 列评论在几个字符后被截断

Posted 2023-03-22

【中文标题】Hive/Impala 列评论在几个字符后被截断

【英文标题】：Hive/Impala column-comments cut off after several characters

【发布时间】：2019-10-21 16:09:22

【问题描述】：

当我查看我们的数据湖中的 column-cmets（Hadoop，在使用 Hive 或 Impala 创建 parquet-table 期间制作的 cmets）时，它们会在大约 200 个字符后被删除。

这可能是我们 hadoop 系统中的全局字符设置或一些 Hive 限制？如果没有，有没有办法在创建表期间为 cmets 设置最大字符串长度？不幸的是，我没有系统本身的管理员访问权限，因此，我的见解受到限制。

【参考方案1】：

列 cmets 存储在 Hive Metastore 表 COLUMNS_V2 的名为 COMMENT 的列中。 目前，该列的大小限制为 256 个字符（例如，请参阅 mysql metastore schema definition 以获取 Hive 版本 3.0.0）。 在即将到来的 4.0 (?) 版本中，它似乎已经扩展为 varchar(4000)，但关联的 Hive JIRA-4921 仍然列为未解决，并且没有提及目标版本#。

【讨论】：

哎呀，这不能由用户自己设置：（尽管如此，谢谢您的快速回答和解释！