有没有办法使元数据无效并从 CDSW 中的 python 代码重建索引？

Posted 2023-03-22

【中文标题】有没有办法使元数据无效并从 CDSW 中的 python 代码重建索引？

【英文标题】：Is there a way to invalidate metadata and rebuild index from python code in CDSW?

【发布时间】：2019-08-01 16:30:25

【问题描述】：

我在 CDSW 中使用 Impyla 和 Python 来查询 HDFS 中的数据并使用它。问题有时是获取我必须进入的所有数据并手动单击 HUE 中的“使所有元数据无效并重建索引”按钮。

有没有办法在工作台中使用库或 python 代码做到这一点？

【参考方案1】：

我假设您正在使用类似的东西通过impyla 连接到impala ...尝试执行invalidate metadata <table_name> 命令

from impala.dbapi import connect
conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('INVALIDATE METADATA mytable') # run this
cursor.execute('SELECT * FROM mytable LIMIT 100')
print cursor.description  # prints the result set's schema
results = cursor.fetchall()

【讨论】：

这是一个很好的答案。我知道有一个“无效元数据”命令，但我认为您只能从命令行使用它。非常感谢@thePurplePython