如何在我的本地错误日志文件中获取 Redshift 错误？

Posted 2023-03-31

【中文标题】如何在我的本地错误日志文件中获取 Redshift 错误？

【英文标题】：How to get Redshift error in my local error log file?

【发布时间】：2018-04-13 03:27:55

【问题描述】：

我正在尝试将我的 python 代码中的批量数据从 API 加载到我的数据仓库。我专门使用的库是 Boto 和 psycopg2。将数据/文件加载到 S3 后，我正在触发一个 SQL 脚本以将数据从 S3 复制到 amazon redshift。

现在，关键是如果有任何错误，我的python代码将以状态1退出。每次我需要去检查STL_LOAD_ERRORS表来检查错误。 我想把它拉到我的代码的一个变量中并将它写到日志文件中。

请告诉我这是否可行，如果可行，请告诉我该怎么做。

【参考方案1】：

这很笼统，但会给你你需要的东西

import psycopg2
import logging

# connect to database somewhere up here

data_q = """
         COPY COMMAND
         """

error_q = """
          SELECT filename, err_reason FROM
          STL_LOAD_ERRORS 
          ORDER BY starttime DESC LIMIT 1;
          """

def main():
    with conn.cursor() as cursor:
        try:
            cursor.execute(data_q)
        except psycopg2.Error as e:
            cursor.execute(error_q)
            err = cursor.fetchone()
            logging.error(' failed to upload due to '.format(*err))
            conn.rollback()

if __name__ == "__main__":
    main()

【讨论】：

非常感谢您的帖子。我认为这是完美的。我不知道。我一定会在我的代码中尝试这个。再次感谢。 :)