UNION ALL 参数化查询

Posted 2023-03-25

【中文标题】UNION ALL 参数化查询

【英文标题】：UNION ALL parameterised queries

【发布时间】：2019-04-02 20:10:17

【问题描述】：

我有一个工作正常的查询。问题是该查询的一部分是需要从文件中读取的字符串。查询每个字符串会产生 6 个输出。我需要该文件的所有结果的联合，以便最终结果是一个包含 6 倍字符串数的表。我可以使用 Python 读取文件。

我已经尝试过使用参数化查询。它们每个只返回基于字符串的 6 行。

我的大部分 Python 代码都基于 BigQuery 的文档 here。

query = """
    SELECT pet_id, age, name
    FROM `myproject.mydataset.mytable`
    WHERE name = @name
    AND species = @species;
"""
query_params = [
    bigquery.ScalarQueryParameter('name', 'STRING', 'Max'),
    bigquery.ScalarQueryParameter('species', 'INT64', 'Dog'), 
    bigquery.ScalarQueryParameter('name', 'STRING', 'Alfred'), 
    bigquery.ScalarQueryParameter('species', 'INT64', 'Cat')
]
job_config = bigquery.QueryJobConfig()
job_config.query_parameters = query_params
query_job = client.query(
    query,
    # Location must match that of the dataset(s) referenced in the query.
    location='US',
    job_config=job_config)  # API request - starts the query

# Print the results
for row in query_job:
    print(': \t'.format(row.word, row.word_count))

如何获得这些查询结果的 UNION ALL？

输出应该是这样的

pet_id | age | name
___________________
1      | 5   | Max
2      | 8   | Alfred

【问题讨论】：

对于标准库之外的方法，请包含所有import。

【参考方案1】：

请看下面使用公共数据的例子（你也可以运行查询）

#standardSQL
SELECT * 
FROM `bigquery-public-data.baseball.schedules`
WHERE (year, duration_minutes) IN UNNEST([(2016, 187), (2016, 165), (2016, 189)])

这里的关键是为您提供一个您想要用来过滤表的值数组，并使用 IN UNNEST(array_of_values) 来完成这项工作，理想情况下如下所示：

query = """
    SELECT pet_id, age, name
    FROM `myproject.mydataset.mytable`
    WHERE (name, species) IN UNNEST(@filter_array);
"""

遗憾的是，BigQuery Python API 不允许您将 array< struct<string, int64> > 指定为查询参数。所以你可能必须这样做：

query = """
    SELECT pet_id, age, name
    FROM `myproject.mydataset.mytable`
    WHERE concat(name, "_", species) IN UNNEST(@filter_array);
"""
array_of_pre_concatenated_name_and_species = ['Max_Dog', 'Alfred_Cat']
query_params = [
    bigquery.ArrayQueryParameter('filter_array', 'STRING', array_of_pre_concatenated_name_and_species),
]

【讨论】：

我的查询更像WITH str AS ( SELECT 'Max' AS STRING) SELECT name from main_table as mt INNER JOIN str ON mt.name == str.STRING。字符串“Max”来自文件。我应该把IN UNNEST(@filter_array) 声明放在哪里？

目前，我已将这些字符串从文件中提取到表中。这样我就可以让INNER JOIN 工作了。如果我不必摄取会更好。

@PranayNanda，在上面的例子中，你的字符串被放入这个数组array_of_pre_concatenated_name_and_species = ['Max_Dog', 'Alfred_Cat']