在 BigQuery 中对具有 DateTime 值的字符串字段进行范围查询

Posted

技术标签:

【中文标题】在 BigQuery 中对具有 DateTime 值的字符串字段进行范围查询【英文标题】:Range query on string fields having DateTime values in BigQuery 【发布时间】:2013-01-11 06:33:47 【问题描述】:

我正在将数据从 csv 文件上传到 bigquery 表。来自 csv 的每条记录都包含日期时间字段值,我将这些值作为字符串存储到 BigQuery 表字段中。当我查询这些日期时间字段以获得所需的范围(如 dateField > '2013-01-01 00:00:00' 和 dateField

我尝试使用 TimeStamp 函数,但没有成功。请帮帮我。

【问题讨论】:

【参考方案1】:

我解决了问题:-

当我生成带有 datetime(YYYY-MM-DD HH:MM:SS) 值的 csv 文件时,我使用了一段代码,使用 C# 将该值转换为 POSIX 值(UNIX 时间戳):-

        protected string convertDateTimeToPOSIX(string strDateTime)
        
            string strPOSIX = "";
            DateTime dtmDateTime = DateTime.Parse(strDateTime);
            DateTime dtmEpoch = new DateTime(1970, 1, 1, 0, 0, 0, 0);
            TimeSpan objTSpan = (dtmDateTime - dtmEpoch);
            strPOSIX = objTSpan.TotalSeconds.ToString();
            return strPOSIX + "000000";
        

例如。如果 strDateTime = "16-03-2011 23:51:17" 那么它的 POSIX 值将变为 "1300319477000000"

文件上传后,我使用 Web 界面查询 Big Query:-

    SELECT Col1, Col2, Col3, FORMAT_UTC_USEC(POSIX_DateTime) DATE FROM [Dataset.tableName] 
    WHERE POSIX_DateTime > PARSE_UTC_USEC('2013-01-01 00:00:00') AND POSIX_DateTime < PARSE_UTC_USEC('2013-01-11 00:00:00')
    ORDER BY DATE

【讨论】:

以上是关于在 BigQuery 中对具有 DateTime 值的字符串字段进行范围查询的主要内容,如果未能解决你的问题,请参考以下文章

BigQuery:无法将 TIMESTAMP_MICROS 类型的字段“stamp”读取为 DATETIME

在 BigQuery 中选择具有不同 2 列的最新事件

使用具有相对日期范围和标准 SQL 的 Bigquery Table 通配符 [重复]

无法在 python 中对 bigquery 运行标准 SQL 查询

在 BigQuery Java UDF 中对数组进行累积求和时出现问题

如何选择第 n 列,并在 BigQuery 中对列的选择进行排序