在 BigQuery 中对具有 DateTime 值的字符串字段进行范围查询
Posted
技术标签:
【中文标题】在 BigQuery 中对具有 DateTime 值的字符串字段进行范围查询【英文标题】:Range query on string fields having DateTime values in BigQuery 【发布时间】:2013-01-11 06:33:47 【问题描述】:我正在将数据从 csv 文件上传到 bigquery 表。来自 csv 的每条记录都包含日期时间字段值,我将这些值作为字符串存储到 BigQuery 表字段中。当我查询这些日期时间字段以获得所需的范围(如 dateField > '2013-01-01 00:00:00' 和 dateField
我尝试使用 TimeStamp 函数,但没有成功。请帮帮我。
【问题讨论】:
【参考方案1】:我解决了问题:-
当我生成带有 datetime(YYYY-MM-DD HH:MM:SS) 值的 csv 文件时,我使用了一段代码,使用 C# 将该值转换为 POSIX 值(UNIX 时间戳):-
protected string convertDateTimeToPOSIX(string strDateTime)
string strPOSIX = "";
DateTime dtmDateTime = DateTime.Parse(strDateTime);
DateTime dtmEpoch = new DateTime(1970, 1, 1, 0, 0, 0, 0);
TimeSpan objTSpan = (dtmDateTime - dtmEpoch);
strPOSIX = objTSpan.TotalSeconds.ToString();
return strPOSIX + "000000";
例如。如果 strDateTime = "16-03-2011 23:51:17" 那么它的 POSIX 值将变为 "1300319477000000"
文件上传后,我使用 Web 界面查询 Big Query:-
SELECT Col1, Col2, Col3, FORMAT_UTC_USEC(POSIX_DateTime) DATE FROM [Dataset.tableName]
WHERE POSIX_DateTime > PARSE_UTC_USEC('2013-01-01 00:00:00') AND POSIX_DateTime < PARSE_UTC_USEC('2013-01-11 00:00:00')
ORDER BY DATE
【讨论】:
以上是关于在 BigQuery 中对具有 DateTime 值的字符串字段进行范围查询的主要内容,如果未能解决你的问题,请参考以下文章
BigQuery:无法将 TIMESTAMP_MICROS 类型的字段“stamp”读取为 DATETIME
使用具有相对日期范围和标准 SQL 的 Bigquery Table 通配符 [重复]
无法在 python 中对 bigquery 运行标准 SQL 查询