GDELT:计算特定主题的出现次数

Posted

技术标签:

【中文标题】GDELT:计算特定主题的出现次数【英文标题】:GDELT: count occurence of specific themes 【发布时间】:2020-11-10 09:25:50 【问题描述】:

我试图计算术语“BITCOIN”在 GDELT 数据库的主题列中出现的频率,然后按日期对计数进行分组。这是我目前所拥有的:

SELECT DATE, SPLIT(RTRIM(Themes,';'),';') themes 

FROM `gdelt-bq.gdeltv2.gkg_partitioned` WHERE _PARTITIONTIME >= "2020-11-01 00:00:00" AND _PARTITIONTIME < "2020-11-07 00:00:00" 
#and (Themes like "%BITCOIN%")
#or (AllNames like "%bitcoin%" or AllNames like "%BITCOIN%")

and length(Themes) > 1
) select count(theme) cnt from nested, UNNEST(themes) as theme WHERE theme like "%BITCOIN%"

group by DATE

这是正确的方法吗?谢谢!

【问题讨论】:

【参考方案1】:

以下是 BigQuery 标准 SQL

#standardsql
select date(_partitiontime) date, count(theme) occurences
from `gdelt-bq.gdeltv2.gkg_partitioned`, unnest(split(themes,';')) as theme 
where _partitiontime >= "2020-11-01 00:00:00" and _partitiontime < "2020-11-07 00:00:00" 
and lower(theme) like "%bitcoin%"
group by date
-- order by date  

有输出

【讨论】:

以上是关于GDELT:计算特定主题的出现次数的主要内容,如果未能解决你的问题,请参考以下文章

计算特定单词在 C++ 文本文件中出现的次数

计算java字符串中特定出现的次数

在这种特定情况下,如何计算 Excel 中每个句子的出现次数?

如何计算元素在数组中特定位置出现的次数? [关闭]

如何计算特定字母在字符串中出现的次数? (C++)

如何计算指向不同向量数组中特定对象的指针的出现次数