减去日期并连接字符串 - spark SQL
Posted
技术标签:
【中文标题】减去日期并连接字符串 - spark SQL【英文标题】:substract dates and concatenate strings - spark SQL 【发布时间】:2017-06-20 20:40:16 【问题描述】:我真的是数据科学的新手……实际上是在做一门课程。
我正在尝试使用 spark sql 创建查询...您能帮我解决错误吗?非常感谢你 f.e.我不知道如何连接字符串并减去日期。 这是我试图使其工作的查询:
sqlDF5 = sqlContext.sql(sqlQuery=
"select document_number, count((distinct document_number) ||'-'|| rloc) as frecuency,
sum(revenue_amount_seg) as money,
datediff(day, max(departure_date_leg) as datetime,'2014-01-01 00:00:00' as datetime) as recency,
from clientes_unicos group by document_number")
【问题讨论】:
【参考方案1】:其实我可以找到解决方案,如果有人需要的话:
sqlDF = sqlContext.sql(sqlQuery="select document_number,\
count(distinct(concat(document_number, ',', rloc))) as frecuency, \
sum(revenue_amount_seg) 作为钱,\
datediff(to_date('2014-01-01 00:00:00'), to_date(max(departure_date_leg))) 作为新近度 \
来自clientes_unicos group by document_number")
【讨论】:
以上是关于减去日期并连接字符串 - spark SQL的主要内容,如果未能解决你的问题,请参考以下文章
用于日期操作的 SparkSQL (Spark 1.3) UDF