减去日期并连接字符串 - spark SQL

Posted

技术标签:

【中文标题】减去日期并连接字符串 - spark SQL【英文标题】:substract dates and concatenate strings - spark SQL 【发布时间】:2017-06-20 20:40:16 【问题描述】:

我真的是数据科学的新手……实际上是在做一门课程。

我正在尝试使用 spark sql 创建查询...您能帮我解决错误吗?非常感谢你 f.e.我不知道如何连接字符串并减去日期。 这是我试图使其工作的查询:

sqlDF5 = sqlContext.sql(sqlQuery=

"select document_number, count((distinct document_number) ||'-'|| rloc) as frecuency, 

sum(revenue_amount_seg) as money, 

datediff(day, max(departure_date_leg) as datetime,'2014-01-01 00:00:00' as datetime) as recency, 

from clientes_unicos group by document_number")

【问题讨论】:

【参考方案1】:

其实我可以找到解决方案,如果有人需要的话:

sqlDF = sqlContext.sql(sqlQuery="select document_number,\

count(distinct(concat(document_number, ',', rloc))) as frecuency, \

sum(revenue_amount_seg) 作为钱,\

datediff(to_date('2014-01-01 00:00:00'), to_date(max(departure_date_leg))) 作为新近度 \

来自clientes_unicos group by document_number")

【讨论】:

以上是关于减去日期并连接字符串 - spark SQL的主要内容,如果未能解决你的问题,请参考以下文章

Apache Spark SQL:自动内连接?

oracle的基础知识1

SQL中字符串的连接

用于日期操作的 SparkSQL (Spark 1.3) UDF

如何将偏移值添加/减去日期时间并在 SQL 中返回新的日期时间值?

减去 2 个日期得到天数