python日期函数udf-程序分享

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python日期函数udf-程序分享相关的知识,希望对你有一定的参考价值。

基于python函数的udf日期处理函数

1、基于最近在学习python,就是试试用python进行一下的日期处理udf函数的输出,亲测可以上传去到hive中使用。后面开始学习使用python爬虫抓取黄色网页,和试试骗一下阅读量(笑)。最后,再去搞搞算法和机器学习。突然觉得自己搞得挺杂的。没办法,谁叫咱是码农呢?

2、使用办法-输入什么参数

这个py文件中包括一堆日期的计算函数。

其中包括

函数名 实现逻辑 使用说明 传入参数 example
week_begin 先获得本周是周几,再用7减周几,得出本日需要偏移的差值,再用偏移日期函数即可得出。 输入日期得出该日期所在周的周一日期 日期(date) ‘20171031‘ or ‘2017-10-31‘
week_end 先获得本周是周几,然后用周几除以7的余数,得出向后的偏移量,再用偏移日期函数即可得出 输入日期得出该日期所在周的周末日期 日期(date) ‘20171031‘ or ‘2017-10-31‘
week_num 利用python的内置日期函数得出 输入日期得出该日期是周几 日期(date) ‘20171031‘ or ‘2017-10-31‘
month_begin 截取年月字段保留起来,把日期改成01再组合起来 输入日期得出该日期所在月份的一号日期 日期(date) ‘20171031‘ or ‘2017-10-31‘
month_end 截取年月字段保留起来,月末日期用python内置函数生成,再组合起来 输入日期得出该日期所在月份的月末日期 日期(date) ‘20171031‘ or ‘2017-10-31‘
quarter_begin 主要是处理月份的问题,用当前月份除以3.1再取整,得出当前是第n-1季,然后再*3(季度的偏移量) 输入日期得出该日期所在季度的季度初日期 日期(date) ‘20171031‘ or ‘2017-10-31‘
quarter_end 原理同quarter_begin在第几季度那里做手脚 输入日期得出该日期所在季度的季度末日期 日期(date) ‘20171031‘ or ‘2017-10-31‘
n_day 把字符串转换成日期格式,然后相加 输入日期及偏移量得出该日期加偏移量后的日期 日期(date),偏移量(offset) ‘20171031,3‘ or ‘2017-10-31,3‘
n_week 先调用WEEK_BEGIN函数计算本周周一的函数,然后把再偏移量*7并调用N_DAY函数 输入日期及偏移量得出该日期偏移n周后的数据(得出的是周一) 日期(date),偏移量(offset) ‘20171031,3‘ or ‘2017-10-31,3‘
n_month 截取年分除以12,截取月份除以12的余数计算偏移量,最后再处理天 输入日期及偏移量得出该日期偏移n月后的日期 日期(date),偏移量(offset),月末或月头(tail) ‘20171031,3,begin‘ or ‘2017-10-31,3,end‘
n_quarter 调用quarter_begin计算季度的初始日期,然后再调用n_month*3计算偏移量 输入日期得出该日期偏移n个季度后的日期 日期(date),偏移量(offset),月末或月头(tail) ‘20171031,3,begin‘ or ‘2017-10-31,3,end‘
         

3、python上挂

                1)、先把这堆文件上传到服务器。

                2)、在使用的时候把python文件加载到缓存中

  add file /home/hive/zyp/python/date.py

               3)、最后在hive执行的时候,调用这个py函数即可

SELECT TRANSFORM (‘n_day,20171003,3‘) USING ‘python date.py‘;

4、逻辑分享

1)、python udf嵌套

原本是写成每个日期函数都是一个的,但是后来发现python在本地调用的时候是可以的,但是传上服务器之后就不好使了。这个也是确实的,谁叫别人java的udf都是封装好,需要注册的呢?

后来想想反正这函数也是写好在这里的需要调用才会用到的,于是干脆把所有函数都打包在一起,通过一个参数来调用了。

具体实现办法:

def func(argument,date_p,offset=1,tail=‘begin‘):

try:

switcher={

‘week_begin‘:week_begin(str(date_p),week_num(str(date_p))),

‘week_end‘:week_end(str(date_p),week_num(str(date_p))),

‘week_num‘:week_num(str(date_p)),

‘month_begin‘:month_begin(str(date_p)),

‘month_end‘:month_end(str(date_p)),

‘quarter_begin‘:quarter_begin(str(date_p)),

‘quarter_end‘:quarter_end(str(date_p)),

‘n_day‘:n_day(str(date_p),offset),

‘n_week‘:n_week(str(date_p),int(offset)*7),

‘n_month‘:n_month(str(date_p),offset,tail),

‘n_quarter‘:n_quarter(str(date_p),offset,tail),

}

func=switcher.get(argument)

return func

except:

return None

2)、参数补全

把东西都打包到一起之后就又发现问题了,有写函数不需要这么多参数啊。一旦你执行这些不需要那么多参数的函数的时候。硬硬的去取参数会导致报错的。

所以试了挺久,想到一个解决办法,不知道是不是最好实现了。办法就是给他补字段呗。

代码如下:

tempList = [‘1‘, ‘begin‘]

for line in sys.stdin:

day_p = line.strip().split(‘,‘)

if day_p[1][4]==‘-‘:

date_p=(day_p[1][0:4])+(day_p[1][5:7])+(day_p[1][8:11])

else:

date_p=day_p[1]

day_p.extend(tempList[-int(4-len(day_p)%4):])

day_list=day_p[0:4]

print func(str(day_list[0]),date_p,day_list[2],day_list[3])

中间还有一段处理日期带杠的代码。

3)、程序源码

#!/home/tops/bin/python

import calendar

import math

import sys

import datetime

#test=[‘n_day,20171003,3‘,‘week_begin,2017-10-05‘,‘week_num,2017-01-23‘,‘month_begin,2017-12-24‘,‘month_end,2017-09-30‘,‘quarter_begin,2017-10-05,5,begin‘,‘quarter_end,2017-01-23,-7,begin‘,‘n_day,20171224,8,begin‘,‘n_week,2017-09-30,3,begin‘,‘n_month,2017-10-05,5,begin‘,‘n_quarter,2017-01-23,-7,begin‘]

def week_end(day_p,week_num):

try:

return n_day(str(day_p),(7-int(week_num)))

except:

return None

def week_begin(day_p,week_num):

try:

return n_day(str(day_p),-(int(week_num)%7))

except:

return None

def week_num(day_p):

try:

day_str = day_p[0:4]+‘-‘+day_p[4:6]+‘-‘+day_p[6:8]

day_before = datetime.datetime.strptime(day_str, ‘%Y-%m-%d‘)

return day_before.weekday()+1

except:

return None

def month_begin(day_p):

try:

return day_p[0:4]+‘-‘+day_p[4:6]+‘-‘+‘01‘

except:

return None

def month_end(day_p):

try:

monthRange = calendar.monthrange(int(day_p[0:4]),int(day_p[4:6]))

return day_p[0:4]+‘-‘+day_p[4:6]+‘-‘+str(monthRange[1])

except:

return None

def quarter_begin(day_p):

try:

Quarter_begin=‘0‘+str(int(int(day_p[4:6])/3.1)*3+1)

return str(day_p[0:4])+‘-‘+str(Quarter_begin[-2:])+‘-‘+‘01‘

except:

return None

def quarter_end(day_p):

try:

Quarter_end=‘0‘+str((int(int(day_p[4:6])/3.1)+1)*3)

return month_end(str(day_p[0:4])+str(Quarter_end[-2:])+str(‘01‘))

except:

return None

def n_day(day_p,offset):

try:

day_str = day_p[0:4]+‘-‘+day_p[4:6]+‘-‘+day_p[6:8]

day_before = datetime.datetime.strptime(day_str, ‘%Y-%m-%d‘)

day_after = datetime.timedelta(days=int(offset))

n_days = day_before + day_after

return n_days.strftime(‘%Y-%m-%d‘)

except:

return None

def n_week(day_p,offset):

try:

date_p=week_begin(day_p,week_num(day_p))

date_p1=str(date_p[0:4]+date_p[5:7]+date_p[8:11])

return n_day(str(date_p1),int(offset)*7)

except:

return None

def n_month(day_p,offset,tail):

try:

year_m=int(day_p[0:4])+(int(offset)/12)

month_m=‘0‘+str(int((int(day_p[4:6])+int(offset))%12))

if month_m==‘00‘:month_m=12

if tail==‘begin‘:

day_m=‘01‘

else:

monthRange=calendar.monthrange(int(year_m),int(month_m))

day_m=str(monthRange[1])

return str(year_m)+‘-‘+str(month_m)[-2:]+‘-‘+str(day_m)

except:

return None

def n_quarter(day_p,offset,tail):

try:

date_p=quarter_begin(day_p)

return n_month(date_p,int(offset)*3,tail)

except:

return None

def func(argument,date_p,offset=1,tail=‘begin‘):

try:

switcher={

‘week_begin‘:week_begin(str(date_p),week_num(str(date_p))),

‘week_end‘:week_end(str(date_p),week_num(str(date_p))),

‘week_num‘:week_num(str(date_p)),

‘month_begin‘:month_begin(str(date_p)),

‘month_end‘:month_end(str(date_p)),

‘quarter_begin‘:quarter_begin(str(date_p)),

‘quarter_end‘:quarter_end(str(date_p)),

‘n_day‘:n_day(str(date_p),offset),

‘n_week‘:n_week(str(date_p),int(offset)*7),

‘n_month‘:n_month(str(date_p),offset,tail),

‘n_quarter‘:n_quarter(str(date_p),offset,tail),

}

func=switcher.get(argument)

return func

except:

return None

def main():

try:

tempList = [‘1‘, ‘begin‘]

for line in sys.stdin:

day_p = line.strip().split(‘,‘)

if day_p[1][4]==‘-‘:

date_p=(day_p[1][0:4])+(day_p[1][5:7])+(day_p[1][8:11])

else:

date_p=day_p[1]

day_p.extend(tempList[-int(4-len(day_p)%4):])

day_list=day_p[0:4]

print func(str(day_list[0]),date_p,day_list[2],day_list[3])

except:

return None

if __name__ == "__main__":

main()

‘‘‘

作者:张宇鹏

简书:http://www.jianshu.com/p/5c70d4ade0df

博客园:http://www.cnblogs.com/Yuppy-Lotr/

欢迎转载使用。不要改作者名就行。

‘‘‘

 

 

 

以上是关于python日期函数udf-程序分享的主要内容,如果未能解决你的问题,请参考以下文章

在 SQL 中编写函数以遍历 UDF 中的日期范围

在 Redshift 中使用 python UDF 中的表

日期递增的 Hive UDF

在 Redshift UDF 中求和

pyspark 数据框 UDF 异常处理

在 cosmos db 中使用 UDF 进行日期转换