在新的 pandas 数据框列中计算日期时间差(以年、月等为单位)
Posted
技术标签:
【中文标题】在新的 pandas 数据框列中计算日期时间差(以年、月等为单位)【英文标题】:calculate datetime-difference in years, months, etc. in a new pandas dataframe column 【发布时间】:2015-10-08 01:26:09 【问题描述】:我有一个看起来像这样的熊猫数据框:
Name start end
A 2000-01-10 1970-04-29
我想添加一个新列,提供 start
和 end
列之间的年、月、日差异。
所以结果应该是这样的:
Name start end diff
A 2000-01-10 1970-04-29 29y9m etc.
diff 列也可能是datetime
对象或timedelta
对象,但对我来说关键是,我可以轻松获得Year 和Month em> 离开它。
到目前为止我尝试的是:
df['diff'] = df['end'] - df['start']
这会产生包含10848 days
的新列。但是,我不知道如何将天数转换为 29y9m 等。
【问题讨论】:
【参考方案1】:您可以尝试通过这种方式创建一个带有年份的新列:
df['diff_year'] = df['diff'] / np.timedelta64(1, 'Y')
【讨论】:
【参考方案2】:relativedelta
非常简单:
from dateutil import relativedelta
>> end start
>> 0 1970-04-29 2000-01-10
for i in df.index:
df.at[i, 'diff'] = relativedelta.relativedelta(df.ix[i, 'start'], df.ix[i, 'end'])
>> end start diff
>> 0 1970-04-29 2000-01-10 relativedelta(years=+29, months=+8, days=+12)
【讨论】:
【参考方案3】:更简单的方法是使用 date_range 函数并计算其长度
startdt=pd.to_datetime('2017-01-01')
enddt = pd.to_datetime('2018-01-01')
len(pd.date_range(start=startdt,end=enddt,freq='M'))
【讨论】:
如果您已经在项目中使用 pandas,这是非常简单的解决方案。【参考方案4】:通过一个简单的函数,你就可以达到你的目标。
函数通过简单的计算来计算年差和月差。
import pandas as pd
import datetime
def parse_date(td):
resYear = float(td.days)/364.0 # get the number of years including the the numbers after the dot
resMonth = int((resYear - int(resYear))*364/30) # get the number of months, by multiply the number after the dot by 364 and divide by 30.
resYear = int(resYear)
return str(resYear) + "Y" + str(resMonth) + "m"
df = pd.DataFrame([("2000-01-10", "1970-04-29")], columns=["start", "end"])
df["delta"] = [parse_date(datetime.datetime.strptime(start, '%Y-%m-%d') - datetime.datetime.strptime(end, '%Y-%m-%d')) for start, end in zip(df["start"], df["end"])]
print df
start end delta
0 2000-01-10 1970-04-29 29Y9m
【讨论】:
【参考方案5】:我认为这是最“熊猫”的方式,无需使用任何 for 循环或定义外部函数:
>>> df = pd.DataFrame('Name': ['A'], 'start': [datetime(2000, 1, 10)], 'end': [datetime(1970, 4, 29)])
>>> df['diff'] = map(lambda td: datetime(1, 1, 1) + td, list(df['start'] - df['end']))
>>> df['diff'] = df['diff'].apply(lambda d: '0y1m'.format(d.year - 1, d.month - 1))
>>> df
Name end start diff
0 A 1970-04-29 2000-01-10 29y8m
由于 pandas 的 timedelda64 不允许简单地添加到 datetime 对象,因此不得不使用 map 而不是 apply。
【讨论】:
【参考方案6】:您可以尝试以下函数来计算差异-
def yearmonthdiff(row):
s = row['start']
e = row['end']
y = s.year - e.year
m = s.month - e.month
d = s.day - e.day
if m < 0:
y = y - 1
m = m + 12
if m == 0:
if d < 0:
m = m -1
elif d == 0:
s1 = s.hour*3600 + s.minute*60 + s.second
s2 = e.hour*3600 + e.minut*60 + e.second
if s1 < s2:
m = m - 1
return 'ym'.format(y,m)
其中 row 是数据框 row
。我假设您的 start
和 end
列是 datetime
对象。然后您可以使用DataFrame.apply()
函数将其应用于每一行。
df
Out[92]:
start end
0 2000-01-10 00:00:00.000000 1970-04-29 00:00:00.000000
1 2015-07-18 17:54:59.070381 2014-01-11 17:55:10.053381
df['diff'] = df.apply(yearmonthdiff, axis=1)
In [97]: df
Out[97]:
start end diff
0 2000-01-10 00:00:00.000000 1970-04-29 00:00:00.000000 29y9m
1 2015-07-18 17:54:59.070381 2014-01-11 17:55:10.053381 1y6m
【讨论】:
"I cannot think of any direct functions that give the difference in years and months"
请参阅我的回答中的relativedelta
【参考方案7】:
类似于@DeepSpace 的回答,这是一个类似 SAS 的实现:
import pandas as pd
from dateutil import relativedelta
def intck_month( start, end ):
rd = relativedelta.relativedelta( pd.to_datetime( end ), pd.to_datetime( start ) )
return rd.years, rd.months
用法:
>> years, months = intck_month('1960-01-01', '1970-03-01')
>> print(years)
10
>> print(months)
2
【讨论】:
以上是关于在新的 pandas 数据框列中计算日期时间差(以年、月等为单位)的主要内容,如果未能解决你的问题,请参考以下文章