在新的 pandas 数据框列中计算日期时间差(以年、月等为单位)

Posted

技术标签:

【中文标题】在新的 pandas 数据框列中计算日期时间差(以年、月等为单位)【英文标题】:calculate datetime-difference in years, months, etc. in a new pandas dataframe column 【发布时间】:2015-10-08 01:26:09 【问题描述】:

我有一个看起来像这样的熊猫数据框:

Name    start        end
A       2000-01-10   1970-04-29

我想添加一个新列,提供 startend 列之间的年、月、日差异。

所以结果应该是这样的:

Name    start        end          diff
A       2000-01-10   1970-04-29   29y9m etc.

diff 列也可能是datetime 对象或timedelta 对象,但对我来说关键是,我可以轻松获得YearMonth em> 离开它。

到目前为止我尝试的是:

df['diff'] = df['end'] - df['start']

这会产生包含10848 days 的新列。但是,我不知道如何将天数转换为 29y9m 等。

【问题讨论】:

【参考方案1】:

您可以尝试通过这种方式创建一个带有年份的新列:

df['diff_year'] = df['diff'] / np.timedelta64(1, 'Y')

【讨论】:

【参考方案2】:

relativedelta 非常简单:

from dateutil import relativedelta

>>          end      start
>> 0 1970-04-29 2000-01-10

for i in df.index:
    df.at[i, 'diff'] = relativedelta.relativedelta(df.ix[i, 'start'], df.ix[i, 'end'])

>>          end      start                                           diff
>> 0 1970-04-29 2000-01-10  relativedelta(years=+29, months=+8, days=+12)

【讨论】:

【参考方案3】:

更简单的方法是使用 date_range 函数并计算其长度

startdt=pd.to_datetime('2017-01-01')
enddt = pd.to_datetime('2018-01-01')
len(pd.date_range(start=startdt,end=enddt,freq='M'))

【讨论】:

如果您已经在项目中使用 pandas,这是非常简单的解决方案。【参考方案4】:

通过一个简单的函数,你就可以达到你的目标。

函数通过简单的计算来计算年差和月差。

import pandas as pd
import datetime

def parse_date(td):
    resYear = float(td.days)/364.0                   # get the number of years including the the numbers after the dot
    resMonth = int((resYear - int(resYear))*364/30)  # get the number of months, by multiply the number after the dot by 364 and divide by 30.
    resYear = int(resYear)
    return str(resYear) + "Y" + str(resMonth) + "m"

df = pd.DataFrame([("2000-01-10", "1970-04-29")], columns=["start", "end"])
df["delta"] = [parse_date(datetime.datetime.strptime(start, '%Y-%m-%d') - datetime.datetime.strptime(end, '%Y-%m-%d')) for start, end in zip(df["start"], df["end"])]
print df

        start         end  delta
0  2000-01-10  1970-04-29  29Y9m

【讨论】:

【参考方案5】:

我认为这是最“熊猫”的方式,无需使用任何 for 循环或定义外部函数:

>>> df = pd.DataFrame('Name': ['A'], 'start': [datetime(2000, 1, 10)], 'end': [datetime(1970, 4, 29)])
>>> df['diff'] = map(lambda td: datetime(1, 1, 1) + td, list(df['start'] - df['end']))
>>> df['diff'] = df['diff'].apply(lambda d: '0y1m'.format(d.year - 1, d.month - 1))
>>> df
  Name        end      start   diff
0    A 1970-04-29 2000-01-10  29y8m

由于 pandas 的 timedelda64 不允许简单地添加到 datetime 对象,因此不得不使用 map 而不是 apply。

【讨论】:

【参考方案6】:

您可以尝试以下函数来计算差异-

def yearmonthdiff(row):
    s = row['start']
    e = row['end']
    y = s.year - e.year
    m = s.month - e.month
    d = s.day - e.day
    if m < 0:
        y = y - 1
        m = m + 12
    if m == 0:
        if d < 0:
            m = m -1
        elif d == 0:
            s1 = s.hour*3600 + s.minute*60 + s.second
            s2 = e.hour*3600 + e.minut*60 + e.second
            if s1 < s2:
                m = m - 1
    return 'ym'.format(y,m)

其中 row 是数据框 row 。我假设您的 startend 列是 datetime 对象。然后您可以使用DataFrame.apply() 函数将其应用于每一行。

df

Out[92]:
                       start                        end
0 2000-01-10 00:00:00.000000 1970-04-29 00:00:00.000000
1 2015-07-18 17:54:59.070381 2014-01-11 17:55:10.053381

df['diff'] = df.apply(yearmonthdiff, axis=1)

In [97]: df
Out[97]:
                       start                        end   diff
0 2000-01-10 00:00:00.000000 1970-04-29 00:00:00.000000  29y9m
1 2015-07-18 17:54:59.070381 2014-01-11 17:55:10.053381   1y6m

【讨论】:

"I cannot think of any direct functions that give the difference in years and months" 请参阅我的回答中的relativedelta【参考方案7】:

类似于@DeepSpace 的回答,这是一个类似 SAS 的实现:

import pandas as pd
from dateutil import relativedelta

def intck_month( start, end ):
    rd = relativedelta.relativedelta( pd.to_datetime( end ), pd.to_datetime( start ) )
    return rd.years, rd.months

用法:

>> years, months = intck_month('1960-01-01', '1970-03-01')
>> print(years)
10
>> print(months)
2

【讨论】:

以上是关于在新的 pandas 数据框列中计算日期时间差(以年、月等为单位)的主要内容,如果未能解决你的问题,请参考以下文章

在 Pandas 数据框列中填充缺失的日期值

如何从 Pandas 数据框列中的日期时间减去 3 小时?

以字符串形式存储在 Pandas 数据框列中的解析列表

如何访问 pandas 数据框列中的字典元素并对其进行迭代以创建填充有各自值的新列?

根据月份日期列查找数据框列中每个因素的平均值[重复]

Pandas:如何将数据框列中的“时间戳”值从对象/字符串转换为时间戳?