如何循环遍历熊猫分组的时间序列？

Posted 2023-03-11

【中文标题】如何循环遍历熊猫分组的时间序列？

【英文标题】：How to loop through a pandas grouped time series?

【发布时间】：2020-11-30 13:48:19

【问题描述】：

我有一个这样的数据框：

                      datetime type   d13C  ...  dayofyear week         dmy
1       2018-01-05 15:22:30  air  -8.88  ...          5    1    5-1-2018
2       2018-01-05 15:23:30  air  -9.08  ...          5    1    5-1-2018
3       2018-01-05 15:24:30  air -10.08  ...          5    1    5-1-2018
4       2018-01-05 15:25:30  air  -9.51  ...          5    1    5-1-2018
5       2018-01-05 15:26:30  air  -9.61  ...          5    1    5-1-2018
                    ...  ...    ...  ...        ...  ...         ...
341543  2018-12-17 12:42:30  air  -9.99  ...        351   51  17-12-2018
341544  2018-12-17 12:43:30  air  -9.53  ...        351   51  17-12-2018
341545  2018-12-17 12:44:30  air  -9.54  ...        351   51  17-12-2018 
341546  2018-12-17 12:45:30  air  -9.93  ...        351   51  17-12-2018
341547  2018-12-17 12:46:30  air  -9.66  ...        351   51  17-12-2018

这里有完整的数据：https://drive.google.com/file/d/1KmOwnpvrG2Edz1AlLyD0CKZlBpaFervM/view?usp=sharing

我在 Y 轴上绘制 d13C 列，在 X 上绘制反总co2，然后为数据中的每一天拟合一条回归线。然后，我过滤并存储我想要的日期，具体取决于回归线的 r^2 值是否 > 0.8，如下所示：

import pandas as pd
from numpy.polynomial.polynomial import polyfit
import numpy as np
from scipy import stats

df = pd.read_csv('dataset.txt', usecols = ['datetime', 'type', 'total_co2', 'd13C', 'day','month','year','dayofyear','week','hour'], dtype = 'total_co2':
np.float64, 'd13C':np.float64, 'day':str, 'month':str, 'year':str,'week':str, 'hour': str, 'dayofyear':str) 
    
df['dmy'] = df['day'] +'-'+ df['month'] +'-'+ df['year'] # adding a full date column to make it easir to filter through
# the rows, ie. each day
# window18 = df[((df['year']=='2018'))] # selecting just the data from the year 2018

accepted_dates_list = [] # creating an empty list to store the dates that we're interested in
for d in df['dmy'].unique(): # this will pass through each day, the .unique() ensures that it doesnt go over the same days  
    acceptable_date =  # creating a dictionary to store the valid dates
    period = df[df.dmy==d] # defining each period from the dmy column
    p = (period['total_co2'])**-1
    q = period['d13C']
    c,m = polyfit(p,q,1) # intercept and gradient calculation of the regression line
    slope, intercept, r_value, p_value, std_err = stats.linregress(p, q) # getting some statistical properties of the regression line
    
    
    if r_value**2 >= 0.8:
        acceptable_date['period'] = d # populating the dictionary with the accpeted dates and corresponding other values
        acceptable_date['r-squared'] = r_value**2
        acceptable_date['intercept'] = intercept
        accepted_dates_list.append(acceptable_date) # sending the valid stuff in the dictionary to the list
    else:
        pass


accepted_dates18 = pd.DataFrame(accepted_dates_list) # converting the list to a df
print(accepted_dates18)

但现在我想做同样的事情，我试图从一年中的某一天列中选择超过三天的时间段（不确定这是否是最好的方法）。例如，我想使用 dayofyear=5、dayofyear=6、dayofyear=7 的所有行拟合回归线，然后在接下来的三天直到数据结束。有几天不见了，但基本上我只需要在数据中每 3 天执行一次。

然后我尝试获取的输出数据框将包含 r^2 >0.8 的三天间隔列表，因此任何类似这样的内容都会显示有效日期范围：

  Accepted dates
0  23-08-2018 - 25-08-2018
1  26-08-2018 - 28-08-2018
2  31-08-2018 - 02-09-2018
3  15-09-2018 - 17-09-2018
4  24-09-2018 - 26-09-2018

我不太确定如何每三天进行一次迭代。任何帮助都会有很大帮助，谢谢！

【参考方案1】：

您的代码循环遍历唯一日期列表并在每次迭代时过滤数据框。

Pandas 使用 df.groupby() 实现了这一点。它可以用于循环和获取每个组，也可以与聚合、函数应用程序和转换结合使用。您可以在user guide 上阅读更多相关信息。此函数可以根据 df 中的任何列（或列集）、索引级别或任何其他与 df 长度相同的外生列表返回组（我们正在对行进行分组，但请注意，它也可以对列进行分组）。它甚至还实现了最常见的统计聚合，例如 mean、stdev 和 corr 等等。

现在解决您的问题。您不仅需要相关性，还需要方程式，因此您确实需要循环。要获得为期三天的小组，您可以稍微使用 dayofyear 列。

获取这些数据

import io
fo = io.StringIO(
'''datetime,d13C
2018-01-05 15:22:30,-8.88
2018-01-05 15:23:30,-9.08
2018-01-06 15:24:30,-10.0
2018-01-06 15:25:30,-9.51
2018-01-07 15:26:30,-9.61
2018-01-07 15:27:30,-9.61
2018-01-08 15:28:30,-9.61
2018-01-08 15:29:30,-9.61
2018-01-09 15:26:30,-9.61
2018-01-09 15:27:30,-9.61
''')
df = pd.read_csv(fo)
df.datetime = pd.to_datetime(df.datetime)
fo.close()

带有分组和循环的代码

first_day = 5
days_to_group = 3
for doy, gdf in df.groupby((df.datetime.dt.dayofyear.sub(first_day) // days_to_group)
        * days_to_group + first_day):
    print(gdf, '\n')
    print(doy, '\n')

输出

             datetime   d13C
0 2018-01-05 15:22:30  -8.88
1 2018-01-05 15:23:30  -9.08
2 2018-01-06 15:24:30 -10.00
3 2018-01-06 15:25:30  -9.51
4 2018-01-07 15:26:30  -9.61
5 2018-01-07 15:27:30  -9.61

5

             datetime  d13C
6 2018-01-08 15:28:30 -9.61
7 2018-01-08 15:29:30 -9.61
8 2018-01-09 15:26:30 -9.61
9 2018-01-09 15:27:30 -9.61

8

现在您可以将代码插入此循环并获得所需的内容。

---

PS

你也可以使用df.datetime.dt.floor('3d')作为grouper，但我不知道如何控制first_day，所以谨慎使用。

【讨论】：

谢谢，太好了！只是一个旁注，代码输出每个分组的数据帧非常好，有没有办法在我的代码末尾将这些日期添加到接受的日期18 df？我尝试在 if 语句下使用：acceptable_date['dmy'] = gdf['dmy'] 这样做。然后，当我检查 acceped_dates18 df 时，它会添加一个 dmy 列，其中只有每个接受的分组 df 的第一个日期及其索引号，顶部的三个点，都在同一个单元格中！

你想要一个字符串标签吗？尝试将gdf.dmy.min() 和.max() 与datetime.strftime 结合使用

是的。现在刚试过这个。不需要使用 strftime 函数，但仍然得到了我试图通过将两列添加到accepted_dates18 来获得最小日期和最大日期的输出。再次感谢！

【参考方案2】：

这是一种方法。据我了解，主要目标是从当前观察（每天多次）到 3 天移动平均线。首先，我创建了一个更小、更简单的数据集：

import pandas as pd
df = pd.DataFrame('counter': [*range(100)],
                  'date': pd.date_range('2020-01-01', periods=100, freq='7H'))
df = df.set_index('date')
print(df.head())

                     counter
date                        
2020-01-01 00:00:00        0
2020-01-01 07:00:00        1
2020-01-01 14:00:00        2
2020-01-01 21:00:00        3
2020-01-02 04:00:00        4

其次，我每天都重新采样：

df2 = df['counter'].resample('1D').mean()  # <-- called df2
print(df2.head())

date
2020-01-01     1.5
2020-01-02     5.0
2020-01-03     8.5
2020-01-04    12.0
2020-01-05    15.5
Freq: D, Name: counter, dtype: float64

第三，我计算了 3 天移动窗口的平均值：

print(df2.rolling(3).mean().head())

date
2020-01-01     NaN
2020-01-02     NaN
2020-01-03     5.0
2020-01-04     8.5
2020-01-05    12.0
Freq: D, Name: counter, dtype: float64

似乎 resample().mean() 和 rolling().mean() 在这种情况下会很有用。