pandas,python - 如何在时间序列中选择特定时间
Posted
技术标签:
【中文标题】pandas,python - 如何在时间序列中选择特定时间【英文标题】:pandas, python - how to select specific times in timeseries 【发布时间】:2012-05-20 20:55:46 【问题描述】:我现在工作了很长时间,使用 python 和 pandas 分析一组每小时数据,发现它非常好(来自 Matlab。)
现在我有点卡住了。我像这样创建了我的DataFrame
:
SamplingRateMinutes=60
index = DateRange(initialTime,finalTime, offset=datetools.Minute(SamplingRateMinutes))
ts=DataFrame(data, index=index)
我现在要做的是在 10 到 13 和 20-23 小时选择所有日期的数据,以使用这些数据进行进一步计算。 到目前为止,我使用
对数据进行了切片 selectedData=ts[begin:end]
而且我肯定会得到某种脏循环来选择所需的数据。但是必须有一种更优雅的方式来准确索引我想要的内容。我确信这是一个常见问题,伪代码中的解决方案应该看起来像这样:
myIndex=ts.index[10<=ts.index.hour<=13 or 20<=ts.index.hour<=23]
selectedData=ts[myIndex]
提到我是一名工程师,而不是程序员:) ...然而
【问题讨论】:
【参考方案1】:这是一个可以满足您要求的示例:
In [32]: from datetime import datetime as dt
In [33]: dr = p.DateRange(dt(2009,1,1),dt(2010,12,31), offset=p.datetools.Hour())
In [34]: hr = dr.map(lambda x: x.hour)
In [35]: dt = p.DataFrame(rand(len(dr),2), dr)
In [36]: dt
Out[36]:
<class 'pandas.core.frame.DataFrame'>
DateRange: 17497 entries, 2009-01-01 00:00:00 to 2010-12-31 00:00:00
offset: <1 Hour>
Data columns:
0 17497 non-null values
1 17497 non-null values
dtypes: float64(2)
In [37]: dt[(hr >= 10) & (hr <=16)]
Out[37]:
<class 'pandas.core.frame.DataFrame'>
Index: 5103 entries, 2009-01-01 10:00:00 to 2010-12-30 16:00:00
Data columns:
0 5103 non-null values
1 5103 non-null values
dtypes: float64(2)
【讨论】:
以下是如何在 0.10 的语法中实现此解决方案并将其与 Wes 的以下回答相结合:dr = pd.date_range(dt(2009,1,1),dt(2010,12,31),freq='H'); dt = pd.DataFrame(rand(len(dr),2),dr); hour = dt.index.hour; selector = ((10 <= hour) & (hour <= 13)) | ((20<=hour) & (hour<=23)) data = dt[selector]
【参考方案2】:
在即将发布的 pandas 0.8.0 中,您将能够编写
hour = ts.index.hour
selector = ((10 <= hour) & (hour <= 13)) | ((20 <= hour) & (hour <= 23))
data = ts[selector]
【讨论】:
【参考方案3】:由于在我上面的评论中看起来很混乱,我决定提供另一个答案,即对 Marc 的答案的 pandas 0.10.0 的语法更新,并结合 Wes 的提示:
import pandas as pd
from datetime import datetime
dr = pd.date_range(datetime(2009,1,1),datetime(2010,12,31),freq='H')
dt = pd.DataFrame(rand(len(dr),2),dr)
hour = dt.index.hour
selector = ((10 <= hour) & (hour <= 13)) | ((20<=hour) & (hour<=23))
data = dt[selector]
【讨论】:
dt包和dt变量冲突【参考方案4】:Pandas DataFrame 有一个内置函数 pandas.DataFrame.between_time
df = pd.DataFrame(np.random.randn(1000, 2),
index=pd.date_range(start='2017-01-01', freq='10min', periods=1000))
每个时间段创建2个数据框:
df1 = df.between_time(start_time='10:00', end_time='13:00')
df2 = df.between_time(start_time='20:00', end_time='23:00')
你想要的数据框合并排序df1和df2:
pd.concat([df1, df2], axis=0).sort_index()
【讨论】:
以上是关于pandas,python - 如何在时间序列中选择特定时间的主要内容,如果未能解决你的问题,请参考以下文章
在不使用索引的情况下替换 pandas DataFrame 中选定单元格的值
如何检查是不是在 qtablewidget 中选中了复选框?
pandas,python - 如何在时间序列中选择特定时间