将小时列转换为日期时间失败

Posted 2023-05-08

【中文标题】将小时列转换为日期时间失败

【英文标题】：Convert Hour column to datetime failes

【发布时间】：2020-10-12 09:05:01

【问题描述】：

我在熊猫中有下表：

>>>TIMESTAMP                date         Hour         patient1     patient2    patient3   patient4 ....
0  2019-06-13 12:00:00     2019-06-13   12:00:00      -0.456       -0.124      -0.451     -2.257
1  2019-06-13 12:03:00     2019-06-13   12:03:00      -0.456       -0.134      -0.781     -2.357
2  2019-06-13 12:06:00     2019-06-13   12:06:00      -0.876       -0.238      -0.983     -1.824
...
   2019-07-04 22:03:00     2019-07-04   12:03:00      -0.568       -0.532      -0.451      0.789
n  2019-07-04 22:06:00     2019-07-04   12:06:00      -0.021       -0.981      -0.293      1.824

我有时间戳列，它是日期时间，我有从 TIMESTAMP 列中拆分出来的日期和小时列，如下所示：

# #two cOlumns for hour and for date
df['Date'] = [d.date() for d in df['Timestamp']]
df['Hour'] = [d.time() for d in df['Timestamp']]

问题是我想从我的数据库中只选择 2019 年 6 月 20 日到 2019 年 7 月 2 日之间的行，并且小时将在 07:00 到 17:00 之间。由于日期时间格式的问题而无法工作。

我试图使用 between:

df=df[(df['date'].between('2019-06-20','2019-07-02'))&(df['Hour'].between('07:00','17:00'))]

但后来我收到了这个错误：

TypeError: '>=' 在 'datetime.date' 的实例和 'str'

所以我检查了dtypes，发现日期和小时是对象类型，所以我尝试像这样更改它们的类型：

df['date'] = pd.to_datetime(df['date']).dt.date
df['Hour'] = pd.to_datetime(df['Hour']).dt.time

但出现错误：

TypeError: 不能转换为日期时间

我的最终目标是能够仅选择在我想要的日期和时间范围内的行（在 2019-06-20 到 2019-07-02 之间，并且时间将在 07 之间： 00 至 17:00）。

【参考方案1】：

使用Series.dt.floor 代替date 删除时间和comapre 时间使用time 构造函数：

print (df)
                           date      Hour  patient1  patient2  patient3
TIMESTAMP                                                              
2019-06-13 12:00:00  2019-06-25  12:00:00    -0.456    -0.124    -0.451 <-date for match
2019-06-13 12:03:00  2019-06-13  12:03:00    -0.456    -0.134    -0.781
2019-06-13 12:06:00  2019-06-13  12:06:00    -0.876    -0.238    -0.983
2019-07-04 22:03:00  2019-07-04  12:03:00    -0.568    -0.532    -0.451
2019-07-04 22:06:00  2019-07-04  12:06:00    -0.021    -0.981    -0.293

from datetime import time

df['date'] = pd.to_datetime(df['date']).dt.floor('d')
#it looks already time column, so should be removed
#df['Hour'] = pd.to_datetime(df['Hour'].astype(str)).dt.time

df=df[(df['date'].between('2019-06-20','2019-07-02')&
       df['Hour'].between(time(7,0,0),time(17,0,0)))]

print (df)
                          date      Hour  patient1  patient2  patient3
TIMESTAMP                                                             
2019-06-13 12:00:00 2019-06-25  12:00:00    -0.456    -0.124    -0.451

【讨论】：

我仍然收到小时列的错误消息：TypeError: is not convertible to datetime

@Reut - 在最新的 pandas 版本上测试1.1.3，也许这就是原因。

我已经更新了我的熊猫，但仍然遇到同样的错误。当我运行它然后检查数据类型时，它显示只有日期更改为日期时间，而小时没有

@Reut - 是的，因为时间列是必要的，比较 time(7,0,0),time(17,0,0))，而不是 '07:00','17:00'

df['Hour'] = pd.to_datetime(df['Hour']).dt.time -> 这失败了，因为这之间不起作用

【参考方案2】：

您最好将时间和日期更改为以下格式的数字 (int)： 日期 -> YYYYMMDD 时间到 -> HHMM

通过以下代码：

df['time'] = df['Timestamp'].dt.strftime('%H%M').astype(int)
df['date'] = df['Timestamp'].dt.strftime('%Y%m%d').astype(int)

然后你可以很容易地与整数进行比较：

df=df[(df['date'].between(20190620,20190702))&(df['Hour'].between(700,1700))]

【讨论】：

这里的转换工作，但随后之间不起作用“TypeError: Invalid comparison between dtype=int32 and str

我不确定使用整数而不是日期是否正确

这是一种获得你所追求的东西的方法。完成此操作后，您可以删除这些列