读取 .csv 文件时在 Python 中解析日期的最快方法是啥？

Posted 2023-02-25

【中文标题】读取 .csv 文件时在 Python 中解析日期的最快方法是啥？

【英文标题】：The fastest way to parse dates in Python when reading .csv file?读取 .csv 文件时在 Python 中解析日期的最快方法是什么？

【发布时间】：2016-12-03 09:34:06

【问题描述】：

我有一个 .csv 文件，其中有 'Date' 和 ' Time' 的 2 个单独的列。我是这样阅读文件的：

data1 = pd.read_csv('filename.csv', parse_dates=['Date', 'Time'])

但似乎只有' Date' 列是时间格式，而'Time' 列仍然是字符串或时间格式以外的格式。

当我执行以下操作时：

data0 = pd.read_csv('filename.csv')
data0['Date'] = pd.to_datetime(data0['Date'])
data0['Time'] = pd.to_datetime(data0['Time'])

它提供了我想要的数据框，但需要相当长的时间。 那么读取文件并从字符串格式转换日期和时间的最快方法是什么？

.csv 文件是这样的：

              Date      Time      Open       High       Low     Close  
0       2004-04-12    8:31 AM  1139.870  1140.860  1139.870  1140.860       
1       2005-04-12   10:31 AM  1141.219  1141.960  1141.219  1141.960       
2       2006-04-12   12:33 PM  1142.069  1142.290  1142.069  1142.120       
3       2007-04-12    3:24 PM  1142.240  1143.140  1142.240  1143.140       
4       2008-04-12    5:32 PM  1143.350  1143.589  1143.350  1143.589       

谢谢！

【问题讨论】：

举一个 csv 的例子会有所帮助。也许是前 10 行之类的。

顺便说一句，日期格式为 yyyy-mm-dd，时间格式为：上午 9:31 或下午 3:31。

【参考方案1】：

在这里，在您的情况下，“时间”是 AM/PM 格式，需要更多时间来解析。

您可以添加 format 以提高 to_datetime() 方法的速度。

data0=pd.read_csv('filename.csv')

# %Y - year including the century
# %m - month (01 to 12)
# %d - day of the month (01 to 31)
data0['Date']=pd.to_datetime(data0['Date'], format="%Y/%m/%d")

# %I - hour, using a -hour clock (01 to 12)
# %M - minute
# %p - either am or pm according to the given time value
# data0['Time']=pd.to_datetime(data0['Time'], format="%I:%M %p") -> around 1 sec
data0['Time']=pd.datetools.to_time(data0['Time'], format="%I:%M %p")

更多方法信息：Pandas Tools

更多格式选项请查看 - datetime format directives。

对于 500K 行，它在我的系统中将速度从大约 60 秒 -> 0.01 秒提高了。

你也可以使用：

# Combine date & time directly from string format
pd.Timestamp(data0['Date'][0] + " " + data0['Time'][0])

【讨论】：

这对我有很大帮助。