将 unix 时间转换为 pandas 数据框中的可读日期

Posted 2023-02-24

【中文标题】将 unix 时间转换为 pandas 数据框中的可读日期

【英文标题】：Convert unix time to readable date in pandas dataframe

【发布时间】：2013-10-14 10:35:50

【问题描述】：

我有一个包含 unix 时间和价格的数据框。我想转换索引列，以便它以人类可读的日期显示。

例如，我在索引列中有date 作为1349633705，但我希望它显示为10/07/2012（或至少10/07/2012 18:15）。

在某些情况下，这是我正在使用的代码以及我已经尝试过的代码：

import json
import urllib2
from datetime import datetime
response = urllib2.urlopen('http://blockchain.info/charts/market-price?&format=json')
data = json.load(response)   
df = DataFrame(data['values'])
df.columns = ["date","price"]
#convert dates 
df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))
df.index = df.date   

如您所见，我正在使用 df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d")) 这里不起作用，因为我使用的是整数，而不是字符串。我想我需要使用datetime.date.fromtimestamp，但我不太确定如何将其应用于整个df.date。

谢谢。

【参考方案1】：

这些似乎是自纪元以来的秒数。

In [20]: df = DataFrame(data['values'])

In [21]: df.columns = ["date","price"]

In [22]: df
Out[22]: 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 358 entries, 0 to 357
Data columns (total 2 columns):
date     358  non-null values
price    358  non-null values
dtypes: float64(1), int64(1)

In [23]: df.head()
Out[23]: 
         date  price
0  1349720105  12.08
1  1349806505  12.35
2  1349892905  12.15
3  1349979305  12.19
4  1350065705  12.15
In [25]: df['date'] = pd.to_datetime(df['date'],unit='s')

In [26]: df.head()
Out[26]: 
                 date  price
0 2012-10-08 18:15:05  12.08
1 2012-10-09 18:15:05  12.35
2 2012-10-10 18:15:05  12.15
3 2012-10-11 18:15:05  12.19
4 2012-10-12 18:15:05  12.15

In [27]: df.dtypes
Out[27]: 
date     datetime64[ns]
price           float64
dtype: object

【讨论】：

在 0.13 中你可以在 read_json 时使用 date_unit :D

太棒了！您的解决方案非常有意义。 Pandas: Converting to Timestamps 也很好地完成了它，现在我知道了 to_datetime。

还有一点。这在 0.11 中对我不起作用，但在 0.12+ 中很好

这个解决方案给了我OverflowError: Python int too large to convert to C long。

没关系，有毫秒时间戳，只需 lambda x: x/1000.0 或 unit='ms'。

【参考方案2】：

如果你尝试使用：

df[DATE_FIELD]=(pd.to_datetime(df[DATE_FIELD],***unit='s'***))

并收到错误：

“pandas.tslib.OutOfBoundsDatetime: 不能用单位's'转换输入”

这意味着DATE_FIELD 没有以秒为单位指定。

在我的例子中，它是毫秒 - EPOCH time。

转换使用以下方法进行：

df[DATE_FIELD]=(pd.to_datetime(df[DATE_FIELD],unit='ms')) 

【讨论】：

接受的答案假定日期字段始终以秒为单位。感谢您添加此说明。

【参考方案3】：

假设我们导入了 pandas as pd 和 df 是我们的数据框

pd.to_datetime(df['date'], unit='s')

为我工作。

【参考方案4】：

或者，通过更改上述代码的一行：

# df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))
df.date = df.date.apply(lambda d: datetime.datetime.fromtimestamp(int(d)).strftime('%Y-%m-%d'))

它也应该可以工作。

【参考方案5】：

Pandas 文档提供了此格式和其他格式示例，并且未包含在上述任何先前的答案中。关联： https://pandas.pydata.org/docs/reference/api/pandas.to_datetime.html

代码

pd.to_datetime(1490195805, unit='s')

时间戳('2017-03-22 15:16:45')

pd.to_datetime(1490195805433502912, unit='ns')

时间戳('2017-03-22 15:16:45.433502912')