如何比较了一系列的标量

Posted 2021-05-03

我想从一个不同的系列比较一datetime64 [NS]大熊猫与标系列，也datetime64 [NS]，在一个循环。

数据框：

ds.info() <class 'pandas.core.frame.DataFrame'> Int64Index: 174764 entries, 0 to 185622 Data columns (total 2 columns): t1 174764 non-null datetime64[ns] t2 174764 non-null datetime64[ns]

循环：

import pandas as pd
import numpy as np

ds['t3'] = np.zeros(ds.shape[0])
for i in range(ds.shape[0]):
    r_i= ds['t1'].iat[i]
    ds['t3'].iat[i] = ds[(ds.t1.gt(r_1)) & (ds.t2.le(r_i))]['t1'].count()

目前，持续时间大约需要8分钟。我想至少有一半的时间。

答案

将值转换为numpy的阵列和计数通过True只np.sum值：

t1 = ds['t1'].values
t2 = ds['t2'].values
ds['t3'] = [np.sum((t1 > a) & (t2 < a)) for a, b in zip(t1, t2)]

另一个想法 - 需要更多的内存：

t11 = t1[:, None]
ds['t3'] = np.sum((t1 > t11) & (t2 < t11), axis=1)