向量化 pandas.DataFrame 的集成
Posted
技术标签:
【中文标题】向量化 pandas.DataFrame 的集成【英文标题】:Vectorize integration of pandas.DataFrame 【发布时间】:2016-04-05 13:24:41 【问题描述】:我有一个DataFrame
的力位移数据。位移数组已经设置为DataFrame
索引,列是我不同测试的各种力曲线。
我如何计算完成的功(即“曲线下面积”)?
我查看了numpy.trapz
,这似乎可以满足我的需要,但我认为我可以避免像这样遍历每一列:
import numpy as np
import pandas as pd
forces = pd.read_csv(...)
work_done =
for col in forces.columns:
work_done[col] = np.trapz(forces.loc[col], forces.index))
我希望为曲线下的区域创建一个新的DataFrame
而不是dict
,并认为DataFrame.apply()
或其他可能合适但不知道从哪里开始寻找。
简而言之:
-
我可以避免循环吗?
我可以直接创建一个
DataFrame
的工作吗?
提前感谢您的帮助。
【问题讨论】:
【参考方案1】:您可以通过将整个 DataFrame
传递给 np.trapz
并指定 axis=
参数来对其进行矢量化,例如:
import numpy as np
import pandas as pd
# some random input data
gen = np.random.RandomState(0)
x = gen.randn(100, 10)
names = [chr(97 + i) for i in range(10)]
forces = pd.DataFrame(x, columns=names)
# vectorized version
wrk = np.trapz(forces, x=forces.index, axis=0)
work_done = pd.DataFrame(wrk[None, :], columns=forces.columns)
# non-vectorized version for comparison
work_done2 =
for col in forces.columns:
work_done2.update(col:np.trapz(forces.loc[:, col], forces.index))
这些给出以下输出:
from pprint import pprint
pprint(work_done.T)
# 0
# a -24.331560
# b -10.347663
# c 4.662212
# d -12.536040
# e -10.276861
# f 3.406740
# g -3.712674
# h -9.508454
# i -1.044931
# j 15.165782
pprint(work_done2)
# 'a': -24.331559643023006,
# 'b': -10.347663159421426,
# 'c': 4.6622123535050459,
# 'd': -12.536039649161403,
# 'e': -10.276861220217308,
# 'f': 3.4067399176289994,
# 'g': -3.7126739591045541,
# 'h': -9.5084536839888187,
# 'i': -1.0449311137294459,
# 'j': 15.165781517623724
您的原始示例还有其他几个问题。 col
是列名而不是行索引,因此它需要索引数据框的第二维(即.loc[:, col]
而不是.loc[col]
)。此外,最后一行还有一个额外的尾括号。
编辑:
您也可以直接通过.apply
ing np.trapz
到每一列生成输出DataFrame
,例如:
work_done = forces.apply(np.trapz, axis=0, args=(forces.index,))
但是,这并不是真正“正确”的矢量化 - 您仍然在每一列上分别调用 np.trapz
。您可以通过比较.apply
版本与直接调用np.trapz
的速度来看到这一点:
In [1]: %timeit forces.apply(np.trapz, axis=0, args=(forces.index,))
1000 loops, best of 3: 582 µs per loop
In [2]: %timeit np.trapz(forces, x=forces.index, axis=0)
The slowest run took 6.04 times longer than the fastest. This could mean that an
intermediate result is being cached
10000 loops, best of 3: 53.4 µs per loop
这不是一个完全公平的比较,因为第二个版本排除了从输出 numpy 数组构造 DataFrame
所花费的额外时间,但这仍然应该小于执行实际集成所花费的时间差.
【讨论】:
很好的答案,谢谢。我会在周末的某个时候对其进行测试,如果可行,请勾选答案。 如果我使用.apply
选项,我的集成结果是一个Timedelta。有没有办法避免这种情况?
@rubenbaetens 大概是因为您的列包含 timedelta 值。您希望结果的类型是什么?例如,您可以使用 [total_seconds()
](pandas.pydata.org/pandas-docs/stable/generated/…) 将 timedelta 列转换为浮点数。
@ali_m 我的 x 轴是创建为 pd.to_datetime(time1, unit='s')
的系列。事实上,这有时甚至会导致与 .apply
选项集成的错误值。【参考方案2】:
以下是如何使用梯形规则沿数据框列获取累积积分。或者,以下创建了一个 pandas.Series 方法,用于选择梯形、辛普森或 Romberger 规则 (source):
import pandas as pd
from scipy import integrate
import numpy as np
#%% Setup Functions
def integrate_method(self, how='trapz', unit='s'):
'''Numerically integrate the time series.
@param how: the method to use (trapz by default)
@return
Available methods:
* trapz - trapezoidal
* cumtrapz - cumulative trapezoidal
* simps - Simpson's rule
* romb - Romberger's rule
See http://docs.scipy.org/doc/scipy/reference/integrate.html for the method details.
or the source code
https://github.com/scipy/scipy/blob/master/scipy/integrate/quadrature.py
'''
available_rules = set(['trapz', 'cumtrapz', 'simps', 'romb'])
if how in available_rules:
rule = integrate.__getattribute__(how)
else:
print('Unsupported integration rule: %s' % (how))
print('Expecting one of these sample-based integration rules: %s' % (str(list(available_rules))))
raise AttributeError
if how is 'cumtrapz':
result = rule(self.values)
result = np.insert(result, 0, 0, axis=0)
else:
result = rule(self.values)
return result
pd.Series.integrate = integrate_method
#%% Setup (random) data
gen = np.random.RandomState(0)
x = gen.randn(100, 10)
names = [chr(97 + i) for i in range(10)]
df = pd.DataFrame(x, columns=names)
#%% Cummulative Integral
df_cummulative_integral = df.apply(lambda x: x.integrate('cumtrapz'))
df_integral = df.apply(lambda x: x.integrate('trapz'))
df_do_they_match = df_cummulative_integral.tail(1).round(3) == df_integral.round(3)
if df_do_they_match.all().all():
print("Trapz produces the last row of cumtrapz")
【讨论】:
nbviewer.jupyter.org/gist/metakermit/5720498 的副本,除非你是 @metakermit以上是关于向量化 pandas.DataFrame 的集成的主要内容,如果未能解决你的问题,请参考以下文章