大数据集,使用unstack()时收到“ Unstacked DataFrame太大,导致int32溢出”

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据集,使用unstack()时收到“ Unstacked DataFrame太大,导致int32溢出”相关的知识,希望对你有一定的参考价值。

我尝试过pivotgroupby + unstack,都给了我错误。错误说

“未堆叠的DataFrame太大,导致int32溢出”。

我试图将pandas降级为0.21,但它与python 3.7不兼容,那么有什么解决方法吗?

user_by_movie=  user_items.groupby(['user_id', 'movie_id'])['rating'].min().unstack()
答案

答案

这应该有效,让我知道。

user_by_movie= user_items.groupby(['user_id', 'movie_id'])['rating'].min().to_frame()

以上是关于大数据集,使用unstack()时收到“ Unstacked DataFrame太大,导致int32溢出”的主要内容,如果未能解决你的问题,请参考以下文章

Python:Unstacked DataFrame 太大,导致 int32 溢出

如何使用 Unstack 数据可视化 Plotly 热图

使用data_flow_ops构造batch数据集

一文详解:7个 Pandas stack() 和 unstack() 使用技巧

Dataframe.unstack()相当于numpy

Pandas 数据框宽 vs 长 - MULTIPLE df 的 unstack vs pivot vs external join