大数据集，使用 unstack() 时收到“Unstacked DataFrame is too big,导致 int32 溢出”

Posted 2023-03-11

【中文标题】大数据集，使用 unstack() 时收到“Unstacked DataFrame is too big,导致 int32 溢出”

【英文标题】：big dataset, receiving "Unstacked DataFrame is too big, causing int32 overflow" when using unstack()

【发布时间】：2020-07-12 15:45:06

【问题描述】：

我试过pivot 和groupby + unstack，都给了我错误。 错误说

“Unstacked DataFrame 太大，导致 int32 溢出”。

我尝试将pandas降级为0.21，但它与python 3.7不兼容，请问有什么解决办法吗？

user_by_movie=  user_items.groupby(['user_id', 'movie_id'])['rating'].min().unstack()

【参考方案1】：

回答

这应该可行，请告诉我。

user_by_movie= user_items.groupby(['user_id', 'movie_id'])['rating'].min().to_frame()