如何在 R 中使用 disk.frame 计算唯一实体？

Posted 2023-04-18

【中文标题】如何在 R 中使用 disk.frame 计算唯一实体？

【英文标题】：How do count unique entities with disk.frame in R?

【发布时间】：2020-09-07 17:36:37

【问题描述】：

我想将数据帧转换为磁盘帧，然后计算第一列。当我尝试它时，它不计算列的唯一值的数量。它似乎在计算工人的数量。

library(disk.frame)
options(future.globals.maxSize = Inf)
setup_disk.frame(workers = 8)

这是一个示例数据集

    bigint <- sample(123901239804:901283455390, 3*10^5)
    df <- data.frame(bigint)
    df %>% 
      summarize(ints = length(unique(bigint)))
    
    df %>% 
      as.disk.frame %>%
      summarize(ints = length(bigint)) %>% 
      collect

在第一个查询中，我得到了这个输出

    ints
1 300000

在第二个查询中，我得到了这个输出

    ints
1      8

【参考方案1】：

disk.frame 只支持一些分组功能。你可以使用dplyr::n_distinct

df %>% 
  as.disk.frame %>%
  summarize(ints = n_distinct(bigint)) %>% 
  collect

产生

    ints
1 300000

在此处查看支持的分组动词列表https://diskframe.com/articles/10-group-by.html#list-of-supported-group-by-functions

您可以按照本指南定义更多自定义的分组动词

https://diskframe.com/articles/11-custom-group-by.html

由于 disk.frame 的分块性质，某些分组动词不可能以精确的方式完成（并且必须依赖估计）。但这适用于所有“大”数据系统。

【讨论】：

谢谢！我将使用磁盘框架来解决这个问题***.com/questions/63800688/…

是否可以计算列的给定百分位数？

@Cauder 它在分组动词列表中 :) 但它并不准确，而是一个近似值。

谢谢！有没有比较disk.frame和数据表的文章？我很想了解更多关于何时应该使用一种方法而不是另一种方法

@Cauder 是的。见diskframe.com/articles/…最好在这里提问github.com/xiaodaigh/disk.frame/issues