R - 循环中的 write_parquet

Posted 2023-02-14

【中文标题】R - 循环中的 write_parquet

【英文标题】：R - write_parquet in loop

【发布时间】：2022-01-02 10:04:34

【问题描述】：

fwrite 正在循环工作目录中的许多 .csv 文件，但是当我编写 .parquet 时，它每次都会覆盖。

我尝试了几种方法，基本上我是在尝试使用文件名I来保持.csv文件名如下所示而不覆盖它。

rm(list = ls())
gc()

# Set up environment #
require("data.table")
require("arrow")

# Set directory to data, define files #
setwd("E:/TransferComplete/07/")

files <- list.files(pattern = "csv")

for (i in files)  setwd("E:/TransferComplete/07/")
loopStart <- Sys.time()
  
  bb <- fread(i,header = TRUE,sep = ",", data.table = FALSE, stringsAsFactors = FALSE,
                select = c("x","y","z"))
  gc()
  
  
  write_parquet(bb,
  'E:/P/i.parquet')
  
  
  loopEnd <- Sys.time()
  loopTime <- round(as.numeric(loopEnd) - as.numeric(loopStart), 0)

【参考方案1】：

替换这个

write_parquet(bb,
  'E:/P/i.parquet')

到这里

write_parquet(bb,paste0('E:/P/',i,'.parquet'))

【参考方案2】：

您的问题非常接近。当你写.parquet时，你需要在写文件的时候把i分开，否则循环会一直写一个叫i.parquet的文件。

write_parquet(bb,paste0('E:/P/',i,'.parquet'))