arrow::read_delim_arrow()causingRsessionabortedwhenreadingLargedataset(21GB)csvfilein16gbRAMsystem
创始人
2024-11-10 19:31:17
0

针对在16GB内存系统中读取21GB CSV文件时,使用arrow::read_delim_arrow()函数导致R会话异常终止的问题,可以尝试以下

  1. 分块读取CSV文件:将大文件分成多个小文件进行读取,避免一次性读取过多数据占用大量内存。可以使用readr或data.table包的fread()函数分块读取,或者使用Hadoop、Spark等分布式计算框架读取大文件。

  2. 使用arrow::read_csv()代替read_delim_arrow():read_csv()函数采用流式读取方式,可以减小内存占用。不过需要注意,arrow::read_csv()目前还处于实验阶段,可能会存在一些问题。

示例代码:

使用data.table包的fread()函数进行分块读取

library(data.table) chunk_size <- 1000000 n_chunks <- 21 file_path <- "path_to_large_csv_file.csv"

for (i in 1:n_chunks) { start_row <- (i-1) * chunk_size + 1 end_row <- i * chunk_size chunk <- fread(file_path, skip = start_row-1, nrows = chunk_size)

do something with the chunk

}

使用arrow::read_csv()进行流式读取

library(arrow) large_file <- "path_to_large_csv_file.csv" output_table <- arrow::read_csv(large_file)

相关内容

热门资讯

安卓换鸿蒙系统会卡吗,体验流畅... 最近手机圈可是热闹非凡呢!不少安卓用户都在议论纷纷,说鸿蒙系统要来啦!那么,安卓手机换上鸿蒙系统后,...
iwatch怎么连接安卓系统,... 你有没有想过,那款时尚又实用的iWatch,竟然只能和iPhone好上好?别急,今天就来给你揭秘,怎...
iphone系统与安卓系统更新... 最近是不是你也遇到了这样的烦恼?手机更新系统总是失败,急得你团团转。别急,今天就来给你揭秘为什么iP...
安卓系统怎么连不上carlif... 安卓系统无法连接CarLife的原因及解决方法随着智能手机的普及,CarLife这一车载互联功能为驾...
安卓系统拦截短信在哪,安卓系统... 你是不是也遇到了这种情况:手机里突然冒出了很多垃圾短信,烦不胜烦?别急,今天就来教你怎么在安卓系统里...
app安卓系统登录不了,解锁登... 最近是不是你也遇到了这样的烦恼:手机里那个心爱的APP,突然就登录不上了?别急,让我来帮你一步步排查...
oppo手机安卓系统换成苹果系... OPPO手机安卓系统换成苹果系统:现实吗?如何操作?随着智能手机市场的不断发展,用户对于手机系统的需...
windows官网系统多少钱 Windows官网系统价格一览:了解正版Windows的购买成本Windows 11官方价格解析微软...
安卓平板改windows 系统... 你有没有想过,你的安卓平板电脑是不是也能变身成Windows系统的超级英雄呢?想象在同一个设备上,你...
安卓系统如何卸载app,轻松掌... 手机里的App越来越多,是不是感觉内存不够用了?别急,今天就来教你怎么轻松卸载安卓系统里的App,让...