在r语言中用啥命令读取全部数据
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在r语言中用啥命令读取全部数据相关的知识,希望对你有一定的参考价值。
参考技术A 使用R语言的时候,如果是少量数据,不妨使用c()或其他函数进行创建;但是对于大量数据,最好还是先通过其他更方便的软件创建数据文件,然后使用R读入这个文件。.csv是非常好的数据文件格式,跨平台支持非常好。我在Excel或者SPSS中创建的数据,只要存为csv格式,就可以使用几乎任何数据处理软件对这些数据进行处理了。使用通用格式在多人合作、不同版本兼容等常见行为中,优势十分明显。另外,之所以使用不同的数据处理软件,第一,可以取长补短。比如有些工作SPSS很复杂的,可以用R语言几行命令搞定。第二,可以进行软件间处理结果对照,发现问题。
R语言中读取外部文件的最基本函数是read.table(),还有用来读csv的read.csv(), .csv是非常好的数据文件格式,跨平台支持非常好。。
输入help(read.table)命令,就看到了关于数据输入函数的说明。本回答被提问者和网友采纳 参考技术B file<-read.table(file.choose(),head=T)
R读取大型数据集内存不足如何解决,如果利用Linux有啥有效方法吗?
手上有几种不同类型的数据,要使用R语言编程处理,本质上基本都是文本文档,总大小达到28G以上。笔记本内存8G。
已经尝试的方法如下:
1、使用bigmemory,colbycol。但是package无法安装使用。
2、使用ff包。但是在NTFS下最大只能使用16G数据集。
3、使用Linux。安装Ubuntu,在其中运行R。问题在于机器硬盘只有250G,Windows不能抛弃,Ubuntu只能使用其中的三分之一即80G上下。安装时没分配好,只有16G的swap,而要使用ff的话home大小也不够。
4、2,3结合。ext4下ff可以使用的数据集似乎最大可以达到2T。在不卸载重装Ubuntu的情况下,将一块移动硬盘划出40G分区,作为ff的外存储备区。比较懒就用了GPart,结果格式化成ext4之后想改某个权限相关文件一直告诉我没有权限,也不能将数据拷进去……
求问:在不卸载目前的Ubuntu(\home 记得是10G以下,\ 50G以上,swap16G)的情况下,有没有能够读取这批数据的方法?或者能否不利用Linux,在Windows上的R里直接解决?
R所有读取数据的函数都有nrows和skip这两个参数,可以写个循环,一个文件分段读取,skip跳过前面读过的,用nrows控制最大读入行数,防止内存不足。
分段处理之后将文件写入本地,用rm将比较大的变量消除掉,用gc()释放这部分内存。
——好处是简单粗暴多平台可用,缺点是,真的很慢……
如果有条件还是建议申请个服务器来跑,比如学生可以询问导师院系有没有用于大型计算的服务器。
另外Unix系统对内存的限制确实是比Windows好些,可惜我也不知道正确的打开方式QAQ本回答被提问者采纳 参考技术B 可以编写程序, 来分段读取数据哦
能否看看wo 的网名的啊 ?帮忙搞定一下 啊
以上是关于在r语言中用啥命令读取全部数据的主要内容,如果未能解决你的问题,请参考以下文章