是否可以导入包含超过 1,000,000 个观测值的 xpt 文件?

Posted

技术标签:

【中文标题】是否可以导入包含超过 1,000,000 个观测值的 xpt 文件?【英文标题】:Is it possible to import xpt file which includes more than 1,000,000 observations? 【发布时间】:2016-01-15 16:01:48 【问题描述】:

我得到了一个 xpt 文件,其中包含超过 1,400,000 个观察值。但是,当我使用 PROC COPY 将其导入 SAS 时,SAS 中的数据集被截断为 1,000,000 个观察值。我的猜测是 SAS 有一个默认值来导入数据。将完整数据导入 SAS 有什么建议吗?

非常感谢!

【问题讨论】:

请告诉我们您到目前为止尝试了什么... 我尝试了两种导入方式: (1)libname xptfile xport 'C:\XPT Datasets'; libname sasfile 'C:\SAS 数据集';数据 sasfile.ca125cec;设置 xptfile.ca125cec;跑; (2) 过程复制 【参考方案1】:

这当然不是 SAS XPT 文件的默认问题,正如这个玩具示例所示:

libname xplib xport "c:\temp\test.xpt";

data xplib.forxpt;
  do x = 1 to 1e7;
    output;
  end;
run;

data test;
  set xplib.forxpt;
run;

我建议回到创建文件并与他们交谈的人那里。也许他们没有正确导出它。或者可能xpt文件中有两个数据集,一个1M,一个400k。

您可能还需要检查您的 obs 选项,以确保它没有设置为 1m。

【讨论】:

非常感谢。我试过你的代码,我得到的数据只有 1M Obs。你介意指导我如何检查 obs 选项吗?我不记得我把它设置为1m。赞赏。 谢谢乔。欣赏它。我有10M。我从同事那里得到的数据肯定只有1M。

以上是关于是否可以导入包含超过 1,000,000 个观测值的 xpt 文件?的主要内容,如果未能解决你的问题,请参考以下文章

对包含超过 100,000,000 条记录的文本文件进行排序

从 Oracle 表中提取 300,000 个字符的 CLOB 到 CSV

在 32 位 .NET 进程中分配超过 1,000 MB 的内存

如何使用具有超过 2^31 个观测值的 biglm

如何建立一个可以处理超过 20,000 名观众的 Video Broadcaster

如何在 Elasticsearch 中管理超过 10,000,000 个文档的索引以实现快速搜索?