dataframe最大存储多少数据?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了dataframe最大存储多少数据?相关的知识,希望对你有一定的参考价值。

DJ阿me它最大储存是有1000数据的都是可以的,因为它本来就是手机里面安装的一个内存系统,它可以有很大的容量,比如说88GB或者是说12GB,然后他们混合在一起,然后嗯有的我们直接对外说是1000,但是有的经常是说8GB或者是12GB,或者是说4GB他们相加。 参考技术A dataframe最大存储多少数据?DataFrame实质上是存储在不同节点计算机中的一张关系型数据表。分布式存储最大的好处是:可以让数据在不同的工作节点上并行存储,以便在需要数据的时候并行运算。
dataframe与RDD的关系
RDD是一种分布式弹性数据集,将数据分布存储在不同节点的计算机内存中进行存储和处理。每次RDD对数据处理的最终结果都分布存放在不同的节点中。
节点中。Resilient 是弹性的意思,在Spark中指的是数据的存储)方式,即数据在节点中进行存储时候既可以使用内存也可以使用磁盘.这为使用者提供了很大的自由,提供了不同的持久化和运行方法,是.种有 容错机制的特殊数据集合。RDD可以说是DataFrame的前身,DataFrame 是RDD的发展和拓展。

核心数据最大存储 iPhone

【中文标题】核心数据最大存储 iPhone【英文标题】:Core Data max storage iPhone 【发布时间】:2010-10-21 02:03:37 【问题描述】:

    单个 iPhone 应用程序可以消耗多少持久存储空间有限制吗?

    如果 iPhone 达到每个应用程序的限制,save 会将 error 参数设置为什么?如果达到硬件限制怎么办?

    是否可以限制为某些实体存储的对象数量?如果是这样,这样做的好方法是什么?

acani,我正在开发的一个 iPhone 应用程序,从服务器下载最近的 20 个用户并将他们保存到 Core Data。使用该应用程序一段时间后,users SQLite 表可能会变得相当大。我怎么能限制它?我应该把它限制在什么范围内?一旦这个表达到容量,我怎样才能让新下载的用户替换最旧的下载用户?

谢谢!

马特

【问题讨论】:

【参考方案1】:

我不知道限制问题的答案,但我认为您会希望在此之前限制最大数据量。有一些 iPhone 应用程序(games0 占用大量存储空间(我认为 Myst 是 1.5G 线)。但是如果你允许你的数据库增长到那种大小,你可能会开始影响用户拥有的存储空间用于他们的其他应用程序。

我倾向于建议您的应用程序需要实现某种数据库管理。你将不得不写这个。由用户自动触发或手动触发。例如,您可能想要设置一个设置选项,用户可以在其中指定要保留多少“旧”用户。如果根据位置自动添加用户,用户最有可能希望使用哪种算法来剔除列表?

【讨论】:

【参考方案2】:

App Store 中的 apps 有 2GB 的限制,但就用户数据而言,您应该能够基本填满磁盘。发生这种情况时,您的保存将开始失败,我相信 PSC 会出现“NSFileWriteOutOfSpaceError”。

就限制实体空间而言,Core Data 对此没有支持 - 您必须以编程方式处理它。您可以扩展验证系统以检查某些条件(可用空间、实体数量),如果这些条件不符合您的条件,则插入或更新失败。

如果要删除旧用户,只需对结果进行排序并删除第一个/最后一个。

【讨论】:

以上是关于dataframe最大存储多少数据?的主要内容,如果未能解决你的问题,请参考以下文章

DataFrame编程模型初谈与Spark SQL

基于DataFrame join写列

Python Pandas Dataframe:规范化 0.01 到 0.99 之间的数据?

Spark SQL读写方法

检查类型:如何检查某个东西是 RDD 还是 DataFrame?

寒假十四