使用R将大data.frame保存到PostgreSQL
我正在保存非常大的数据。从R到PostgreSQL数据库的帧（3000万行），它杀死了我的电脑。由于这是dplyr生成的计算结果，我想使用这个软件包的一些内置功能，但复制到对如此大的表不起作用。有什么建议吗？
共有1个答案
能否将数据帧复制到csv或制表符分隔的文本文件中，然后使用copy FROM命令[1]将其加载到PostgreSQL中？这实现了一种执行速度更快的批量加载方法。
在某些情况下，可以使用RScript将数据作为流发送，并将其直接导入psql：
<RScript output tab delmited rows> | psql -c "COPY <tablename> (columnlist, ...) FROM STDIN WITH (FORMAT text)"
在一些长时间运行的情况下，我把PV放在中间来跟踪进度。http://www.ivarch.com/programs/pv.shtml).
[1] http://www.postgresql.org/docs/current/interactive/sql-copy.html
-
问题内容： 我有JSON值列表（实际上是一个文本文件，其中每一行都是一个JSON对象）。像这样： 某些值可能会丢失（例如，第一项没有“工作”值，第二项没有“教育”和“年龄”）。 我需要在R中创建数据框，并将所有缺少的列值填充为NA（如果至少一行中存在唯一名称的字段）。如何轻松实现呢？ 我已经完成的工作-我安装了“ rjson”包，并将这些行解析为R列表。假设lines变量是line的字符向量。 “
-
本文向大家介绍R创建一个空的data.frame，包括了R创建一个空的data.frame的使用技巧和注意事项，需要的朋友参考一下 示例 Adata.frame是一种特殊的列表：它是矩形。列表的每个元素（列）具有相同的长度，并且每一行都有一个“行名”。每个列都有其自己的类，但是一个列的类可以与另一列的类不同（与矩阵不同，在矩阵中，所有元素都必须具有相同的类）。 原则上，adata.frame可以没
-
问题内容： 我正在学习，我想知道是否存在将更改写入文件的选项，类似于我使用选项将更改保存到文件的位置。 我确实知道我可以使用重定向来编写更改。但是，有选择吗？ 问题答案： 在最新的GNU Awk（从4.1.0版本开始）中，它具有“就地”文件编辑的选项： 使用新工具构建的“ inplace”扩展名，可以用来模拟GNU“ ”特性。[…] 用法示例： 要保留备份：
-
问题内容： 关闭。 此问题不符合堆栈溢出准则。它当前不接受答案。 想改善这个问题吗？ 更新问题，使其成为Stack Overflow 的主题。 2年前关闭。 改善这个问题 我真的很喜欢R中的data.frames，因为您可以在一个数据结构中存储不同类型的数据，并且您有很多不同的方法来修改数据（添加列，合并data.frames等），这真的很容易从数据中提取 子集 ，… 是否有可用的具有相同功能的J
-
问题内容： 我有一个熊猫DataFrame，我想上传到新的CSV文件。问题是在将文件传输到s3之前，我不想在本地保存文件。是否有像to_csv这样的方法可以将数据帧直接写入s3？我正在使用boto3。 这是我到目前为止的内容： 问题答案： 您可以使用：
-
问题内容： import csv 我得到奇怪的输出！此代码有什么问题？ 问题答案： 用途：