如何将Spark数据帧写入Neo4j数据库
-
null
非常感谢任何指向文档或非常基本的示例的指针。
共有1个答案
您可以编写一些例程并使用opensource neo4j java驱动程序
https://github.com/neo4j/neo4j-java-driver
例如。
-
我正在使用Spark 2.3，我需要将Spark数据帧保存到csv文件中，我正在寻找更好的方法。。查看相关/类似的问题，我发现了这个问题，但我需要一个更具体的： 如果DataFrame太大，如何避免使用Pandas？因为我使用了函数（下面的代码），它产生了： 内存不足错误（无法分配内存）。 使用文件I/O直接写入csv是更好的方法吗？它可以保留分隔符吗？ 使用df。聚结（1）。写选项（“标题”、“
-
我正在尝试使用pysparkn和spack-csv使用以下代码将火花数据帧写入s3 但是，我得到的错误是“输出目录已经存在”，我确信输出目录在作业开始之前不存在，我尝试使用不同的输出目录名称运行，但写入仍然失败。 如果我在作业失败后查看s3桶，我发现很少有零件文件是由火花写入的，但当它尝试写入更多时它失败了，脚本在本地运行良好，我在aws集群上使用10个火花执行器。有人知道这段代码有什么问题吗？
-
我试图做一些非常简单的事情，我有一些非常愚蠢的挣扎。我想这一定与对火花的基本误解有关。我非常感谢任何帮助或解释。 我有一张非常大的桌子（~3 TB，~300毫米行，25k个分区），在s3中保存为拼花地板，我想给一些人一个很小的拼花文件样本。不幸的是，这要花很长时间才能完成，我不明白为什么。我尝试了以下方法： 然后当这不起作用时，我尝试了这个，我认为应该是一样的，但我不确定。（我添加了，以尝试调试。
-
我开始使用Spark DataFrames，我需要能够枢轴的数据，以创建多个列1列多行。在Scalding中有内置的功能，我相信Python中的熊猫，但是我找不到任何新的Spark Dataframe。 我假设我可以编写某种自定义函数来实现这一点，但我甚至不知道如何开始，特别是因为我是Spark的新手。如果有人知道如何使用内置功能或如何在Scala中编写东西的建议来实现这一点，我们将不胜感激。
-
我有一个名为df的数据库数据帧。我想将它作为csv文件写入S3存储桶。我有S3存储桶名称和其他凭据。我检查了这里给出的在线留档https://docs.databricks.com/spark/latest/data-sources/aws/amazon-s3.html#mount-aws-s3它说使用以下命令 但我有的是数据帧，而不是文件。怎么才能实现？
-
我正在编写一个脚本，将带有标头的大. xlsx文件减少到CSV中，然后根据标头名称编写一个新的CSV文件，其中仅包含所需的列。 我得到的错误是最后一段代码，它说 我肯定我忽略了一些愚蠢的东西，但是我已经阅读了熊猫网站上的留档，我仍然不知所措。我知道我误用了to_csv参数，但我似乎无法理解留档。 任何帮助都是赞赏的，谢谢！