登录
当前位置： 首页 > 知识库问答 >
问题：

OutofMemoryError：无法获得100字节的内存，得到0

公西国发
2023-03-14

我正在本地模式下用Spark2.0调用Pyspark，下面的命令是：

pyspark --executor-memory 4g --driver-memory 4g

df.coalesce(1).write.save("sample.tsv",format = "csv",header = 'true', delimiter = '\t')

Job aborted due to stage failure: Task 0 in stage 70.0 failed 1 times, most recent failure: Lost task 0.0 in stage 70.0 (TID 1073, localhost): org.apache.spark.SparkException: Task failed while writing rows
    at org.apache.spark.sql.execution.datasources.DefaultWriterContainer.writeRows(WriterContainer.scala:261)
    at org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelationCommand$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply(InsertIntoHadoopFsRelationCommand.scala:143)
    at org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelationCommand$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply(InsertIntoHadoopFsRelationCommand.scala:143)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70)
    at org.apache.spark.scheduler.Task.run(Task.scala:85)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.OutOfMemoryError: Unable to acquire 100 bytes of memory, got 0
    at org.apache.spark.memory.MemoryConsumer.allocatePage(MemoryConsumer.java:129)
    at org.apache.spark.util.collection.unsafe.sort.UnsafeExternalSorter.acquireNewPageIfNecessary(UnsafeExternalSorter.java:374)
    at org.apache.spark.util.collection.unsafe.sort.UnsafeExternalSorter.insertRecord(UnsafeExternalSorter.java:396)
    at org.apache.spark.sql.execution.UnsafeExternalRowSorter.insertRow(UnsafeExternalRowSorter.java:94)
    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIterator.sort_addToSorter$(Unknown Source)
    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIterator.processNext(Unknown Source)
    at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
    at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$8$$anon$1.hasNext(WholeStageCodegenExec.scala:370)
    at org.apache.spark.sql.execution.WindowExec$$anonfun$15$$anon$1.fetchNextRow(WindowExec.scala:300)
    at org.apache.spark.sql.execution.WindowExec$$anonfun$15$$anon$1.<init>(WindowExec.scala:309)
    at org.apache.spark.sql.execution.WindowExec$$anonfun$15.apply(WindowExec.scala:289)
    at org.apache.spark.sql.execution.WindowExec$$anonfun$15.apply(WindowExec.scala:288)
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitions$1$$anonfun$apply$23.apply(RDD.scala:766)
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitions$1$$anonfun$apply$23.apply(RDD.scala:766)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
    at org.apache.spark.rdd.ZippedPartitionsRDD2.compute(ZippedPartitionsRDD.scala:89)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
    at org.apache.spark.rdd.ZippedPartitionsRDD2.compute(ZippedPartitionsRDD.scala:89)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
    at org.apache.spark.rdd.ZippedPartitionsRDD2.compute(ZippedPartitionsRDD.scala:89)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
    at org.apache.spark.rdd.CoalescedRDD$$anonfun$compute$1.apply(CoalescedRDD.scala:96)
    at org.apache.spark.rdd.CoalescedRDD$$anonfun$compute$1.apply(CoalescedRDD.scala:95)
    at scala.collection.Iterator$$anon$12.nextCur(Iterator.scala:434)
    at scala.collection.Iterator$$anon$12.hasNext(Iterator.scala:440)
    at org.apache.spark.sql.execution.datasources.DefaultWriterContainer$$anonfun$writeRows$1.apply$mcV$sp(WriterContainer.scala:253)
    at org.apache.spark.sql.execution.datasources.DefaultWriterContainer$$anonfun$writeRows$1.apply(WriterContainer.scala:252)
    at org.apache.spark.sql.execution.datasources.DefaultWriterContainer$$anonfun$writeRows$1.apply(WriterContainer.scala:252)
    at org.apache.spark.util.Utils$.tryWithSafeFinallyAndFailureCallbacks(Utils.scala:1325)
    at org.apache.spark.sql.execution.datasources.DefaultWriterContainer.writeRows(WriterContainer.scala:258)
    ... 8 more

Driver stacktrace:

共有1个答案

卢伟志
2023-03-14

对我来说，问题确实是coalesce()。我所做的不是使用coalesce()而是使用df.write.parquet（“testp”）导出文件。然后回读该文件，并用coalesce(1)导出该文件。

希望它对你也有效。

 类似资料：
  • java.lang.OutOfMemoryError：无法获取36字节的内存，得到0

    我使用pyspark本地模式执行脚本，使用以下命令 在我的pyspark代码中，我在每次迭代中使用现有的spark数据帧加入一个新列，开始时df为空，然后在第一次迭代中加入列A，在第二次迭代中加入列B，在第三次迭代中加入列C，依此类推。在第27次迭代中，当pyspark试图执行df.count()时，我得到了这个内存错误。 要连接的列总数为52。

  • 无法获得selenium中的第n个节点

    问题内容： 我尝试编写xpath表达式，以使我的测试不会因小的设计更改而中断。因此，我编写了自己的表达式，而不是Selenium IDE生成的表达式。 这是一个问题： 此表达式根本不起作用。名为“问题”的输入节点分布在整个页面上。他们不是兄弟姐妹。 我尝试使用中间表达式，但是也失败了。 这就是为什么我认为Seleniun具有错误的XPath实现。 根据XPath文档，位置谓词必须按 节点 集中的位

  • SpringBoot似乎无法获得存储库

    我不能在我的服务课上用我的积垢。我可以创建存储库，但当我将其自动连接到我的服务类时，会出现以下错误： com中构造函数的参数0。测验服务testService需要“com”类型的bean。测验存储库。找不到TestRepository“”。 行动： 考虑定义COM类型的bean。测验存储库。配置中的TestRepository。 这对许多人来说似乎是一个大问题。我尝试了各种东西，如@Compone

  • Docker EXPOSE。无法得到

    问题内容： 在过去的两天里，我在docker上遇到了麻烦，我可以解决。在docker doc之后，您可以公开容器将侦听与的连接的端口。到目前为止，一切都很好！ 如果我的应用程序侦听端口8080，则应使用公开我的docker容器，并使用将其绑定到主主机的端口80 。 这是我的Dockerfile： 而我只是汝南＆＆。 我有一个简单的express nodejs应用程序： 这是我构建docker映像的

  • 无法获得通用ResponseEntity

    问题内容： 请帮助我得到一个where 本身就是一个泛型类型。如我现在所见，Spring RestTemplate现在不支持此功能。我正在使用Spring MVC版本3.1.2 这是我要使用的代码：代码： 我收到此错误： 这是明显的错误，但是今天如何解决呢？ 比我想得到我的通用响应类型： 现在，我使用此解决方案，并且不使用： 问题答案： 通过引入修复了该问题，你可以显式继承该参数化类型，以便在运行

  • Servlet无法获得输入

    我试图创建一个程序，在这个程序中我可以接受输入，并用servlet获得一个数字的平方根。我是初学者，所以知道的不多。问题是当我尝试我的代码时，它不起作用。代码如下： myservletdemo.java 结果是：首先，当你点击链接时，你会得到： 这个结果

相关问答

Eureka-无法获得响应-无法联系任何Eureka节点无法获得SpringJPA hibrenate的关系无法获得json：无限递归无法在60秒内获得稳定的firefox连接AudioSystem Write,AudioInputStream,从InputStream获得的修改字节

相关文章

无法获得Guice方法拦截功能Linux下怎么得到一个文件的100到200行JSON不得超过1000000字节字节码如何在JVM中得到验证？是否有可能获得超过100条推文？

相关阅读

东方财富&得物一面经历&字节二面得物算法一面得物算法面试得物得物内容运营实习面试

相关工具

得意黑 Smiley Sans100-redteam-projects易得网络数据采集系统laravel-package-top-100TT内存清理

相关文档

获得场景视频 云点播文档获得场景视频 云直播文档获得场景视频 云课堂文档获得场景视频 云加速文档编程之法：面试和算法心得
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.