当前位置: 首页 > 知识库问答 >
问题:

错误2997:使用CSVExcelStorage时,无法从备份错误重新创建异常:

程俊誉
2023-03-14

错误2997:无法从备份错误重新创建异常。这里,我已经解析了apache日志文件,但当我试图将其导出为csv格式时,会出现此错误。代码和错误:

grunt> STORE logs  INTO '/home/cloudera/workspace/Test_log.csv' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',', 'NO_MULTILINE','NOCHANGE'); 

2015-12-24 10:50:44,821[main]INFO org.apache.Pig.tools.pigstats.ScriptState-脚本中使用的Pig功能:未知

2015-12-24 10:50:44,830[main]INFO org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.mrCompiler-文件级联阈值:100乐观?假

2015-12-24 10:50:44,937[main]INFO org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.JobControlCompiler-mapred.job.reduce.markreset.buffer.percent未设置,设置为默认值0.3

2015-12-24 10:50:49,055[main]INFO org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.JobControlCompiler-设置单个存储作业

2015-12-24 10:50:49,056[main]INFO org.apache.pig.data.schematupleFrontend-key[pig.schematuple]为false,将不会生成代码。

2015-12-24 10:50:49,056[main]INFO org.apache.pig.data.SchematUpleFrontend-启动将生成的代码移动到分布式缓存进程

2015-12-24 10:50:49,056[main]INFO org.apache.pig.data.schematupleFrontend-使用要反序列化的类设置键[pig.schematuple.classes][]

2015-12-24 10:50:49,158[main]INFO org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.MapReduceLauncher-1映射-正在等待提交的Reduce作业。

2015-12-24 10:50:49,158[main]INFO org.apache.hadoop.conf.configuration.deprecation-mapred.job.tracker不推荐使用。而是使用MapReduce.JobTracker.Address

2015-12-24 10:50:49,159[JobControl]INFO org.apache.hadoop.yarn.client.rmProxy-连接到ResourceManager,地址为/0.0.0.0:8032

2015-12-24 10:50:49,177[JobControl]INFO org.apache.hadoop.conf.configuration.deprecation-fs.default.name不推荐使用。而是使用fs.defaultFS

2015-12-24 10:50:49,428[JobControl]INFO org.apache.hadoop.mapreduce.lib.input.FileInputFormat-进程的总输入路径:1

2015-12-24 10:50:49,431[JobControl]INFO org.apache.pig.backend.hadoop.executionEngine.util.MapRedUtil-要处理的总输入路径(组合):2

2015-12-24 10:50:49,467[JobControl]INFO org.apache.hadoop.mapreduce.jobSubmitter-拆分数:2

2015-12-24 10:50:49,518[JobControl]INFO org.apache.hadoop.mapreduce.jobSubmitter-提交作业的令牌:job_1450979216927_0004

2015-12-24 10:50:49,578[JobControl]INFO org.apache.hadoop.yarn.client.api.impl.yarnclientimpl-提交的应用程序application_1450979216927_0004

2015-12-24 10:50:49,581[JobControl]INFO org.apache.hadoop.mapreduce.job-跟踪作业的url:http://quickstart.cloudera:8088/proxy/application_1450979216927_0004/

2015-12-24 10:50:49,659[main]INFO org.apache.pig.backend.hadoop.executionengine.mapreduceLayer.mapreduceLauncher-hadoopJobID:job_1450979216927_0004

2015-12-24 10:50:49,659[main]INFO org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.MapReduceLauncher-处理别名日志

2015-12-24 10:50:49,659[main]INFO org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.MapReduceLauncher-详细位置:m:logs[7,7],null[-1,-1]C:r:

2015-12-24 10:50:49,659[main]INFO org.apache.pig.backend.hadoop.executionengine.mapreduceLayer.mapreduceLauncher-更多信息,请访问:http://localhost:50030/jobdetails.jsp?jobid=job_1450979216927_0004

2015-12-24 10:50:49,702[main]信息org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.MapReduceLauncher-完成0%

2015-12-24 10:51:17,030[main]信息org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.MapReduceLauncher-完成50%

2015-12-24 10:52:04,848[主]警告org.apache.pig.backend.hadoop.executionengine.mapreduceLayer.mapreduceLauncher-ooops!某个作业失败了!如果希望Pig在失败时立即停止,请指定-stop_on_failure。

2015-12-24 10:52:04,848[main]INFO org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.MapReduceLauncher-作业job_1450979216927_0004失败!停止运行所有依赖作业

2015-12-24 10:52:04,848[main]信息org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.MapReduceLauncher-100%完成

2015-12-24 10:52:05,039[main]错误org.apache.pig.tools.pigstats.SimplePigstats-错误2997:无法从备份错误中重新创建异常:尝试ID:尝试_1450979216927_0004_M_000001_3信息:错误:org.apache.pig.data.tuple.isNull()Z

2015-12-24 10:52:05,040[main]错误org.apache.pig.tools.pigstats.pigstatsutil-1映射减少作业失败!2015-12-24 10:52:05,040[main]infoorg.apache.pig.tools.pigstats.SimplePigstats-脚本统计信息:

HadoopVersion PigVersion UserId StartedAt FinishedAt Features 2.6.0-CDH5.4.0 0.12.0-CDH5.4.0 cloudera 2015-12-24 10:50:44 2015-12-24 10:52:05未知

失败了!

失败的作业:JobId别名功能消息输出job_1450979216927_0004日志MAP_ONLY消息:作业失败!/home/cloudera/workspace/test_log.csv,

输入:无法从“/myhdfs/project/testlog.txt”读取数据

输出:无法在“/home/cloudera/workspace/test_log.csv”中生成结果

作业DAG:job_1450979216927_0004

2015-12-24 10:52:05,040[main]信息org.apache.pig.backend.hadoop.executionengine.MapReduceLayer.MapReduceLauncher-失败!

共有1个答案

冯澄邈
2023-03-14

似乎是数据处理链中的一个错误。这个日志条目指出一个元组为NULL。只是一个想法:这种情况可能发生,例如当您使用定制的UDF时,它在某些情况下返回Null。

2015-12-24 10:52:05,039 [main] ERROR org.apache.pig.tools.pigstats.SimplePigStats - ERROR 2997: Unable to recreate exception from backed error: AttemptID:attempt_1450979216927_0004_m_000001_3 Info:Error: org.apache.pig.data.Tuple.isNull()Z
 类似资料:
  • 问题内容: 我将我的MySQL数据库插入WAMP服务器时遇到了麻烦。我打算发布模式的图像,但这是我不能的第一篇文章。 下面是执行的脚本。 但是然后我得到这个错误: 我不知道为什么。谁能帮我? 问题答案: 我迅速搜寻了你,它把我带到了这里。我引用: 如果您尝试添加名称已经在其他地方使用的约束,则会收到此消息 要检查约束,请使用以下SQL查询: 在此处查找更多信息,或尝试查看错误发生的位置。看起来像是

  • 问题内容: 尝试在mysql中创建表时出现错误。 有解决的技巧吗? 错误: 问题答案: 查看有关外键约束的MySQL手册: 如果重新创建已删除的表,则该表必须具有符合引用该表的外键约束的定义。如前所述,它必须具有正确的列名和类型,并且必须在引用的键上具有索引。如果不满足这些条件,MySQL将返回错误号1005,并在错误消息中引用错误150。 一些想法: 最好删除表,并使用格式正确的语法对其进行新建

  • 问题内容: 我在Internet上搜索了此问题的解决方案,并检查了Stack Overflow问题,但是没有一种解决方案适合我的情况。 我想创建一个从表sira_no到metal_kod的外键。 该脚本返回: 我尝试将索引添加到被引用的表中: 我在两个表(字符集和排序规则)上都检查了METAL_KODU,但找不到该问题的解决方案。我该如何解决这个问题? 这是metal_kod表: 问题答案: 错误

  • 问题内容: 我看到很多关于写入SD卡的帖子,但是我相信我的问题有所不同。在建立AVD的过程中,我无法创建SD卡。 我最初尝试使用Android SDK和AVD Manager来执行此操作,选择 名称 :my_avd 目标 :Android 2.2-API级别8 SD卡 :大小:1024 MiB 皮肤 :内置:默认(HVGA) 硬件 :属性:抽象的LCD密度,值:160 这会弹出一个窗口,并显示以下

  • 我想Java更新时区数据。据我所知,可以使用来解决这个问题。但是我收到了错误: Java版本是: 怎么了?

  • 我刚开始编程,在过去的几个月里一直在做程序,一切都很顺利。我没有弄乱pycharm或python的路径或任何东西,它突然开始给我这个错误。 无法使用“C:\ Users \ Jason \ AppData \ Local \ Microsoft \ windows apps \ python software foundation”创建进程。python . 3.9 _ qbz 5 N2 kfra