由于org.kitesdk.data.DataSetOperationException的原因，sqoop增量作业失败
错误：org.kitesdk.data.datasetoperationexception：未能追加{“clg_id”：“5”,.....19/03/27 00:37:06 INFO mapreduce.job:任务Id:advitt_15088_130_m_0002，状态：失败
查询以创建保存的作业：
sqoop job-dhadoop.security.credential.provider.path=jceks://xxxxx--创建job1--导入--连接“jdbc:oracle:thinxxxxx”--详细--用户名user1--密码--别名alisas--查询“select CLG_ID,....from CLG_TBL where\$conditions”--as-parquetfile--增量append--check-column CLG_TS--target-dir/hdfs/clg_data/-m 1
导入查询：
sqoop job-dhadoop.security.credential.provider.path=jceks://xxxxx--exec job1----连接“jdbc:oracle:xxx”---用户名user1---密码-别名alisas---查询“select CLG_ID,....from CLG_TBL where\$conditions”----target-dir/hdfs/clg_data/-m 1---hive-import---hive-database clg_db---hive-table clg_table-
共有1个答案
这个错误是一个已知的问题。我们几周前也遇到过同样的问题，发现了这个。
这里是链接。
对问题或行为的描述
-
我正在处理一些奇怪的错误信息，我认为这可以归结为内存问题，但我很难确定它，可以从专家那里得到一些指导。 我有一个两台机器的Spark（1.0.1）集群。两台机器都有8个核心；一台有16GB内存，另一台有32GB内存（这是主）。我的应用程序涉及计算图像中的成对像素亲和力，尽管我测试的图像到目前为止只有1920x1200大，16x16小。 我确实必须改变一些内存和并行性设置，否则我会得到显式的OutO
-
我正在写一个简单的流媒体地图减少工作使用Python在亚马逊电子病历上运行。它基本上是用户记录的聚合器，将每个用户标识的条目分组在一起。 制图器 减速机： 此作业应在包含五个文本文件的目录上运行。EMR作业的参数包括： 输入：[桶名]/[输入文件夹名] 输出：[存储桶名称]/Output 映射器：[Bucket name]/Mapper.py Reducer:[存储桶名称]/Reducer.py
-
我想练习sqoop merge命令。我所做的是将数据从MySQL DB导入HDFS，然后用1个update和1个insert更新源表，我的表以id作为主键，时间作为时间戳。 接下来，我再次使用选项进行导入。 然后sqoop合并了，但失败了，出现了以下错误。我认为早期导入和最新导入的数据集之间存在一些不匹配，但无法理解问题所在。那是因为使用导入吗？如果我使用子句进行更新，它就有效了。 我用过：- 错
-
问题内容： 当我从用户那里接收数据时，我每次都会验证输入的格式（PHP）。我唯一无法验证（或我不想）的是约束（例如外键）违规。我让DML引发并出错，并让数据库驱动程序引发异常。捕获它后，我只是通过MySQL的错误代码打印出一些错误消息。 问题是，即使插入失败，我仍然看到序列还在增长。我该如何预防呢？ 问题答案： 这就是自动增量值和序列的工作方式。使用值时，如果事务失败，则不会回收该值，并且会回滚该
-
问题内容： 只是尝试删除所有文档，并这样做： 然后承诺： 我得到答复： 但是当我搜索时，我仍然会得到结果。 我做错什么了？ 问题答案： 不确定是否重要，但是您也可以编码： 要尝试的另一件事是使用POST方法（调用update的首选方法）：
-
问题内容： 我是PHP的新手，正在使用mail函数发送无法正常工作的电子邮件。我收到成功消息，但仍然无法正常工作 相同的代码 我是否缺少任何内容，我是否需要为此功能包括任何文件。.我来自asp.net，这是在网站上找到的基本脚本。 我尝试了其他与邮件相关的脚本，这些脚本也无法使用。 我正在网站上而不是在本地上运行此脚本 问题答案： 这可能是配置错误。如果您坚持使用PHP 函数，则必须进行编辑。 如