在增量更新中选择时间戳作为列时，Sqoop合并失败

Question

我想练习sqoop merge命令。我所做的是将数据从MySQL DB导入HDFS，然后用1个update和1个insert更新源表，我的表以id作为主键，时间作为时间戳。

接下来，我再次使用-增量=最后修改-检查列="时间"选项进行导入。

然后sqoop合并了，但失败了，出现了以下错误。我认为早期导入和最新导入的数据集之间存在一些不匹配，但无法理解问题所在。那是因为使用--Check-lie=time导入吗？如果我使用--where子句进行更新，它就有效了。

我用过：-

--Initial load
sqoop import \
  --connect "jdbc:mysql://quickstart.cloudera:3306/testdb" \
  --username=root \
  --password=cloudera \
  --table Customers \
  --as-textfile \
  --target-dir=/user/cloudera/sqoop_import/sqoop_merge/Customers

sqoop import \
  --connect "jdbc:mysql://quickstart.cloudera:3306/testdb" \
  --username=root \
  --password=cloudera \
  --table Customers \
  --as-textfile \
  --target-dir=/user/cloudera/sqoop_import/sqoop_merge/Customers_delta \
  --incremental lastmodified \
  --check-column "time" \
  --last-value '2016-08-24 22:04:56.0'

sqoop merge --merge-key department_id \
  --new-data /user/cloudera/sqoop_import/sqoop_merge/Customers_delta \
  --onto /user/cloudera/sqoop_import/sqoop_merge/Customers \
  --target-dir /user/cloudera/sqoop_import/sqoop_merge/Customers_merge \
  --class-name Customers \
  --jar-file /tmp/sqoop-cloudera/compile/d73387fb05f4fcb0d38725806fe52b30/Customers.jar

错误是：-

24年8月16日22:49:41 INFO mapreduce。作业：映射13%减少0%16/08/24 22:49:42信息映射减少。作业：任务Id:trunt\u 1471947772048\u 0032\u m\u00000 3\u 2，状态：FAILED Error:java。io。IOException：无法连接null键上的值。是否指定了存在的键列？在org。阿帕奇。sqoop。mapreduce。MergeMapperBase。processRecord（MergeMapperBase.java:79）位于org。阿帕奇。sqoop。mapreduce。合并文本映射器。地图（MergeTextMapper.java:58）位于org。阿帕奇。sqoop。mapreduce。合并文本映射器。地图（MergeTextMapper.java:34）位于org。阿帕奇。hadoop。mapreduce。映射器。在org上运行（Mapper.java:145）。阿帕奇。hadoop。映射。映射任务。在org上运行NewMapper（MapTask.java:764）。阿帕奇。hadoop。映射。映射任务。在org上运行（MapTask.java:340）。阿帕奇。hadoop。映射。YarnChild 2美元。在java上运行（YarnChild.java:167）。安全AccessController。javax上的doPrivileged（本机方法）。安全认证。主题DOA（Subject.java:415）位于org。阿帕奇。hadoop。安全用户组信息。doAs（UserGroupInformation.java:1554）位于org。阿帕奇。hadoop。映射。YarnChild。main（YarnChild.java:162）

任何找出原因的线索都会很有帮助。谢谢。

Answer 1

您的表具有id主键字段。

在命令中使用“合并键id”。

根据您的错误日志，

无法连接null键上的值。是否指定了存在的键列？

您的表中似乎没有部门id字段。