阿帕奇猪型铸造
raw = Load 'data.csv' USING MyLoader();
repaired = FOREACH raw GENERATE MyRepairFunc(*);
filtered = FOREACH repaired GENERATE $0 AS name:chararray, $3 AS age:int;
DUMP filtered;
java.lang.ClassCastException: org.apache.pig.data.DataByteArray cannot be cast to java.lang.Integer at org.apache.pig.backend.hadoop.HDataType.getWritableComparableTypes(HDataType.java:115) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigGenericMapReduce$Map.collect(PigGenericMapReduce.java:124) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigGenericMapBase.runPipeline(PigGenericMapBase.java:281) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigGenericMapBase.map(PigGenericMapBase.java:274) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigGenericMapBase.map(PigGenericMapBase.java:64) at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370) at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
共有1个答案
您应该在数据分析之前修复您的原始数据（数据清理）。
有一个pig UDF，试图用预期模式清理原始数据，但没有合并到主分支中。PIG-3735 UDF以预期模式清除脏数据
您可以尝试使用您喜欢的工具清理原始数据。请参考https://infocus.emc.com/david_dietrich/the-dirty-little-secret-of-big-data-projects/中推荐的工具
-
Apache Kafka：分布式消息传递系统 Apache Storm：实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据？ 在实时数据管道方面，我觉得两者做的工作是一样的。如何在数据管道上同时使用这两种技术？
-
我正在使用Flink从Apache Pulsar读取数据。我在pulsar中有一个分区主题，有8个分区。在本主题中，我生成了1000条消息，分布在8个分区中。我的笔记本电脑中有8个内核，因此我有8个子任务（默认情况下，并行度=#个内核）。在执行Eclipse中的代码后，我打开了Flink UI，发现一些子任务没有收到任何记录（空闲）。我希望所有8个子任务都能得到利用（我希望每个子任务都映射到我的主
-
我们需要的是直接的API来设置和使用集群消息队列。我们最初的计划是使用Camel在集群JMS或ActiveMQ队列上进行消费/生产。Kafka如何使这项任务变得更容易？在任何一种情况下，应用程序本身都将在WebLogic服务器上运行。 消息传递将是点对点类型，其中有多个相同服务的实例在运行，但根据负载平衡策略，只有一个实例应该处理消息并发出结果。消息队列也是群集的，因此服务实例或队列实例的失败都不
-
目前我正在研究Apache spark和Apache ignite框架。 这篇文章介绍了它们之间的一些原则差异，但我意识到我仍然不理解它们的目的。 我的意思是，哪一个问题更容易产生火花而不是点燃，反之亦然？
-
我正试图找出这两种设置之间的区别。大小和缓冲区。Kafka制作人的记忆。 据我所知。大小：这是可以发送的批次的最大大小。 文档描述了缓冲区。memory as：生产者可以用来缓冲等待发送的记录的内存字节。 我不明白这两者之间的区别。有人能解释一下吗？ 谢啦
-
我正在做一个学术项目，涉及传感器的流数据。我已经包围了苍鹭（Storm的接班人）和尼菲。两者都支持内置背压，这对我的项目至关重要。Apache Nifi和Heron之间的主要区别是什么？ 哪款更适合物联网应用？