如何使用Pig在cassandra中插入数据

Question

我正在尝试使用Pig将HDFS中的文件中的数据复制到Cassandra中的表中。但在将数据存储在Cassandra中时，作业失败，出现空指针异常。有人能帮我吗？

用户表结构：

创建表用户（user\u id text主键、age int、第一个文本、最后一个文本）

我的猪脚本

>

A=加载“/用户/hduser/用户。txt“使用PigStorage（'，'）作为（id:chararray，age:int，fname:chararray，lname:chararray）；

C=foreach A GenerERATE TOTUple（'user_id'， id））， TOTUple（'age'， age）， TOTUple（'first'， fname）， TOTUple（'last'， lname）；

将C存储到'cql://ram_keyspace/users'使用CqlStorage（）；

例外情况：

Java语言lang.RuntimeException：java。组织中的lang.NullPointerException。阿帕奇。卡桑德拉。hadoop。cql3.CqlRecordWriter。（CqlRecordWriter.java:123）位于org。阿帕奇。卡桑德拉。hadoop。cql3.CqlRecordWriter。（CqlRecordWriter.java:90）位于org。阿帕奇。卡桑德拉。hadoop。cql3.CqlOutputFormat。位于org的getRecordWriter（CqlOutputFormat.java:76）。阿帕奇。卡桑德拉。hadoop。cql3.CqlOutputFormat。位于org的getRecordWriter（CqlOutputFormat.java:57）。阿帕奇。猪后端。hadoop。executionengine。mapReduceLayer。PigOutputFormat。org上的getRecordWriter（PigOutputFormat.java:84）。阿帕奇。hadoop。映射。MapTask$NewDirectOutputCollector。（MapTask.java:627）位于org。阿帕奇。hadoop。映射。MapTask。在org上运行NewMapper（MapTask.java:753）。阿帕奇。hadoop。映射。MapTask。在org上运行（MapTask.java:364）。阿帕奇。hadoop。映射。儿童4美元。在java上运行（Child.java:255）。安全AccessController。javax上的doPrivileged（本机方法）。安全授权。主题doAs（Subject.java:415）位于org。阿帕奇。hadoop。安全用户组信息。doAs（UserGroupInformation.java:1190）位于org。阿帕奇。hadoop。映射。小孩main（Child.java:249）由：java引起。组织中的lang.NullPointerException。阿帕奇。卡桑德拉。hadoop。cql3.CqlRecordWriter。（CqlRecordWriter.java:109）。。。12个以上

有人谁使用过猪与卡珊德拉帮助我解决这个问题？

Answer 1

您正在使用CqlStorage，它要求您指定output_query，这是一个准备好的语句，将用于将数据插入列族。DSE猪留档提供了一个示例：

grunt> STORE insertformat INTO
   'cql://cql3ks/simple_table1?output_query=UPDATE+cql3ks.simple_table1+set+b+%3D+%3F'
   USING CqlStorage;