使用pig从csv文件读取数据
我正在尝试读取Mac上pig shell上的csv文件。我所做的只是加载文件到变量中，然后转储变量。我是这样做的：
movies = LOAD '/user/myhome/movies_data.csv' USING PigStorage(',') as (id,name,year,rating,duration);
DUMP movies;
此文件在我的Mac上的本地安装的hdfs中可用。当我执行转储时，我得到一个错误：
org.apache.pig.impl.logicallayer.FrontendException：错误1066：无法打开别名影片的迭代器
在org.apache.pig.pigserver.openiterator(pigserver.java:935)在org.apache.pig.tools.grunt.gruntparser.processdump(gruntparser.java:754)在org.apache.pig.tools.pigscript.parser.parse（pigscriptparser.java:376)在org.apache.pig.tools.grunt.gruntparser.parsestoponerror（gruntparser.java:230)在org.apache.pig.pigserver.openiterator(pigserver.java:927)...13
运行此作业时,当我点击应用程序群集链接时,会出现以下异常：
诊断：容器启动异常。容器ID：container_1443887668938_0007_02_000001退出代码：127堆栈跟踪：ExitCodeException exitcode=127:at org.apache.hadoop.util.shell.runcommand(shell.java:538)at org.apache.hadoop.util.shell.run(shell.java:455)at org.apache.hadoop.util.shell.$shellcommandexecutor.execute(shell.java:715)at申请失败。
Pig版本为0.15.0，hadoop版本为2.6.1。我是不是漏了什么？
共有1个答案
您可以从Piggybank使用CSVLoader。如果piggybank jar不可用，请将其注册并使用CSVLoader。像这样的东西。
register '/your/path/to/piggybank/jar' ;
define CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
movies = LOAD '/user/myhome/movies_data.csv' USING CSVLoader as (id,name,year,rating,duration);
-
本文向大家介绍如何使用JavaScript从* .CSV文件读取数据？，包括了如何使用JavaScript从* .CSV文件读取数据？的使用技巧和注意事项，需要的朋友参考一下 要使用JavaScript读取.CSV，请使用开源CSV解析器Papa Parser。以下是功能- 开源的 使用多线程CSV解析器解析数百万个数据 支持多种网络浏览器 使用解析器，您可以轻松地跳过注释字符 假设您的CSV文件
-
我是R的新手，想读一个csv文件。但是当我试图阅读它时，我遇到了错误。我的csv文件如下： 当我在RStudio中使用此命令时，我得到了错误：命令： 错误： 读取时出错。表（file=file，header=header，sep=sep，quote=quote，：不允许重复的“row.names” 我还尝试删除错误并使用此命令： 但是当我查看输出时，它不能保持方阵的结构。你能帮我做什么吗？
-
我如何完成这个任务？
-
问题内容： 我正在从包含以下数据的CSV文件（xyz.CSV）中读取数据： 当我使用循环对其进行迭代时，我可以按以下代码逐行打印数据，并且仅打印column1数据。 通过上面的代码，我只能得到第一列。 如果我尝试打印line [1]或line [2]，则会出现以下错误。 请建议打印列2或列3的数据。 问题答案： 这是我获得第二列和第三列的方法： 结果如下：
-
问题内容： 当我卷曲到API调用链接时http://example.com/passkey=wedsmdjsjmdd 我以csv文件格式获取员工输出数据，例如： 如何使用python解析。 我试过了： 但它不起作用，我出现了一个错误 谢谢！ 问题答案： 您需要替换为urllib.urlopen或urllib2.urlopen。 例如 这将输出以下内容 最初的问题被标记为“ python-2.x”，
-
我需要从数据库读取数据，并使用PIG分析数据。我用java编写了一个UDF，引用了下面的链接 org.apache.pig.impl.logicallayer.frontendException：错误1066：无法在org.apache.pig.pig.tools.grunt.gruntparser.openiterator（pigserver.java:892)在org.apache.pig.t