当前位置: 首页 > 知识库问答 >
问题:

线程“main”java中出现异常。io。IOException:作业中未指定输入路径

常雪风
2023-03-14

我正在尝试使用Java中的spark读取json文件。我尝试的几个更改是:

SparkConf conf=新SparkConf()。setAppName(“搜索”)。setMaster(“本地[*]”);

DataFrame df=sqlContext。读取()。json(“../Users/pshah/Desktop/sample.json/*”);

代码:

import java.util.Arrays;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;
public class ParseData {

public static void main(String args[]){
    SparkConf conf = new SparkConf().setAppName("Search").setMaster("local");
    JavaSparkContext sc= new JavaSparkContext(conf);
    SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);
    // Create the DataFrame
    DataFrame df = sqlContext.read().json("/Users/pshah/Desktop/sample.json");
    // Show the content of the DataFrame
    df.show();
}}

错误:

Exception in thread "main" java.io.IOException: No input paths specified in job
at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:198)

共有1个答案

邢永安
2023-03-14

我写了同样的代码,遇到了同样的问题。我把人民。项目目录src/main/resources下的json文件。原因是程序找不到该文件。在我复制人之后。json文件到程序的工作目录,程序运行良好

 类似资料: