如何在pyspark AWS上跨集群添加文件

Question

我是新来的。我正试图从我的主实例读取一个文件，但我得到了这个错误。经过研究，我发现要么需要将数据加载到hdfs，要么需要跨集群复制。我找不到执行这两个命令的命令。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

/home/ec2-user/spark/python/pyspark/RDD.pyc in first（self）1359
valueerror：RDD为空1360“”“->1361 rs=self.take（1）1362如果rs:1363返回rs[0]

/home/ec2-user/spark/python/pyspark/rdd.pyc in take（self,num）1311“”“1312 items=[]->1313 totalParts=self.getNumPartitions（）1314 partsScanned=0 131 5

/home/ec2-user/spark/python/pyspark/rdd.pyc in getNumPartitions（self）2438 2439 def getNumPartitions（self）：->2440 return self._prev_jrdd.partitions（）.size（）2441 2442@property

/home/ec2-user/spark/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py in call（self,*args）1131应答=self.gateway_client.send_command（command）1132 return_value=get_return_value(->1133应答,self.gateway_client,self.target_id,self.name)1134 1135对于temp_args中的temp_arg:

/home/ec2-user/spark/python/pyspark/sql/utils.pyc in deco(*a,**kw)61 def deco(*a,**kw):62 try:---->63返回f(*a,**kw)64除py4j.protocol.py4jJavaError为E:65 s=e.java_exception.toString()

/home/ec2-user/spark/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py in get_return_value（应答,gateway_client,target_id,name）317 Rise Py4JJavaError（318“调用{0}{1}{2}时出错.\n”。-->319 format（target_id,“.”,name）,value）320 else：321 Rise Py4JError（

PY4JJavaError：调用O122.Partitions时出错。：org.apache.hadoop.mapred.invalidinputexception：输入路径不存在：file:/home/ec2-user/pr_data_35.csv（位于org.apache.hadoop.mapred.fileinputformat.singlethreadedliststatus（位于org.apache.hadoop.mapred.fileinputformat.java:285)（位于org.apache.hadoop.mapred.fileinputformat.liststatus（位于org.apache.hadoop.mapred.fileinputformat.java:228)（位于t org.apache.spark.api.java.javarddlike$class.partitions(javarddlike.scala:61)在org.apache.spark.api.java.abstractjavarddlike.partitions(javarddlike.scala:45)在sun.reflect.nativeMethodAccessorInvoke0（原生方法）在sun.reflect.nativeMethodAccessorInvoke(nativeMethodAccessorInvoke.java:62)在

Answer 1

由于您已经在AWS中，所以将数据文件存储在s3中并直接从那里打开可能会更容易。