Windows上的PySpark与PyCharm：java.net.SocketException

Question

从昨天开始，我的pySpark代码就面临着一个奇怪的行为。我正在用PyCharm和Spark1.5在windows上工作。

from pyspark.sql import SQLContext
from pyspark import SparkContext
from pyspark import SparkConf, SparkContext

from pyspark.sql import SQLContext

# SQL / Spark context:
conf = (SparkConf().setMaster("local").setAppName("analysis"))#.set("spark.executor.memory", "2g")
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)

# Input CSV files :
inputCsvFile = "survey.csv"
separator = ','

# read the input file into a RDD
rdd = sc.textFile(inputCsvFile).split(separator)
header = rdd.first().split(separator)

# build the Schema: (some basic functions to chreate StructType object with string as default type)
schema = dictSchemaFromColumnsList(header)
schemaDf = dictSchemaToDFSchema(schema)

# create Dataframe:
df = sqlContext.createDataFrame(rdd, schemaDf)
pprint(rdd.first())
print('\ndf.count()=' + str(df.count()))

# display
df.show()

People=["1,Maj,123","2,Pvt,333","3,Col,999"]
rrd1=sc.parallelize(People)
rrd1.first()

我有时会有代码工作....这使得运行不一致....如有任何建议，将不胜感激...

更新：在回顾问题之后，它看起来是完全相同的行为Matei描述如下。显然，在缩短输入csv文件时，问题得到了解决。

Answer 1

我在使用（比方说）大文件（20000行）并试图使用regex过滤它们时也遇到了同样的问题：

import re
pattern = re.compile("...")
rdd.filter(lambda x: pattern.search(x) is not None)

而且，正如您所描述的那样，这种行为是断断续续的。在将文件截断到~2000行后，它没有错误地工作。