从Pandas DataFrame创建Spark DataFrame

Question

我试图从一个简单的熊猫数据流创建一个火花数据流。这是我遵循的步骤。

import pandas as pd
pandas_df = pd.DataFrame({"Letters":["X", "Y", "Z"]})
spark_df = sqlContext.createDataFrame(pandas_df)
spark_df.printSchema()

在这之前一切都好。输出为：

spark_df.show()

Spark UI

版本:V2.4.0

主人：本地[*]

Answer 1

导入并初始化findspark，创建spark会话，然后使用该对象将pandas数据帧转换为spark数据帧。然后将新的spark数据帧添加到目录中。在Jupiter 5.7.2和Spyder 3.3.2以及python 3.6.6中测试并运行。

import findspark
findspark.init()

import pyspark
from pyspark.sql import SparkSession
import pandas as pd

# Create a spark session
spark = SparkSession.builder.getOrCreate()

# Create pandas data frame and convert it to a spark data frame 
pandas_df = pd.DataFrame({"Letters":["X", "Y", "Z"]})
spark_df = spark.createDataFrame(pandas_df)

# Add the spark data frame to the catalog
spark_df.createOrReplaceTempView('spark_df')

spark_df.show()
+-------+
|Letters|
+-------+
|      X|
|      Y|
|      Z|
+-------+

spark.catalog.listTables()
Out[18]: [Table(name='spark_df', database=None, description=None, tableType='TEMPORARY', isTemporary=True)]