Spark Sql连接

Question

我正在尝试将spark连接到pyspark中的oracle数据库，但我遇到了驱动程序错误，请任何人帮我解决这个问题。我刚接触Spark，刚刚开始学习。下面是我的代码，

import pyspark

sc = pyspark.SparkContext('local[*]')
SqlContext = pyspark.SQLContext(sc)
Driver = 'C:\Hadoop\drivers\ojdbc14.jar'
OracleConnection = 'jdbc:oracle:thin:hr/hr@localhost:1521/xe'
Query = 'select * from employees'
OrcDb = SqlContext.read.format('jdbc') \
    .option('url', OracleConnection) \
    .option('dbtable', Query) \
    .option('driver', Driver) \
    .load()

OrcDb.printSchema()

下面是错误，

文件“C:/Users/Macaulay/PycharmProjects/Spark/SparkSqlOracle.py”，第8行，在OrcDb=SqlContext中。阅读格式（'jdbc'）\文件“C:\Hadoop\Spark\Spark-3.0.0-preview2-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\sql\readwriter.py”，第166行，在加载文件“C:\Hadoop\Spark\Spark-3.0.0-preview2-bin-hadoop2.7\python\lib\py4j-0.10.8.1-src.zip\py4j\java\u gateway.py”，第1285行，在调用文件“C:\Hadoop\Spark-3.0.0.0-2-bin\py4j\Py8py\Py2b\py4j.py\Py8py\Py2py\Py2py\Py2py”中，在第326行的deco文件“C:\Hadoop\Spark\Spark-3.0.0-preview2-bin-hadoop2.7\python\lib\py4j-0.10.8.1-src.zip\py4j\protocol.py”中，获取返回值py4j。协议Py4JJavaError:调用o29时出错。负载：JAVAlang.ClassNotFoundException:C:\Hadoop\drivers\ojdbc14。jar在java。网1美元。在java上运行（未知源代码）。网1美元。在java上运行（未知源代码）。安全访问控制器。java上的doPrivileged（本机方法）。网URLClassLoader。java上的findClass（未知源代码）。lang.ClassLoader。java上的loadClass（未知源代码）。lang.ClassLoader。组织上的loadClass（未知源）。阿帕奇。火花sql。处决数据源。jdbc。DriverRegistry$。在org上注册（DriverRegistry.scala:45）。阿帕奇。火花sql。处决数据源。jdbc。jdbc选项$anonfun$driverClass$1（jdbchoptions.scala:99）位于org。阿帕奇。火花sql。处决数据源。jdbc。jdbc选项$anonfun$driverClass$1$adapted（jdbchoptions.scala:99）位于org。阿帕奇。火花sql。处决数据源。jdbc。JDBCOptions$$Lambda$729/1345147223。在scala应用（未知源）。选项foreach（Option.scala:407）位于org。阿帕奇。火花sql。处决数据源。jdbc。jdbc选项。（jdbchoptions.scala:99）在org上。阿帕奇。火花sql。处决数据源。jdbc。jdbc选项。（jdbchoptions.scala:35）在org上。阿帕奇。火花sql。处决数据源。jdbc。JdbcRelationProvider。在org上创建关系（jdbcreationprovider.scala:32）。阿帕奇。火花sql。处决数据源。数据源。resolveRelation（DataSource.scala:339）位于org。阿帕奇。火花sql。DataFrameReader。在org上加载v1source（DataFrameReader.scala:240）。阿帕奇。火花sql。DataFrameReader$anonfun$load$2（DataFrameReader.scala:229）位于org。阿帕奇。火花sql。DataFrameReader$$Lambda$719/1893144191。在scala应用（未知源）。选项getOrElse（Option.scala:189）位于org。阿帕奇。火花sql。DataFrameReader。在org上加载（DataFrameReader.scala:229）。阿帕奇。火花sql。DataFrameReader。在sun上加载（DataFrameReader.scala:179）。反映NativeMethodAccessorImpl。在sun上调用0（本机方法）。反映NativeMethodAccessorImpl。在sun上调用（未知源）。反映DelegatingMethodAccessorImpl。在java上调用（未知源代码）。朗，反思一下。方法在py4j调用（未知源）。反射MethodInvoker。在py4j上调用（MethodInvoker.java:244）。反射反射引擎。在py4j上调用（ReflectionEngine.java:357）。网关。在py4j上调用（Gateway.java:282）。命令。抽象命令。py4j上的invokeMethod（AbstractCommand.java:132）。命令。呼叫命令。在py4j上执行（CallCommand.java:79）。网关连接。在java上运行（GatewayConnection.java:238）。朗。丝线。运行（未知源）

Answer 1

发现了问题。JDBC驱动程序应该放在Spark Jar目录中，我们必须提供驱动程序的服务名称，而不是提供驱动程序的路径。这种方法解决了这个问题。

下面是代码，

import pyspark
from pyspark.sql.session import SparkSession

sc = pyspark.SparkContext('local[*]')
SqlContext = pyspark.SQLContext(sc)
spark = SparkSession(sc)
Driver = 'oracle.jdbc.driver.OracleDriver'   # Driver's service name
OracleConnection = 'jdbc:oracle:thin:@//localhost:1521/xe'
User = 'hr'
Password = 'hr'
Query = 'select * from employees'
OrcDb = spark.read.format('jdbc') \
    .option('url', OracleConnection) \
    .option('dbtable', Query) \
    .option('user', User) \
    .option('Password', Password) \
    .option('driver', Driver) \
    .load()
OrcDb.printSchema()