无法在spark应用程序中设置System属性[在客户端和群集模式中]

Question

要设置system.setproperty（“oracle.net.tns_admin”,path_of_ora),我尝试了以下方法。

方法1：使用broadcast变量将tns.ora文件复制到所有执行程序sparksession.sparkcontext（）。broadcast（“/tmp/conf/”,classTagTest）

方法2：在spark submit命令中使用--files参数传递tns.ora文件，并设置--conf spark.executor.extrajavaoptions=-doracle.net.tns_admin=tnsnames.ora

方法3：使用sparksession.addfile（“tnsnames.ora”）集--conf spark.executor.extrajavaoptions=-doracle.net.tns_admin=tnsnames.ora

根据我们的分析，我们发现当运行spark应用程序时，系统属性被设置为master为local[*]，模式为client。

即使在客户端模式下，也只能识别本地路径，而当我们尝试用hdfs路径设置systemProperty时，它无法识别。

但要求是设置系统属性并在集群模式下运行。

spark-submit--类demo1-master local[*]--deploy-mode client--驱动程序--内存5G--执行器--内存10G--执行器--核心5--num-executors 36--JAR OJDBC15-11.1.0.6.jar--文件/tmp/tnsnames.ora--conf spark.executor.extrajavaoptions=-doracle.net.tns_admin=tnsnames.ora--驱动程序-java-options-doracle.net.tns_admin=tnsnames.ora

SparkConf sparkConf = new SparkConf()
               // .setMaster("local[*]")
                .setAppName("Iden");

SparkSession sparkSession = SparkSession.builder()
        .config(sparkConf).getOrCreate();

String username = "etldevapp";
String password = "etldevappstg";
String thinConn = "jdbc:oracle:thin:" + username + "/" + password + "@xxxxxxx";

System.setProperty("oracle.net.tns_admin","/tmp/");

try {
    DriverManager.registerDriver(new OracleDriver());
    Connection conn = DriverManager.getConnection(thinConn, username, password);

    PreparedStatement st = conn.prepareStatement("select * from xxxx where rownum < 10");

    final ResultSet rs = st.executeQuery();
    System.out.println(rs.getFetchSize());
} catch (Exception e) {
    System.out.println("Exception from try1 ");
}

User类引发异常：java.sql.sqlexception：Io异常：无法解析连接标识符“xxxxx”

Answer 1

这是我所做的。我在Spark配置文件中将它设置为一个属性，然后在代码中将它设置为一个系统属性。属性名以“spark.”开头是很重要的，所以如下所示：

System.setProperty("oracle.net.tns_admin",conf.get("spark.your.property.name"));