当前位置: 首页 > 知识库问答 >
问题:

凤凰星火插件

单于承
2023-03-14

插件更新到Spark2.0了吗?我不能使用插件

    val df = spark.read
        .format("org.apache.phoenix.spark")
        .option("table", "web_stat")
        .option("zkUrl", "localhost:2181")
        .option("driver","org.apache.phoenix.jdbc.PhoenixDriver")
        .load()

错误:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame

只要jdbc连接凤凰就可以了!

val df = spark.read
        .format("jdbc")
        .option("driver", "org.apache.phoenix.jdbc.PhoenixDriver")
        .option("url", " jdbc:phoenix:localhost:2181")
        .option("dbtable", "web_stat")
        .load()

共有1个答案

皇甫雨华
2023-03-14

Spark2.0还没有与Phoenix合作。有关补丁程序https://issues.apache.org/jira/browse/phoenix-3333,请参见此URL

 类似资料:
  • 公司位于太古汇顶楼,环境还是不错的。有程序分析笔试,和cpp相关,端午前线下一面,端午后线下二面。一面主要就简历进行简单的询问,问了笔试题,问了动态规划,问了神经网络的relu层,还问了些有的没的。二面是主管面,问了快排,问了个人经历,问了多态,问了A*搜索。基本等于点击就送,目前已OC。

  • 我应该创建phoenix视图还是表来映射hbase表?如果hbase表被hbase api更新,那么phoenix视图或表会更新吗?

  • 我创建了Hbase表EMP,它具有列族f1和ID作为rowkey和NAME作为另一个列字段。 当我在这个Hbase表的顶部创建凤凰视图时 创建视图EMP(ID INTEGER Not NULL PRIMARY KEY, NAME VARCHAR(40));并运行选择状态,凤凰视图显示ID列的负值。Hbase中的实际值类似于101,102,103...但是当我在凤凰运行“从EMP中选择ID”时,我得

  • 一些基本信息如下: Hadoop2.7.1和NameNode HA enable hbase0.98.12 phoenix-4.6.0-hbase-0.98 执行sqlline.py localhost is error 执行sqlline.py localhost:nameservices/hbase is error

  • 我已经将Hadoop1.0.3配置为3台具有完全分布式模式的计算机。在下面的第一台计算机上,正在运行作业: 现在当我在上面运行简单的map reduce作业时,执行map ReduceJob需要更长的时间。所以我在Hadoop上安装了HBASE层。现在我在3个集群上有以下的HBASE进程。 ./psql.sh master(zookeeper名称).../examples/web_stat.sql