当前位置: 首页 > 知识库问答 >
问题:

使用JDBC(如Squirrel SQL)使用Spark SQL查询Cassandra

胡高朗
2023-03-14
Connect through JDBC or ODBC.

A server mode provides industry standard JDBC and ODBC connectivity for
business intelligence tools.
Spark SQL can also act as a distributed query engine using its JDBC/ODBC or
command-line interface. In this mode, end-users or applications can interact
with Spark SQL directly to run SQL queries, without the need to write any 
code.

共有1个答案

皇甫伟彦
2023-03-14

在spark-default.conf文件中配置这些属性

spark.cassandra.connection.host    192.168.1.17,192.168.1.19,192.168.1.21
# if you configured security in you cassandra cluster
spark.cassandra.auth.username   smb
spark.cassandra.auth.password   bigdata@123

使用spark-cassandra-connector依赖项和mysql-connector依赖项启动节俭服务器,并通过JDBC或squirrel连接一些端口。

sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.bind.host 192.168.1.17 --hiveconf hive.server2.thrift.port 10003 --jars <shade-jar>-0.0.1.jar --driver-class-path <shade-jar>-0.0.1.jar

要获取cassandra表,请运行Spark-SQL查询,如下所示

CREATE TEMPORARY TABLE mytable USING org.apache.spark.sql.cassandra OPTIONS (cluster 'BDI Cassandra', keyspace 'testks', table 'testtable');
 类似资料:
  • 我试图插入和更新MySql上使用SparkSQLDataFrames和JDBC连接的一些数据。 我已经成功地使用SaveMode插入新数据。追加。有没有办法从SparkSQL更新MySql Table中已经存在的数据? 我要插入的代码是: 如果我切换到保存模式。覆盖它会删除完整的表并创建一个新表,我正在寻找MySql中提供的类似“ON DUPLICATE KEY UPDATE”的内容

  • 我需要检查执行查询时使用的内存。我已经在MYSQL中将JDBC连接到我的数据库。我也知道如何执行查询。但是我不知道如何检查执行查询时使用的内存。这是为了比较内存和时间。我使用NetBeans。 非常感谢。

  • 问题内容: 我有5个表或表要从\查询 我的语法我喜欢这样 问题是,当我运行此命令时,我收到一条错误消息:“ .....您在SQL WHERE Patient_ID =吗?附近有错误?” 当我使用system.out.println(sql2)输出sql时; 值未在sql2中设置 问题答案: 当您准备一条语句时,数据库将构造一个执行计划,如果表不存在,则该计划无法执行。换句话说,Placehodle

  • 问题内容: 有没有一种方法可以通过JDBC启用MySQL一般查询日志记录?我通过搜索发现的最接近的内容是能够通过JDBC(http://dev.mysql.com/doc/refman/5.5/en/connector- j-reference-configuration-properties.html)记录慢速查询的功能。也许我应该这样做并将慢查询阈值设置为0 ms? 我想以一种人类可读的格式通

  • 问题内容: 查询代码和查询: 返回一个空值。 通过基本调试,我发现了它的第三个绑定,即问题 我尝试了各种变体,其中最明智的似乎是在使用: 但这不起作用,因为我错过了连接字符串的任一侧,所以我尝试: 但我似乎无法找到一种方法使它们起作用。 我想念什么? 问题答案: 首先,占位符(那些占位符)仅用于 列值 ,而不用于表名,列名,SQL函数/子句等。最好改用。其次,你应该 不 引用占位符一样,它只会ma

  • 我使用Spring Jdbc进行查询。我需要从数据库中执行select,但是我不知道表中有多少列可以从resultset中获得结果(例如,对于< code>RowMapper)。我想获得<代码>列表