当前位置: 首页 > 知识库问答 >
问题:

使用apache flink Java API将数据读写到cassandra中

东门俊智
2023-03-14

我打算使用apache flink将数据读/写到使用flink的cassandra中。我希望使用flink-connector-cassandra,但我没有找到关于连接器的好文档/示例。

你能给我指出正确的方式来读写数据从cassandra使用Apache Flink。我只看到了纯粹用于写作的sink示例?apache flink也是用来从cassandra读取数据的,是否与apache spark类似?

共有1个答案

井旺
2023-03-14

我也有同样的问题,这就是我要找的。我不知道这是不是太简单了,以满足你的需要,但我想我还是应该展示它。

ClusterBuilder cb = new ClusterBuilder() {
        @Override
        public Cluster buildCluster(Cluster.Builder builder) {
            return builder.addContactPoint("urlToUse.com").withPort(9042).build();
        }
    };

    CassandraInputFormat<Tuple2<String, String>> cassandraInputFormat = new CassandraInputFormat<>("SELECT * FROM example.cassandraconnectorexample", cb);

    cassandraInputFormat.configure(null);
    cassandraInputFormat.open(null);

    Tuple2<String, String> testOutputTuple = new Tuple2<>();
    cassandraInputFormat.nextRecord(testOutputTuple);

    System.out.println("column1: " + testOutputTuple.f0);
    System.out.println("column2: " + testOutputTuple.f1);

我找到了“CassandRainPutFormat”类的代码并了解了它的工作原理(http://www.javatips.net/api/flink-master/flink-connectors/flink-connectors/cassandra/src/main/java/org/apache/flink/batch/connectors/cassandrainPutFormat.java)。我真的希望它只是一个格式,而不是完整的类阅读从卡桑德拉的名字,我有一种感觉其他人可能也在想同样的事情。

 类似资料:
  • 命令用于从Cassandra表中读取数据。 您可以使用此命令读取整个表,单个列,特定单元格等等。 语法 示例: 下面举个例子来演示如何从Cassandra表中读取数据。 我们有一个名为“”的表和以下列(,,)。 使用SELECT命令读整个表 执行结果如下 - 读取特定列 - 该示例将从表中只读和列的数据。 使用WHERE子句 WHERE子句与SELECT命令一起使用,以指定必须满足获取数据的确切条

  • 我刚接触Cassandra Spark,并尝试使用Spark主集群将数据从文件加载到Cassandra表。我遵循以下链接中给出的步骤 http://docs.datastax.com/en/datastax_enterprise/4.7/datastax_enterprise/spark/sparkImportTxtCQL.html 在第8步,数据显示为整数数组,但当我使用相同的命令时,结果显示为

  • 这是我运行strm.py文件的终端命令 $spark_home/bin/spark-submit--主本地--驱动程序-内存4G--num-executors 2--executor-memory 4G--包org.apache.spark:spark-sql-kafka-0-102.11:2.4.0 org.apache.spark:spark-cassandra-connector2.11:2

  • 问题内容: 我正在努力寻找一个很好的例子,说明如何使用GSON在我的android应用中读取和写入数据。有人可以告诉我还是给我指出一个好榜样?我将其用于活动之间的数据持久性。 我的教授举这个例子来写: 我将如何将其保存到文件中? 问题答案: 如何将JSON保存到内部存储中的文件中: 如何读回:

  • 问题内容: 如何实现使用通用数据类型将我的包裹写入我的包裹? 这是我的代码。 问题答案: 您的课程应该实现Parcelable。上面的代码就是一个例子。 您的问题是您正在尝试将通用数据类型读取/写入包裹。 但是无法在包裹中读取/写入通用数据类型。了解更多如何使用Parcelable 这里 和包裹在这里

  • 我有一个带有日期类型列的cassandra表,如下所示: 我正在使用springboot 1.5.2+spring数据卡桑德拉启动程序。 我将按以下方式插入新人: 它将抛出以下错误: 但是如果我将dob列类型设置为timestamp,那么它就可以正常工作。是否可以有日期类型列并使用java.util.date类型属性? 附注:即使我使用java.sql.date,我也会得到同样的错误。