Spark集成Redis-操作Redis数据

首先添加依赖

    <dependency>
      <groupId>com.redislabs</groupId>
      <artifactId>spark-redis_2.11</artifactId>
      <version>2.4.2</version>
    </dependency>

然后导入

import com.redislabs.provider.redis._

这样就可以直接调用redis的方法了。

再然后配置

val session = SparkSession.builder()
      .appName("redis")
      .master("local")
      .config("spark.redis.host", "localhost") //自己redis服务所在机器的ip
      .config("spark.redis.port", "6379")//端口，redis默认6379
      .config("spark.redis.auth", "password")//如果没有密码，本行可删除
      .config("spark.redis.db","5")//数据所在redis库
      .getOrCreate()

最后

通过sparkContext调用redis的方法（方法有很多）

val sc = session.sparkContext
sc.fromRedisKV(Array("key1","key2"))//fromRedisKV()方法中可以是Array，也可以是单个字符串

fromRedisKV()方法返回的是RDD[(String,String)]类型的RDD，之后的操作和spark的rdd操作方法一致。