在多线程环境中从Redis列表中弹出该值会将重复值返回给几个线程

Question

DB中的一些记录与cId之间有关联

private static Long DEFAULT_REDIS_OBJECTID = 0L;


        public DataObject getDataObject(C cId, M mId) {
                String redisListKey = new StringBuilder().append(LIST-).append(cId)
                        .append("-").append(mId).toString();
    if (BooleanUtils.isFalse(redisTemplate.hasKey(redisListKey))) {
                pushRedisData(cId, mId, redisListKey);
            }
        }
    Long dataId = redisTemplate.opsForList().leftPop(redisListKey);
            if (Objects.isNull(dataId ) || 0L.equals(dataId )) {
//    Again creating the key in order to make sure another thread request for this should not shouldn't go in the db as we know we dont have data in db for this combination         
redisTemplate.opsForList().leftPush(redisListKey, 0L);
                //create a new dataObject and return it
            } else {
                //Get the dataObject based on dataId and return it
            }


    public synchronized void pushRedisData(Long cId, Long mId, String redisListKey) {
            if (BooleanUtils.isFalse(redisTemplate.hasKey(redisListKey))) {
                List<Long> dataToPush = dataService.getDataIdListFromCIdAndMIdCombination(cId,
                        mId);
                if (CollectionUtils.isNotEmpty(dataToPush )) {
                    redisTemplate.opsForList().leftPushAll(redisListKey, dataToPush );
                    redisTemplate.expire(redisListKey, 5, TimeUnit.HOURS);
                } else {
                    if (redisTemplate.opsForList().size(redisListKey) == 0) {
                        redisTemplate.opsForList().leftPush(redisListKey, DEFAULT_REDIS_ITEMID);
                    }

                }

我已经使用了同步方法将记录推送到redis，这样只有一个线程能够将数据发布到redis，而其他线程只是从redis弹出数据。如果数据库中找不到任何cId的记录

问题：当我执行文件中有1000条记录的批处理作业时

Answer 1

由于同步泄漏，您正处于竞争状态。

您尝试同步的方式存在漏洞，允许多个线程执行相同的工作。你已经注意到了。没有任何原子块可以保护两个并发线程不执行相同的语句，这里更不用说锁了。

为什么不利用Redis的属性（例如，通过一个集合）进行同步？

您可以使用Redis集，通过将特定元素添加到Redis集中，确保只有单个线程/进程能够处理该元素。Redis将响应添加该元素是否成功。此信息将帮助您通过检查响应来解决争用问题。如果可以将元素添加到集合中，那么当前线程是第一个命中dataId的线程，并且该线程可能会继续执行昂贵的工作（数据库获取，…）。

当向同步集添加元素失败时，您就知道其他进程已经在做昂贵的工作，您可以继续从缓存中查找数据。您需要知道，尽管另一个线程可能已经赢得了非阻塞同步，但另一个第一个线程并不一定要填充缓存。然后你可以：

1. 轮询缓存，直到值存在

还要考虑更糟糕的情况：等待缓存值并阻止导入过程，或者多次查询昂贵的数据源。您可以针对这两种情况进行优化，但您需要自行决定。