当前位置: 首页 > 工具软件 > cpdetector > 使用案例 >

cpdetector 多线程异常及解决办法

乐宜民
2023-12-01

cpdetector是一个java探测文件编码的三方库,使用起来比较方便。但是最近使用多线程处理时抛了ConcurrentModificationException,在网上查了下该异常的原因,解释为:

使用iterator遍历集合的同时对集合进行修改就会出现java.util.ConcurrentModificationException异常

具体的异常内容如下:

java.util.ConcurrentModificationException
	at java.util.LinkedHashMap$LinkedHashIterator.nextNode(LinkedHashMap.java:719)
	at java.util.LinkedHashMap$LinkedKeyIterator.next(LinkedHashMap.java:742)
	at info.monitorenter.cpdetector.io.CodepageDetectorProxy.detectCodepage(CodepageDetectorProxy.java:132)
	at com.baidu.ecom.pa.pixelrtmanager.domain.entities.HtmlConsumer.getFileEncode(HtmlConsumer.java:241)
	at com.baidu.ecom.pa.pixelrtmanager.domain.entities.HtmlConsumer.loadHtmlContent(HtmlConsumer.java:157)
	at com.baidu.ecom.pa.pixelrtmanager.domain.entities.HtmlConsumer.processOneTask(HtmlConsumer.java:114)
	at com.baidu.ecom.pa.pixelrtmanager.domain.entities.HtmlConsumer.run(HtmlConsumer.java:63)
	at java.lang.Thread.run(Thread.java:748)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)

查看CodepageDetectorProxy的实现源码可以发现他是一种单例模式调用的,但是这个单例模式下定义了一个成员变量private Set detectors = new LinkedHashSet();于是导致了天然的非线程安全,多个线程调用该实例时,就会造成上面说的,某一条线程正在遍历set,另外一条线程已经开始尝试往里塞东西了。

package info.monitorenter.cpdetector.io;

import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.nio.charset.Charset;
import java.util.Iterator;
import java.util.LinkedHashSet;
import java.util.Set;

public final class CodepageDetectorProxy extends AbstractCodepageDetector {
    private static CodepageDetectorProxy instance = null;
    private Set detectors = new LinkedHashSet();

    private CodepageDetectorProxy() {
    }

    public static CodepageDetectorProxy getInstance() {
        if (instance == null) {
            instance = new CodepageDetectorProxy();
        }
        return instance;
    }
	...
}

如何改造使其适用于多线程呢?这么简单操作一下就行了:
创建一个新类MyCodepageDetectorProxy,改动一开始的一部分,其他可以全部复用其实现,其实也就是将单例模式变成了正常的bean,然后在每条线程里new一个出来使用就好了,非常简单。


public class MyCodepageDetectorProxy {

    private Set detectors = new LinkedHashSet();

    public MyCodepageDetectorProxy() {
    }
	...

希望对踩坑的同学有帮助。

 类似资料: