我有一个.csv文件,其中包含超过7000万行,其中每行将生成一个 Runnable
,然后由线程池执行。此Runnable将一条记录插入Mysql。
此外,我想记录csv文件的位置,以便 RandomAccessFile 定位。该位置被写入 File
。当线程池中的所有线程完成时,我想写入此记录。因此调用ThreadPoolExecutor.shutdown()。但是,当更多行出现时,我又需要一个线程池。我该如何重用当前的线程池而不是创建一个新的线程池。
代码如下:
public static boolean processPage() throws Exception {
long pos = getPosition();
long start = System.currentTimeMillis();
raf.seek(pos);
if(pos==0)
raf.readLine();
for (int i = 0; i < PAGESIZE; i++) {
String lineStr = raf.readLine();
if (lineStr == null)
return false;
String[] line = lineStr.split(",");
final ExperienceLogDO log = CsvExperienceLog.generateLog(line);
//System.out.println("userId: "+log.getUserId()%512);
pool.execute(new Runnable(){
public void run(){
try {
experienceService.insertExperienceLog(log);
} catch (BaseException e) {
e.printStackTrace();
}
}
});
long end = System.currentTimeMillis();
}
BufferedWriter resultWriter = new BufferedWriter(
new OutputStreamWriter(new FileOutputStream(new File(
RESULT_FILENAME), true)));
resultWriter.write("\n");
resultWriter.write(String.valueOf(raf.getFilePointer()));
resultWriter.close();
long time = System.currentTimeMillis()-start;
System.out.println(time);
return true;
}
谢谢 !
如文档中所述,您不能重复使用ExecutorService
已关闭的。我建议您不要使用任何
变通方法 ,因为(a)它们可能无法在所有情况下都按预期工作;(b)您可以使用标准类来实现所需的目标。
你必须
实例化一个新的ExecutorService
;要么
不终止ExecutorService
。
第一个解决方案很容易实现,因此我不再赘述。
第二,由于您要在所有提交的任务完成后执行一个动作,因此您可以查看ExecutorCompletionService
并使用它。它包装了一个ExecutorService
将执行线程管理的对象,但是可运行对象将被包装为一个内容,这些内容将告诉ExecutorCompletionService
它们何时完成操作,因此它可以向您报告:
ExecutorService executor = ...;
ExecutorCompletionService ecs = new ExecutorCompletionService(executor);
for (int i = 0; i < totalTasks; i++) {
... ecs.submit(...); ...
}
for (int i = 0; i < totalTasks; i++) {
ecs.take();
}
类take()
上的方法ExecutorCompletionService
将阻塞,直到任务完成(正常或突然)。它将返回Future
,因此您可以根据需要检查结果。
希望这对您有所帮助,因为我不完全了解您的问题。
问题内容: 对于连接到服务器的每个客户端,我都会生成一个新线程,如下所示: 现在,我知道可以使用以下代码关闭 所有 线程: 但是,如何从关闭线程 内 该线程? 问题答案: 启动线程时,它开始执行您提供的功能(如果要扩展,该功能将为)。要结束线程,只需从该函数返回即可。 根据这个,你也可以打电话,这将抛出一个异常,将安静地结束线程。
问题内容: 我有一个Python程序,当我使用退出应用程序时 ,脚本不会关闭。我的过程仍显示在运行的过程中。 为什么python线程不能关闭? 问题答案: 您需要将该线程设为守护程序线程。为此,请在调用线程的init之后添加以下行 当只有守护程序线程处于活动状态时,程序将退出,主线程当然是非守护程序的
如何在应用程序关闭后保存arraylist。这是我的环球班 这是我的旅行班 我想保存数组列表,当我关闭和打开应用程序的数组列表(所有旅行)被保存。如何做到这一点? 我想使用共享首选项,但我不知道如何做到这一点,因为它不是带有Trip的字符串it数组列表。有人能帮我在共享首选项中保存arraylist吗?
问题内容: 在按下(代码格式)后,有人知道如何在Eclipse中打开换行符吗,例如: 问题答案: 转到窗口->首选项-> Java->代码样式->格式化程序。创建新的格式化程序。单击编辑,然后选择选项卡“换行”,并将“换行”策略设置为“不换行”。
我从主线程调用了下面的代码,使用ExecutorService池并启动一个线程来处理找到的每个文件。我正在尝试了解当主线程被kill命令终止时ExecutorService的行为。生成的线程会发生什么?一旦完成工作,它们会立即被杀还是终止? 还有没有更好/更安全的方法来编写下面的代码段,特别是如果我在无限循环中运行这部分,例如等待文件被放到输入目录并分配线程来处理它们?在这种情况下,我应该创建一个
在一个实用程序库中,我正在创建一个执行器服务 然后,主线程将向该服务发布一些任务。当主线程完成时,我想关闭Executor服务,以允许应用程序退出。 问题是我只能更改实用程序库中的代码。我考虑的一个选项是使用守护线程。但在发布到该服务的任务完成之前,它会突然关闭。