关机后如何重用线程池

concurrency java

2022-08-31 19:57:06

我有一个.csv文件，其中包含超过7000万行，其中每行都生成一个Runnable，然后由threadpool执行。这个Runnable将在Mysql中插入一条记录。

更重要的是，我想记录csv文件的位置，以便RandomAccessFile找到。该位置将写入文件。我想在线程池中的所有线程都完成后写入此记录。所以ThreadPoolExecutor.shutdown（）被调用。但是当更多的行出现时，我再次需要一个线程池。我怎样才能重用这个当前的线程池，而不是创建一个新的线程池。

代码如下：

public static boolean processPage() throws Exception {

    long pos = getPosition();
    long start = System.currentTimeMillis();
    raf.seek(pos);
    if(pos==0)
        raf.readLine();
    for (int i = 0; i < PAGESIZE; i++) {
        String lineStr = raf.readLine();
        if (lineStr == null)
            return false;
        String[] line = lineStr.split(",");
        final ExperienceLogDO log = CsvExperienceLog.generateLog(line);
        //System.out.println("userId: "+log.getUserId()%512);

        pool.execute(new Runnable(){
            public void run(){
                try {
                    experienceService.insertExperienceLog(log);
                } catch (BaseException e) {
                    e.printStackTrace();
                }
            }
        });

        long end = System.currentTimeMillis();
    }

    BufferedWriter resultWriter = new BufferedWriter(
            new OutputStreamWriter(new FileOutputStream(new File(
                    RESULT_FILENAME), true)));
    resultWriter.write("\n");
    resultWriter.write(String.valueOf(raf.getFilePointer()));
    resultWriter.close();
    long time = System.currentTimeMillis()-start;
    System.out.println(time);
    return true;
}

谢谢！

答案 1

如文档中所述，您不能重用已关闭的。我建议不要使用任何解决方法，因为（a）它们可能无法在所有情况下都按预期工作;（b）您可以使用标准类实现所需的目标。ExecutorService

您必须

实例化一个新的 ;或ExecutorService
不终止 .ExecutorService

第一个解决方案很容易实现，所以我不会详细介绍它。

对于第二个，由于您希望在所有提交的任务完成后执行操作，因此您可以查看ExecutorCompletionService并改用它。它包装了一个将执行线程管理的，但是runnables将被包装成一些东西，这些内容将告诉它们何时完成，因此它可以报告给您：ExecutorServiceExecutorCompletionService

ExecutorService executor = ...;
ExecutorCompletionService ecs = new ExecutorCompletionService(executor);

for (int i = 0; i < totalTasks; i++) {
  ... ecs.submit(...); ...
}

for (int i = 0; i < totalTasks; i++) {
  ecs.take();
}

类上的方法将阻塞，直到任务完成（正常或突然）。它将返回一个，因此您可以根据需要检查结果。take()ExecutorCompletionServiceFuture

我希望这可以帮助你，因为我没有完全理解你的问题。

答案 2

创建所有任务并对其进行分组，并使用 invokeAll 将它们提交到池中（仅当所有任务都成功完成时才返回）