多线程 java 应用程序中的 SQLite

2022-09-01 20:48:12

我编写了一个Java应用程序,它偶尔将事件从多个线程记录到SQLite数据库。我注意到,通过同时生成少量事件,我可以相对容易地触发SQLite的“数据库锁定”错误。这促使我编写了一个模拟最坏情况行为的测试程序,我对SQLite在这个用例中的表现如此之差感到惊讶。下面发布的代码只是将五条记录添加到数据库中,首先按顺序获取“控制”值。然后同时添加相同的五条记录。

import java.sql.*;

public class Main {
   public static void main(String[] args) throws Exception {
      Class.forName("org.sqlite.JDBC");
      Connection conn = DriverManager.getConnection("jdbc:sqlite:test.db");

      Statement stat = conn.createStatement();
      stat.executeUpdate("drop table if exists people");
      stat.executeUpdate("create table people (name, occupation)");
      conn.close();

      SqlTask tasks[] = {
         new SqlTask("Gandhi", "politics"),
         new SqlTask("Turing", "computers"),
         new SqlTask("Picaso", "artist"),
         new SqlTask("shakespeare", "writer"),
         new SqlTask("tesla", "inventor"),
      };

      System.out.println("Sequential DB access:");

      Thread threads[] = new Thread[tasks.length];
      for(int i = 0; i < tasks.length; i++)
         threads[i] = new Thread(tasks[i]);

      for(int i = 0; i < tasks.length; i++) {
         threads[i].start();
         threads[i].join();
      }

      System.out.println("Concurrent DB access:");

      for(int i = 0; i < tasks.length; i++)
         threads[i] = new Thread(tasks[i]);

      for(int i = 0; i < tasks.length; i++)
         threads[i].start();

      for(int i = 0; i < tasks.length; i++)
         threads[i].join();
   }


   private static class SqlTask implements Runnable {
      String name, occupation;

      public SqlTask(String name, String occupation) {
         this.name = name;
         this.occupation = occupation;
      }

      public void run() {
         Connection conn = null;
         PreparedStatement prep = null;
         long startTime = System.currentTimeMillis();

         try {
            try {
               conn = DriverManager.getConnection("jdbc:sqlite:test.db");
               prep = conn.prepareStatement("insert into people values (?, ?)");

               prep.setString(1, name);
               prep.setString(2, occupation);
               prep.executeUpdate();

               long duration = System.currentTimeMillis() - startTime;
               System.out.println("   SQL Insert completed: " + duration);
            }
            finally {
               if (prep != null) prep.close();
               if (conn != null) conn.close();
            }
         }
         catch(SQLException e) {
            long duration = System.currentTimeMillis() - startTime;
            System.out.print("   SQL Insert failed: " + duration);
            System.out.println(" SQLException: " + e);
         }
      }
   }
}

以下是我运行此java代码时的输出:

 [java] Sequential DB access:
 [java]    SQL Insert completed: 132
 [java]    SQL Insert completed: 133
 [java]    SQL Insert completed: 151
 [java]    SQL Insert completed: 134
 [java]    SQL Insert completed: 125
 [java] Concurrent DB access:
 [java]    SQL Insert completed: 116
 [java]    SQL Insert completed: 1117
 [java]    SQL Insert completed: 2119
 [java]    SQL Insert failed: 3001 SQLException: java.sql.SQLException: database locked
 [java]    SQL Insert completed: 3136

按顺序插入 5 条记录大约需要 750 毫秒,我预计并发插入大约需要相同的时间。但是你可以看到,给定3秒的超时,他们甚至不会完成。我还用C语言编写了一个类似的测试程序,使用SQLite的本机库调用,同时插入在与并发插入大致相同的时间内完成。所以问题出在我的java库上。

以下是我运行C版本时的输出:

Sequential DB access:
  SQL Insert completed: 126 milliseconds
  SQL Insert completed: 126 milliseconds
  SQL Insert completed: 126 milliseconds
  SQL Insert completed: 125 milliseconds
  SQL Insert completed: 126 milliseconds
Concurrent DB access:
  SQL Insert completed: 117 milliseconds
  SQL Insert completed: 294 milliseconds
  SQL Insert completed: 461 milliseconds
  SQL Insert completed: 662 milliseconds
  SQL Insert completed: 862 milliseconds

我用两个不同的JDBC驱动程序(http://www.zentus.com/sqlitejdbchttp://www.xerial.org/trac/Xerial/wiki/SQLiteJDBC)和sqlite4java包装器尝试了这段代码。每次结果都是相似的。有没有人知道一个没有这种行为的Java的SQLite库?


答案 1

这是核心 SQLite 库的问题 - 不是任何 Java 包装器的问题。SQLite使用基于文件系统的锁在进程之间进行并发访问同步,因为作为嵌入式数据库,它没有专用的进程(服务器)来调度操作。由于代码中的每个线程都创建自己的数据库连接,因此将其视为单独的进程,通过基于文件的锁进行同步,这些锁比任何其他同步方法都慢得多。

此外,SQLite 不支持每行锁定(还支持?实质上,整个数据库文件对于每个操作都变为锁定状态。如果幸运的话,并且您的文件系统支持字节范围锁定,则多个读取器可能会同时访问您的数据库,但您不应假设这种行为。

默认情况下,核心 SQLite 库允许多个线程同时使用同一连接,而不会出现任何问题。我假设任何健全的JDBC包装器也会允许在Java程序中出现这种行为,尽管我实际上还没有尝试过。

因此,您有两种解决方案:

  • 在所有线程之间共享相同的 JDBC 连接。

  • 由于SQLite开发人员似乎认为线程是邪恶的,因此最好让一个线程处理所有数据库操作并使用Java代码自行序列化数据库任务...

你可能想看看我的这个老问题 - 它似乎积累了一些关于随着时间的推移提高SQLite更新性能的技巧。


答案 2

我对多个线程使用相同的连接。此外,我必须使db-write方法同步,否则我仍然会得到bussy错误


推荐