避免同一缓存区域的多次重新填充（由于并发性）

caching concurrency java hibernate ehcache

2022-09-04 22:59:56

我有一个高流量的网站，我使用休眠。我还使用ehcache来缓存生成页面所需的一些实体和查询。

问题是“并行缓存未命中”，很长的解释是，当应用程序启动并且缓存区域是冷的时，每个缓存区域都会被不同的线程填充多次（而不是仅一次），因为站点同时被许多用户访问。此外，当某些缓存区域无效时，由于相同的原因，它将被多次重新填充。我该如何避免这种情况？

我设法通过将我自己的实现转换为BlockingCache，将1个实体和1个查询缓存转换为BlockingCache，hibernate.cache.provider_class但BlocktingCache的语义似乎不起作用。更糟糕的是，有时BlockblockCache会死锁（块），应用程序会完全挂起。线程转储显示处理在 get 操作的 BlockingCache 的互斥体上被阻止。

那么，问题是，Hibernate是否支持这种使用？

如果没有，您如何解决生产中的这个问题？

编辑：hibernate.cache.provider_class指向我的自定义缓存提供程序，它是从SingletonEhCacheProvider复制粘贴的，在start（）方法的末尾（在第136行之后），我这样做：

Ehcache cache = manager.getEhcache("foo");
if (!(cache instanceof BlockingCache)) {
    manager.replaceCacheWithDecoratedCache(cache, new BlockingCache(cache));
}

这样，在初始化时，在其他人触摸名为“foo”的缓存之前，我用BlockblockCache对其进行修饰。“foo”是查询缓存，“bar”（相同的代码但省略）是pojo的实体缓存。

编辑2：“似乎不起作用”意味着最初的问题仍然存在。由于并发性，缓存“foo”仍然使用相同的数据多次重新填充。我通过用JMeter和10个线程强调网站来验证这一点。我希望9个线程阻塞，直到第一个从“foo”请求数据完成其工作（执行查询，将数据存储在缓存中），然后直接从缓存中获取数据。

编辑3：这个问题的另一种解释可以在 https://forum.hibernate.org/viewtopic.php?f=1&t=964391&start=0 上看到，但没有明确的答案。

答案 1

我不太确定，但是：

它允许对缓存中已有的元素进行并发读取访问。如果元素为 null，则其他读取操作将阻塞，直到将具有相同键的元素放入缓存中。

这是否意味着Hibernate会等到其他线程将对象放入缓存中？这就是你观察到的，对吧？

Hib 和缓存的工作方式如下：

Hib 获取对象请求
Hib 检查对象是否在缓存中 -- cache.get（）
不？Hib 从 DB 加载对象并放入缓存 -- cache.put（）

因此，如果对象不在缓存中（以前的某些更新操作未放置在那里），Hib将永远等待1）。

我认为你需要一个缓存变体，其中线程只等待一个对象很短的时间。例如 100 毫秒。如果对象未到达，则线程应为 null（因此 Hibernate 将从 DB 加载对象并放入缓存中）。

实际上，更好的逻辑是：

检查另一个线程是否正在请求相同的对象
如果为 true，请等待很长时间（500ms）以使对象到达
如果不为 true，请立即返回 null

（我们不能永远等待2，因为线程可能无法将对象放入缓存 - 由于异常）。

如果 BlockingCache 不支持此行为，则需要自己实现缓存。我过去做过，这并不难 - 主要方法是get（）和put（）（尽管API显然从那时起已经增长）。

更新

实际上，我刚刚阅读了BlockblockCache的来源。它完全符合我所说的 - 锁定并等待超时。因此，您无需执行任何操作，只需使用它...

public Element get(final Object key) throws RuntimeException, LockTimeoutException {
    Sync lock = getLockForKey(key);
    Element element;
        acquiredLockForKey(key, lock, LockType.WRITE);
        element = cache.get(key);
        if (element != null) {
            lock.unlock(LockType.WRITE);
        }
    return element;
}

public void put(Element element) {
    if (element == null) {
        return;
    }
    Object key = element.getObjectKey();
    Object value = element.getObjectValue();

    getLockForKey(key).lock(LockType.WRITE);
    try {
        if (value != null) {
            cache.put(element);
        } else {
            cache.remove(key);
        }
    } finally {
        getLockForKey(key).unlock(LockType.WRITE);
    }
}

所以这有点奇怪，它不适合你。告诉我一些事情：在你的代码中这个点：

Ehcache cache = manager.getEhcache("foo");

是否同步？如果同时出现多个请求，是否只有一个缓存实例？

答案 2

这个问题最大的改进是ehcache现在（从2.1开始）支持事务休眠缓存策略。这大大缓解了此问题中描述的问题。

为了更进一步（在访问同一查询缓存区域时锁定线程），需要实现QueryTranslatorFactory以返回自定义（扩展）QueryTranslator实例，该实例将检查查询和参数，并在列表方法中根据需要阻止。这当然涉及使用hql的查询缓存的特定用例，该hql获取许多实体。