并发模式更新存储迭代器时的异常(用于 LRU 缓存实现)

2022-09-04 23:17:30

我正在尝试实现自己的 LRU 缓存。是的,我知道Java为此目的提供了一个LinkedHashMap,但我正在尝试使用基本数据结构来实现它。

通过阅读有关此主题的信息,我了解到我需要一个用于O(1)的HashMap查找密钥和一个链接列表,用于管理“最近最少使用”的驱逐策略。我发现这些引用都使用标准库哈希映射,但实现了自己的链表:

哈希表应该直接存储一个链接列表Node,如下所示。我的缓存应该存储整数键和字符串值。

enter image description here

但是,在Java中,LinkedList集合不会公开其内部节点,因此我无法将它们存储在HashMap中。相反,我可以将HashMap存储索引放入LinkedList中,但是要获得一个项目将需要O(N)时间。所以我尝试存储一个ListIterator。

import java.util.Map;
import java.util.HashMap;
import java.util.List;
import java.util.LinkedList;
import java.util.ListIterator;

public class LRUCache {

    private static final int DEFAULT_MAX_CAPACITY = 10;

    protected Map<Integer, ListIterator> _map = new HashMap<Integer, ListIterator>();
    protected LinkedList<String> _list = new LinkedList<String>();

    protected int _size = 0;
    protected int _maxCapacity = 0;

    public LRUCache(int maxCapacity) {
        _maxCapacity = maxCapacity;
    }

    // Put the key, value pair into the LRU cache.
    // The value is placed at the head of the linked list.
    public void put(int key, String value) {

        // Check to see if the key is already in the cache.
        ListIterator iter = _map.get(key);

        if (iter != null) {
            // Key already exists, so remove it from the list.
            iter.remove(); // Problem 1: ConcurrentModificationException!
        }

        // Add the new value to the front of the list.
        _list.addFirst(value);
        _map.put(key, _list.listIterator(0));

        _size++;

        // Check if we have exceeded the capacity.
        if (_size > _maxCapacity) {
            // Remove the least recently used item from the tail of the list.
            _list.removeLast();
        }
    }

    // Get the value associated with the key.
    // Move value to the head of the linked list.
    public String get(int key) {

        String result = null;
        ListIterator iter = _map.get(key);

        if (iter != null) {

            //result = iter
            // Problem 2: HOW DO I GET THE STRING FROM THE ITERATOR?

        }

        return result;
    }

    public static void main(String argv[]) throws Exception {
        LRUCache lruCache = new LRUCache(10);

        lruCache.put(10, "This");
        lruCache.put(20, "is");
        lruCache.put(30, "a");
        lruCache.put(40, "test");
        lruCache.put(30, "some"); // Causes ConcurrentModificationException
    }
}

因此,这导致了三个问题:

问题 1:当我使用存储在 HashMap 中的迭代器更新 LinkedList 时,我得到了一个 ConcurrentModificationException。

Exception in thread "main" java.util.ConcurrentModificationException
    at java.util.LinkedList$ListItr.checkForComodification(LinkedList.java:953)
    at java.util.LinkedList$ListItr.remove(LinkedList.java:919)
    at LRUCache.put(LRUCache.java:31)
    at LRUCache.main(LRUCache.java:71)

问题 2.如何检索 ListIterator 指向的值?似乎我只能检索 next() 值。

问题 3.有没有办法使用Java集合LinkedList实现这个LRU缓存,或者我真的必须实现我自己的链表吗?


答案 1

1)这并不是迭代器的真正用途。

根据合同,如果您不使用迭代器修改列表 - 就像您在这里所做的那样

_list.addFirst(value);

那么该列表中的所有 OPEN 迭代器都应该抛出 ConcurrentModificationException。他们对不再存在的名单版本持开放态度。

2)LinkedList确切地说不是节点的链接列表。它是一个java.util.List,其支持实现是节点的双链列表。List 合约就是为什么它不公开对支持实现的引用的原因 - 所以像“删除这个节点,作为一个节点,并将其移动到头部”这样的操作是不好的。这种封装是为了保护你自己(与并发mod异常相同) - 它允许你的代码依赖于LinkedList的List语义(例如可迭代性),而不必担心两个立方体之外的一些小丑正在黑客攻击其内部并破坏合同。

3)你在这里真正需要的不是LinkedList。你需要的是一个堆栈,它允许你将任何任意条目移动到头部并转储尾部。你是在暗示你想要一个快速的搜索时间到一个任意的条目,也一个快速删除和快速添加,并且你希望能够在任何时候找到尾巴,以防你需要删除它。

快速寻道时间 == 哈希

快速添加/删除任意元素 == 链接的内容

快速解决最后一个元素 == Somekinda列表

4)您将需要构建自己的链接结构...或使用LinkedHashMap。

PS LinkedHashSet是作弊的,它是使用LinkedHashMap实现的。


答案 2

我将首先处理问题3:

正如您在问题中指出的那样,(像所有精心设计的泛型集合一样)隐藏了实现的细节,例如包含链接的节点。在您的情况下,您需要哈希映射将这些链接直接引用为映射的值。否则(例如,通过第三类进行间接寻址)将破坏LRU缓存的目的,即允许非常低的值访问开销。但这在标准的Java集合中是不可能的 - 它们不(也不应该)提供对内部结构的直接访问。LinkedList

因此,这样做的逻辑结论是,是的,您需要实现自己的存储缓存中项目使用顺序的方式。这不一定是双链表。这些传统上用于LRU缓存,因为最常见的操作是在访问节点时将其移动到列表顶部。在双链表中,这是一个非常便宜的操作,只需要重新链接四个节点,而无需分配内存或可用。

问题 1 和 2:

从本质上讲,这里的根本原因是您尝试将迭代器用作游标。它们被设计为被创建,逐步执行以执行某些操作,然后被处置。即使你克服了你遇到的问题,我也预计它们背后还会有进一步的问题。你把一个方形的钉子放在一个圆孔里。

所以我的结论是,你需要实现自己的方法来在跟踪访问顺序的类中保存值。然而,它可能非常简单:只需要三个操作:创建,获取价值和从尾部删除。创建和获取值都必须将节点移动到列表的头部。不得在列表中间插入或删除。不删除磁头。无搜索。老实说,非常简单。

希望这能让你开始:-)

public class <K,V> LRU_Map implements Map<K,V> {
    private class Node {
        private final V value;
        private Node previous = null;
        private Node next = null;

        public Node(V value) {
            this.value = value;
            touch();
            if (tail == null)
                tail = this;
        }

        public V getValue() {
            touch();
            return value;
        }

        private void touch() {
            if (head != this) {
                unlink();
                moveToHead();
            }
        }

        private void unlink() {
            if (tail == this)
                tail = prev;
            if (prev != null)
                prev.next = next;
            if (next != null)
                next.prev = prev;
        }

        private void moveToHead() {
            prev = null;
            next = head;
            head = this;
        }

        public void remove() {
            assert this == tail;
            assert this != head;
            assert next == null;
            if (prev != null)
                prev.next = null;
            tail = prev;
        }
    }

    private final Map<K,Node> map = new HashMap<>();
    private Node head = null;
    private Node tail = null;

    public void put(K key, V value) {
        if (map.size() >= MAX_SIZE) {
            assert tail != null;
            tail.remove();
        }
        map.put(key, new Node(value));
    }

    public V get(K key) {
        if (map.containsKey(key))
            return map.get(key).getValue();
        else
            return null;
    }

    // and so on for other Map methods
}