在 Java 中实现协程

2022-08-31 11:39:29

这个问题与我关于Java中现有协程实现的问题有关。如果,正如我所怀疑的那样,事实证明Java中目前没有完整的协程实现,那么实现它们需要什么呢?

正如我在这个问题中所说,我知道以下几点:

  1. 您可以在后台实现“协程”作为线程/线程池。
  2. 您可以在幕后使用JVM字节码做一些棘手的事情,以使协程成为可能。
  3. 所谓的“达芬奇机器”JVM实现具有使协程无需字节码操作即可实现的基元。
  4. 还有各种基于 JNI 的协程方法。

我将依次解决每个人的不足之处。

基于线程的协程

这种“解决方案”是病态的。协程的全部意义在于避免线程,锁定,内核调度等的开销。协程应该是轻巧而快速的,并且仅在用户空间中执行。在具有严格限制的全倾斜螺纹方面实现它们可以消除所有优点。

JVM 字节码操作

这个解决方案更实用,尽管有点难以实现。这与在C中跳入协程库的汇编语言(这是它们中有多少个工作)大致相同,其优点是您只需要担心一个体系结构并正确处理。

它还将您绑定到仅在完全兼容的JVM堆栈上运行代码(这意味着,例如,没有Android),除非您能找到一种方法在不合规的堆栈上执行相同的操作。但是,如果您确实找到了一种方法来做到这一点,那么您现在已经将系统复杂性和测试需求增加了一倍。

达芬奇机器

达芬奇机器对于实验来说很酷,但由于它不是标准的JVM,因此其功能不会在任何地方都可用。事实上,我怀疑大多数生产环境都会明确禁止使用达芬奇机器。因此,我可以用它来做很酷的实验,但不能用于我希望发布到现实世界中的任何代码。

这也增加了一个问题,类似于上面的JVM字节码操作解决方案:不适用于替代堆栈(如Android)。

JNI 实施

这个解决方案使得在Java中执行此操作的意义完全没有意义。CPU和操作系统的每种组合都需要独立的测试,并且每种组合都是一个可能令人沮丧的微妙故障点。或者,当然,我可以完全将自己绑定到一个平台上,但这也使得在Java中做事的意义完全没有意义。

所以。。。

有没有办法在不使用这四种技术之一的情况下在Java中实现协程?还是我会被迫使用这四个闻起来最少的(JVM操作)中的一个?


编辑以添加:

只是为了确保控制混乱,这是一个与我的另一个问题相关的问题,但不一样。那个人正在寻找一个现有的实现,以避免不必要地重新发明轮子。这个问题是关于如果另一个人被证明是无法回答的,那么在另一个人如何用Java实现协程。目的是将不同的问题保留在不同的线程上。


答案 1

我会看看这个:http://www.chiark.greenend.org.uk/~sgtatham/coroutines.html,它非常有趣,应该提供一个很好的起点。但是,当然,我们使用Java是为了让我们做得更好(或者更糟,因为没有宏:))

根据我对协程的理解,你通常有一个生产者和一个消费者协程(或者至少这是最常见的模式)。但从语义上讲,你不希望生产者打电话给消费者,反之亦然,因为这会引入不对称性。但考虑到基于堆栈的语言的工作方式,我们需要有人来做调用。

所以这里有一个非常简单的类型层次结构:

public interface CoroutineProducer<T>
{
    public T Produce();
    public boolean isDone();
}

public interface CoroutineConsumer<T>
{
    public void Consume(T t);
}

public class CoroutineManager
{
    public static Execute<T>(CoroutineProducer<T> prod, CoroutineConsumer<T> con)
    {
        while(!prod.IsDone()) // really simple
        {
            T d = prod.Produce();
            con.Consume(d);
        }
    }
}

当然,现在困难的部分是实现接口,特别是很难将计算分解为单独的步骤。为此,您可能需要一组完整的另一组持久性控制结构。基本思想是,我们想要模拟非本地控制权的转移(最终它有点像我们模拟一个)。我们基本上希望通过将当前操作的状态保留在堆中而不是堆栈上来避免使用堆栈和(程序计数器)。因此,我们将需要一堆帮助程序类。gotopc

例如:

假设在一个理想的世界里,你想写一个看起来像这样的消费者(伪代码):

boolean is_done;
int other_state;
while(!is_done)
{
    //read input
    //parse input
    //yield input to coroutine
    //update is_done and other_state;
}

我们需要像 和 一样抽象局部变量,我们需要抽象 while 循环本身,因为我们的 like 操作不会使用堆栈。因此,让我们创建一个 while 循环抽象和关联的类:is_doneother_stateyield

enum WhileState {BREAK, CONTINUE, YIELD}
abstract class WhileLoop<T>
{
    private boolean is_done;
    public boolean isDone() { return is_done;}
    private T rval;
    public T getReturnValue() {return rval;} 
    protected void setReturnValue(T val)
    {
        rval = val;
    }


    public T loop()
    {
        while(true)
        {
            WhileState state = execute();
            if(state == WhileState.YIELD)
                return getReturnValue();
            else if(state == WhileState.BREAK)
                    {
                       is_done = true;
                return null;
                    }
        }
    }
    protected abstract WhileState execute();
}

这里的基本技巧是将局部变量移动到变量,并将作用域块转换为类,这使我们能够在产生返回值后“重新输入”我们的“循环”。

现在实施我们的生产者

public class SampleProducer : CoroutineProducer<Object>
{
    private WhileLoop<Object> loop;//our control structures become state!!
    public SampleProducer()
    {
        loop = new WhileLoop()
        {
            private int other_state;//our local variables become state of the control structure
            protected WhileState execute() 
            {
                //this implements a single iteration of the loop
                if(is_done) return WhileState.BREAK;
                //read input
                //parse input
                Object calcluated_value = ...;
                //update is_done, figure out if we want to continue
                setReturnValue(calculated_value);
                return WhileState.YIELD;
            }
        };
    }
    public Object Produce()
    {
        Object val = loop.loop();
        return val;
    }
    public boolean isDone()
    {
        //we are done when the loop has exited
        return loop.isDone();
    }
}

对于其他基本的控制流结构,也可以做类似的技巧。理想情况下,您将构建这些帮助程序类的库,然后使用它们来实现这些简单的接口,这些接口最终将为您提供协同例程的语义。我相信我在这里写的所有内容都可以概括和扩展。


答案 2

我建议看看 JVM 上的 Kotlin 协程。不过,它属于不同的类别。不涉及字节码操作,它也适用于Android。但是,您必须在 Kotlin 中编写协程。好处是Kotlin是为与Java的互操作性而设计的,所以你仍然可以继续使用所有的Java库,并在同一项目中自由地组合Kotlin和Java代码,甚至将它们并排放在相同的目录和包中。

本 kotlinx.coroutines 指南提供了更多示例,而协程设计文档则解释了所有动机、用例和实现细节。


推荐