Java 中的并行编程

java parallel-processing

2022-09-01 04:27:28

我们如何用Java进行并行编程？有没有特别的框架？我们怎样才能让这些东西发挥作用？

我会告诉你们我需要什么，认为我开发了一个网络爬虫，它从互联网上抓取了很多数据。一个爬行系统无法使事情正常工作，因此我需要更多并行工作的系统。如果是这种情况，我可以应用并行计算吗？你们能给我举个例子吗？

答案 1

如果你问的是纯并行编程，即不是并发编程，那么你一定要尝试MPJExpress http://mpj-express.org/。它是mpiJava的线程安全实现，它支持分布式和共享内存模型。我试过了，发现非常可靠。

1 import mpi.*;  
2  
3 
/**  
4  * Compile:impl specific.  
5  * Execute:impl specific.  
6  */  
7  
8 public class Send {  
9 
10     public static void main(String[] args) throws Exception { 
11 
12         MPI.Init(args); 
13 
14         int rank = MPI.COMM_WORLD.Rank() ; //The current process.
15         int size = MPI.COMM_WORLD.Size() ; //Total number of processes
16         int peer ; 
17 
18         int buffer [] = new int[10]; 
19         int len = 1 ;
20         int dataToBeSent = 99 ; 
21         int tag = 100 ; 
22 
23         if(rank == 0) { 
24 
25             buffer[0] = dataToBeSent ; 
26             peer = 1 ; 
27             MPI.COMM_WORLD.Send(buffer, 0, len, MPI.INT, peer, tag) ; 
28             System.out.println("process <"+rank+"> sent a msg to "+ 29                                "process <"+peer+">") ; 
30 
31         } else if(rank == 1) { 
32 
33             peer = 0 ; 
34             Status status = MPI.COMM_WORLD.Recv(buffer, 0, buffer.length, 35                                                 MPI.INT, peer, tag); 
36             System.out.println("process <"+rank+"> recv'ed a msg\n"+ 37                                "\tdata   <"+buffer[0]    +"> \n"+ 38                                "\tsource <"+status.source+"> \n"+ 39                                "\ttag    <"+status.tag   +"> \n"+ 40                                "\tcount  <"+status.count +">") ; 
41 
42         } 
43 
44         MPI.Finalize(); 
45 
46     }  
47 
48 }

MPJ Express 等消息传递库提供的最常见功能之一是支持执行进程之间的点对点通信。在此上下文中，属于同一通信器的两个进程（例如 MPI.COMM_WORLD通信者）可以通过发送和接收消息来相互通信。Send（）方法的变体用于从发送方进程发送消息。另一方面，发送的消息由接收方进程使用 Recv（）方法的变体接收。发送方和接收方都指定一个标记，该标记用于在接收方端查找匹配的传入消息。

使用 MPI 初始化 MPJ Express 库后。Init（args）方法在第 12 行上，程序获得其秩和 MPI 的大小。COMM_WORLD沟通者。这两个进程都初始化长度为 10 的整数数组，称为第 18 行上的缓冲区。发送方进程（rank 0）在 msg 数组的第一个元素中存储值 10。Send（）方法的变体用于将 msg 数组的元素发送到接收进程。

发送方进程调用第 27 行上的 Send（）方法。前三个参数与正在发送的数据相关。发送 bu！er（bu！er 数组）是第一个参数，后跟 0（o！set）和 1（计数）。发送的数据是 MPI.INT 类型，目标是1（对等变量）;数据类型和目标被指定为 Send（）方法的第四个和第五个参数。最后一个和第六个参数是标记变量。标记用于标识接收方端的消息。消息标记通常是特定通信器中特定消息的标识符。另一方面，接收方进程（秩 1）使用阻塞接收方法接收消息。

答案 2

Java支持线程，因此您可以拥有多线程Java应用程序。我强烈推荐 Java 中的并发编程：设计原则和模式一书：

http://java.sun.com/docs/books/cp/