如何使用Java JSch库逐行读取远程文件？

java io jsch

2022-09-03 17:50:15

我正在尝试使用Java逐行读取文件，这非常简单（stackoverflow.com 上有多种解决方案），但这里需要注意的是，该文件位于远程服务器上，并且不可能获得本地副本（它是单个.txt文件中数百万个Amazon评论的大量集合）。

JSch 附带了两个示例类，用于将文件复制到远程主机或从远程主机复制文件，即 ScpTo 和 ScpFrom。我有兴趣逐行从远程主机读取文件;ScpFrom会尝试将整个内容复制到本地文件中，这将花费很长时间。

以下是ScpFrom的链接：http://www.jcraft.com/jsch/examples/ScpFrom.java.html

我会尝试将代码放在那里，然后对其进行修改以逐行读取远程文件，而不是写入本地文件，但是一旦作者声明了字节数组并开始从远程文件中读取字节，大多数代码对我来说都是希腊语。我承认这是我几乎不理解的事情。BufferedReader 提供了一个更高级别的接口。从本质上讲，我想这样做：如何使用Java逐行读取大型文本文件？

除了使用也可以逐行读取远程文件的缓冲区读取器，如果提供了主机名和用户凭据（密码等），即RemoteBufferReader？

这是我写的测试代码;如何使用JSCh逐行读取远程文件？

public class test2
 {
    static String user = "myusername";
    static String host = "user@remotehost";
    static String password = "mypasswd";
    static String rfile = "/path/to/remote/file/on/remote/host";
    public static void main(String[] args) throws FileNotFoundException, IOException, JSchException
    {
        JSch jsch=new JSch();
        Session session=jsch.getSession(user, host, 22);
        session.setPassword(password);
        session.connect();
        // exec 'scp -f rfile' remotely
        String command="scp -f "+rfile;
        Channel channel=session.openChannel("exec");
        ((ChannelExec)channel).setCommand(command);

        // get I/O streams for remote scp
        OutputStream out=channel.getOutputStream();
        channel.connect()
        //no idea what to do next

    }
 }

答案 1

要通过 ssh 操作文件，最好使用 sftp 而不是 scp 或纯 ssh。Jsch 内置了对 sftp 的支持。打开会话后，执行此操作以打开 sftp 通道：

ChannelSftp sftp = (ChannelSftp) session.openChannel("sftp");

打开 sftp 通道后，可通过一些方法读取远程文件，从而以 .如果您需要逐行读取，则可以将其转换为：InputStreamReader

InputStream stream = sftp.get("/some/file");
try {
    BufferedReader br = new BufferedReader(new InputStreamReader(stream));
    // read from br
} finally {
    stream.close();
}

使用 try with resources 语法，您的代码可能看起来更像这样：

try (InputStream is = sftp.get("/some/file");
     InputStreamReader isr = new InputStreamReader(is);
     BufferedReader br = new BufferedReader(isr)) {
    // read from br
}

答案 2

JSch库是一个功能强大的库，可用于从SFTP服务器读取文件。以下是逐行从SFTP位置读取文件的测试代码

        JSch jsch = new JSch();
        Session session = null;
        try {
            session = jsch.getSession("user", "127.0.0.1", 22);
            session.setConfig("StrictHostKeyChecking", "no");
            session.setPassword("password");
            session.connect();

            Channel channel = session.openChannel("sftp");
            channel.connect();
            ChannelSftp sftpChannel = (ChannelSftp) channel;

            InputStream stream = sftpChannel.get("/usr/home/testfile.txt");
            try {
                BufferedReader br = new BufferedReader(new InputStreamReader(stream));
                String line;
                while ((line = br.readLine()) != null) {
                    System.out.println(line);
                }

            } catch (IOException io) {
                System.out.println("Exception occurred during reading file from SFTP server due to " + io.getMessage());
                io.getMessage();

            } catch (Exception e) {
                System.out.println("Exception occurred during reading file from SFTP server due to " + e.getMessage());
                e.getMessage();

            }

            sftpChannel.exit();
            session.disconnect();
        } catch (JSchException e) {
            e.printStackTrace();
        } catch (SftpException e) {
            e.printStackTrace();
        }

有关整个计划，请参阅博客。