Apache Commons FTPClient Hanging

java ftp ftp-client apache-commons-net

2022-09-01 20:03:59

我们使用以下Apache Commons Net FTP代码连接到FTP服务器，轮询一些目录中的文件，如果找到文件，则将它们检索到本地计算机：

try {
logger.trace("Attempting to connect to server...");

// Connect to server
FTPClient ftpClient = new FTPClient();
ftpClient.setConnectTimeout(20000);
ftpClient.connect("my-server-host-name");
ftpClient.login("myUser", "myPswd");
ftpClient.changeWorkingDirectory("/loadables/");

// Check for failed connection
if(!FTPReply.isPositiveCompletion(ftpClient.getReplyCode()))
{
    ftpClient.disconnect();
    throw new FTPConnectionClosedException("Unable to connect to FTP server.");
}

// Log success msg
logger.trace("...connection was successful.");

// Change to the loadables/ directory where we poll for files
ftpClient.changeWorkingDirectory("/loadables/");    

// Indicate we're about to poll
logger.trace("About to check loadables/ for files...");

// Poll for files.
FTPFile[] filesList = oFTP.listFiles();
for(FTPFile tmpFile : filesList)
{
    if(tmpFile.isDirectory())
        continue;

    FileOutputStream fileOut = new FileOutputStream(new File("tmp"));
    ftpClient.retrieveFile(tmpFile.getName(), fileOut);
    // ... Doing a bunch of things with output stream
    // to copy the contents of the file down to the local
    // machine. Ommitted for brevity but I assure you this
    // works (except when the WAR decides to hang).
    //
    // This was used because FTPClient doesn't appear to GET
    // whole copies of the files, only FTPFiles which seem like
    // file metadata...
}

// Indicate file fetch completed.
logger.trace("File fetch completed.");

// Disconnect and finish.
if(ftpClient.isConnected())
    ftpClient.disconnect();

logger.trace("Poll completed.");
} catch(Throwable t) {
    logger.trace("Error: " + t.getMessage());
}

我们计划每分钟运行一次，每分钟运行一次。当部署到Tomcat（7.0.19）时，此代码加载完全正常，并开始顺利工作。然而，每一次，在某个时候，它似乎只是挂起来。我的意思是：

不存在堆转储
Tomcat仍在运行（我可以看到它的pid，可以登录到Web管理器应用程序）
在管理器应用程序中，我可以看到我的WAR仍在运行/启动
catalina.out并且我的特定于应用程序的日志未显示任何异常被抛出的迹象

所以JVM仍在运行。Tomcat 仍在运行，我部署的 WAR 仍在运行，但它只是挂起。有时它运行2小时，然后挂起;其他时候，它会运行数天，然后挂起。但是当它确实挂起时，它会在读取的行（我在日志中看到）和读取的行（我没有看到）之间挂起。About to check loadables/ for files...File fetch completed.

这告诉我，在实际轮询/获取文件期间会发生挂起，这为我指出了与这个问题相同的方向，我能够找到与FTPClient死锁有关的问题。这让我想知道这些是否是相同的问题（如果是，我很乐意删除这个问题！但是，我不认为它们相同（我在日志中没有看到相同的异常）。

一位同事提到，这可能是“被动”与“主动”的FTP。我并不真正知道其中的区别，我对FTPClient字段等有点困惑，也不知道SO认为这是一个潜在的问题。ACTIVE_REMOTE_DATA_CONNECTION_MODEPASSIVE_REMOTE_DATA_CONNECTION_MODE

由于我在这里捕捉s作为最后的手段，如果出现问题，我本来希望在日志中看到一些东西。因此，我觉得这是一个明确的挂起问题。Throwable

有什么想法吗？不幸的是，我对FTP内部的了解还不够多，无法做出确切的诊断。这可能是服务器端的东西吗？与 FTP 服务器相关？

答案 1

这可能是很多事情，但你朋友的建议是值得的。

尝试看看是否有帮助。ftpClient.enterLocalPassiveMode();

我还建议将断开连接放在最后的块中，这样它就不会在那里留下连接。

答案 2

昨天，我没有睡觉，但我认为我解决了这个问题。

您可以使用 FTPClient.setBufferSize（）增加缓冲区大小;

   /**
 * Download encrypted and configuration files.
 * 
 * @throws SocketException
 * @throws IOException
 */
public void downloadDataFiles(String destDir) throws SocketException,
        IOException {

    String filename;
    this.ftpClient.connect(ftpServer);
    this.ftpClient.login(ftpUser, ftpPass);

    /* CHECK NEXT 4 Methods (included the commented) 
    *  they were very useful for me!
    *  and icreases the buffer apparently solve the problem!!
    */
    //  ftpClient.addProtocolCommandListener(new PrintCommandListener(new PrintWriter(System.out), true));
    log.debug("Buffer Size:" + ftpClient.getBufferSize());
    this.ftpClient.setBufferSize(1024 * 1024);
    log.debug("Buffer Size:" + ftpClient.getBufferSize());


    /*  
     *  get Files to download
     */
    this.ftpClient.enterLocalPassiveMode();
    this.ftpClient.setAutodetectUTF8(true);
            //this.ftpClient.setFileType(FTP.BINARY_FILE_TYPE);
    this.ftpClient.enterLocalPassiveMode();
    FTPFile[] ftpFiles = ftpClient
            .listFiles(DefaultValuesGenerator.LINPAC_ENC_DIRPATH);

    /*
     * Download files
     */
    for (FTPFile ftpFile : ftpFiles) {

        // Check if FTPFile is a regular file           
        if (ftpFile.getType() == FTPFile.FILE_TYPE) {
            try{

            filename = ftpFile.getName();

            // Download file from FTP server and save
            fos = new FileOutputStream(destDir + filename);

            //I don't know what useful are these methods in this step
            // I just put it for try
            this.ftpClient.enterLocalPassiveMode();
            this.ftpClient.setFileType(FTP.BINARY_FILE_TYPE);
            this.ftpClient.setAutodetectUTF8(true);
            this.ftpClient.enterLocalPassiveMode();

            ftpClient.retrieveFile(
                    DefaultValuesGenerator.LINPAC_ENC_DIRPATH + filename,
                    fos
                    );

            }finally{
                fos.flush();
                fos.close();                }
        }
    }
    if (fos != null) {
        fos.close();
    }
}

我希望这段代码对某人有用！