如何使用相同的TLS会话连接到具有数据连接的FTPS服务器?

环境:我在64位Windows 7上使用Sun Java JDK 1.8.0_60,使用Spring Integration 4.1.6(内部似乎使用Apache Commons Net 3.3进行FTPS访问)。

我正在尝试与我们的应用程序集成,从我们客户端的FTPS服务器自动下载。我已经成功地使用Spring Integration的SFTP服务器做到了这一点,没有遇到任何问题,但这是客户端第一次要求我们使用FTPS,并且让它连接是非常令人费解的。虽然在我的实际应用程序中,我使用XML bean配置Spring Integration,但为了尝试理解什么不起作用,我使用以下测试代码(尽管我在这里匿名化了实际的主机/用户名/密码):

final DefaultFtpsSessionFactory sessionFactory = new DefaultFtpsSessionFactory();
sessionFactory.setHost("XXXXXXXXX");
sessionFactory.setPort(990);
sessionFactory.setUsername("XXXXXXX");
sessionFactory.setPassword("XXXXXXX");
sessionFactory.setClientMode(2);
sessionFactory.setFileType(2);
sessionFactory.setUseClientMode(true);
sessionFactory.setImplicit(true);
sessionFactory.setTrustManager(TrustManagerUtils.getAcceptAllTrustManager());
sessionFactory.setProt("P");
sessionFactory.setProtocol("TLSv1.2");
sessionFactory.setProtocols(new String[]{"TLSv1.2"});
sessionFactory.setSessionCreation(true);
sessionFactory.setCipherSuites(new String[]{"TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256"});

final FtpSession session = sessionFactory.getSession();
//try {
    final FTPFile[] ftpFiles = session.list("/");
    logger.debug("FtpFiles: {}", (Object[]) ftpFiles);
//} catch (Exception ignored ) {}
session.close();

我正在运行此代码以获取打印的所有TLS调试信息。-Djavax.net.debug=all

与FTPS服务器的主要“控制”连接工作正常,但是当它尝试打开列表的数据连接(或我尝试过的任何其他数据连接)时,我得到一个,由 引起。如果我在命令周围取消注释吞噬异常捕获块,那么我可以看到(通过javax.net.debug输出)服务器在拒绝数据连接SSL握手后发送了以下消息:javax.net.ssl.SSLHandshakeException: Remote host closed connection during handshakejava.io.EOFException: SSL peer shut down incorrectlysession.list

main, READ: TLSv1.2 Application Data, length = 129
Padded plaintext after DECRYPTION:  len = 105
0000: 34 35 30 20 54 4C 53 20   73 65 73 73 69 6F 6E 20  450 TLS session 
0010: 6F 66 20 64 61 74 61 20   63 6F 6E 6E 65 63 74 69  of data connecti
0020: 6F 6E 20 68 61 73 20 6E   6F 74 20 72 65 73 75 6D  on has not resum
0030: 65 64 20 6F 72 20 74 68   65 20 73 65 73 73 69 6F  ed or the sessio
0040: 6E 20 64 6F 65 73 20 6E   6F 74 20 6D 61 74 63 68  n does not match
0050: 20 74 68 65 20 63 6F 6E   74 72 6F 6C 20 63 6F 6E   the control con
0060: 6E 65 63 74 69 6F 6E 0D   0A                       nection..

似乎正在发生的事情(这是我第一次处理FTPS,尽管我以前处理过普通FTP)是服务器确保控制和数据连接上的身份验证和加密的方式是,在“正常”TLS连接建立控制连接并在那里进行身份验证之后,每个数据连接都要求客户端使用相同的TLS会话进行连接。这对我来说是有道理的,因为它应该如何工作,但Apache Commons Net FTPS实现似乎并没有这样做。它似乎正在尝试建立新的TLS会话,因此服务器正在拒绝该尝试。

基于这个关于在 JSSE 中恢复 SSL 会话的问题,Java 似乎为每个主机/后置组合假定或需要不同的会话。我的假设是,由于FTPS数据连接与控制连接位于不同的端口上,因此它没有找到现有会话并尝试建立新会话,因此连接失败。

我看到了三种主要的可能性:

  1. 服务器不遵循 FTPS 标准,要求数据端口上的 TLS 会话与控制端口上的 TLS 会话相同。我可以使用FileZilla 3.13.1很好地连接到服务器(使用与我尝试在代码中使用的相同的主机/用户/密码)。服务器在登录时将自己标识为“FileZilla Server 0.9.53 beta”,所以也许这是某种专有的FileZilla做事方式,我需要做一些奇怪的事情来说服Java使用相同的TLS会话。
  2. Apache Commons Net客户端实际上并不遵循FTPS标准,只允许一些不允许保护数据连接的子集。这似乎很奇怪,因为它似乎是从Java内部连接到FTPS的标准方式。
  3. 我完全错过了一些东西,并误诊了这一点。

我很感激你能提供任何关于如何连接到这种FTPS服务器的方向。谢谢。


答案 1

实际上,某些 FTP 服务器确实要求将 TLS/SSL 会话重新用于数据连接。这是一种安全措施,通过该措施,服务器可以验证数据连接是否由与控制连接相同的客户端使用。

常见 FTP 服务器的一些参考:


可能有助于您实现的是,Cyberduck FTP(S)客户端确实支持TLS / SSL会话重用,并且它使用Apache Commons Net库:

  • https://github.com/iterate-ch/cyberduck/issues/5087 – 在数据连接上重用会话密钥

  • 请参阅其FTPClient.java代码(扩展Commons Net),特别是它对_prepareDataSocket_方法的覆盖FTPSClient

     @Override
     protected void _prepareDataSocket_(final Socket socket) {
         if(preferences.getBoolean("ftp.tls.session.requirereuse")) {
             if(socket instanceof SSLSocket) {
                 // Control socket is SSL
                 final SSLSession session = ((SSLSocket) _socket_).getSession();
                 if(session.isValid()) {
                     final SSLSessionContext context = session.getSessionContext();
                     context.setSessionCacheSize(preferences.getInteger("ftp.ssl.session.cache.size"));
                     try {
                         final Field sessionHostPortCache = context.getClass().getDeclaredField("sessionHostPortCache");
                         sessionHostPortCache.setAccessible(true);
                         final Object cache = sessionHostPortCache.get(context);
                         final Method putMethod = cache.getClass().getDeclaredMethod("put", Object.class, Object.class);
                         putMethod.setAccessible(true);
                         Method getHostMethod;
                         try {
                             getHostMethod = socket.getClass().getMethod("getPeerHost");
                         }
                         catch(NoSuchMethodException e) {
                             // Running in IKVM
                             getHostMethod = socket.getClass().getDeclaredMethod("getHost");
                         }
                         getHostMethod.setAccessible(true);
                         Object peerHost = getHostMethod.invoke(socket);
                         putMethod.invoke(cache, String.format("%s:%s", peerHost, socket.getPort()).toLowerCase(Locale.ROOT), session);
                     }
                     catch(NoSuchFieldException e) {
                         // Not running in expected JRE
                         log.warn("No field sessionHostPortCache in SSLSessionContext", e);
                     }
                     catch(Exception e) {
                         // Not running in expected JRE
                         log.warn(e.getMessage());
                     }
                 }
                 else {
                     log.warn(String.format("SSL session %s for socket %s is not rejoinable", session, socket));
                 }
             }
         }
     }
    
  • 似乎该方法被添加到Commons Net中,专门用于允许TLS / SSL会话重用实现:
    https://issues.apache.org/jira/browse/NET-426_prepareDataSocket_FTPSClient

    对重用的本机支持仍处于挂起状态:
    https://issues.apache.org/jira/browse/NET-408

  • 您显然需要覆盖Spring集成,以返回具有会话重用支持的自定义实现。DefaultFtpsSessionFactory.createClientInstance()FTPSClient


自 JDK 8u161 起,上述解决方案不再独立工作。

根据 JDK 8u161 更新发行说明(以及@Laurent的答案):

添加了TLS会话哈希和扩展主密钥扩展支持
...
如果出现兼容性问题,应用程序可以通过在 JDK 中将系统属性设置为来禁用此扩展的协商。jdk.tls.useExtendedMasterSecretfalse

也就是说,您可以调用它来解决问题(您仍然需要覆盖):_prepareDataSocket_

System.setProperty("jdk.tls.useExtendedMasterSecret", "false");

尽管这应该被视为一种解决方法。我不知道一个适当的解决方案。


另一种实现在这里:
https://issues.apache.org/jira/browse/NET-408


关于 1.8.0_161 中的问题,还有一个单独的问题:
JDK 8u161 中 Apache FTPS 客户端中的 SSL 会话重用


实际上,我过去也遇到过同样的问题(只是在C++/ OpenSSL中,我不做Java),所以我知道该用谷歌搜索什么。


答案 2

您可以使用以下 SSLSessionReuseFTPSClient 类:

import java.io.IOException;
import java.lang.reflect.Field;
import java.lang.reflect.Method;
import java.net.Socket;
import java.util.Locale;

import javax.net.ssl.SSLSession;
import javax.net.ssl.SSLSessionContext;
import javax.net.ssl.SSLSocket;

import org.apache.commons.net.ftp.FTPSClient;

public class SSLSessionReuseFTPSClient extends FTPSClient {

    // adapted from:
    // https://trac.cyberduck.io/browser/trunk/ftp/src/main/java/ch/cyberduck/core/ftp/FTPClient.java
    @Override
    protected void _prepareDataSocket_(final Socket socket) throws IOException {
        if (socket instanceof SSLSocket) {
            // Control socket is SSL
            final SSLSession session = ((SSLSocket) _socket_).getSession();
            if (session.isValid()) {
                final SSLSessionContext context = session.getSessionContext();
                try {
                    final Field sessionHostPortCache = context.getClass().getDeclaredField("sessionHostPortCache");
                    sessionHostPortCache.setAccessible(true);
                    final Object cache = sessionHostPortCache.get(context);
                    final Method method = cache.getClass().getDeclaredMethod("put", Object.class, Object.class);
                    method.setAccessible(true);
                    method.invoke(cache, String
                            .format("%s:%s", socket.getInetAddress().getHostName(), String.valueOf(socket.getPort()))
                            .toLowerCase(Locale.ROOT), session);
                    method.invoke(cache, String
                            .format("%s:%s", socket.getInetAddress().getHostAddress(), String.valueOf(socket.getPort()))
                            .toLowerCase(Locale.ROOT), session);
                } catch (NoSuchFieldException e) {
                    throw new IOException(e);
                } catch (Exception e) {
                    throw new IOException(e);
                }
            } else {
                throw new IOException("Invalid SSL Session");
            }
        }
    }
}

使用 openJDK 1.8.0_161 :

我们必须设置:

System.setProperty("jdk.tls.useExtendedMasterSecret", "false");

根据 http://www.oracle.com/technetwork/java/javase/8u161-relnotes-4021379.html

添加了 TLS 会话哈希和扩展主密钥扩展支持

如果出现兼容性问题,应用程序可以通过在 JDK 中将 System Property jdk.tls.useExtendedMasterSecret 设置为 false 来禁用此扩展的协商。


推荐