如何重定向 AWS 开发工具包日志记录输出

java logging amazon-web-services scala logback

2022-09-04 01:58:16

我一直在STDOUT上获取这些，即使我正在使用logback并配置它。我无法将 AWS 内容从控制台中取出。

Jun 19, 2014 3:46:40 PM com.amazonaws.http.AmazonHttpClient executeHelper
INFO: Unable to execute HTTP request: The target server failed to respond
org.apache.http.NoHttpResponseException: The target server failed to respond
        at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:95)
        at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:62)
        at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:254)
        at org.apache.http.impl.AbstractHttpClientConnection.receiveResponseHeader(AbstractHttpClientConnection.java:289)
        at org.apache.http.impl.conn.DefaultClientConnection.receiveResponseHeader(DefaultClientConnection.java:252)  
        at org.apache.http.impl.conn.ManagedClientConnectionImpl.receiveResponseHeader(ManagedClientConnectionImpl.java:191)   
        at org.apache.http.protocol.HttpRequestExecutor.doReceiveResponse(HttpRequestExecutor.java:300)
        at com.amazonaws.http.protocol.SdkHttpRequestExecutor.doReceiveResponse(SdkHttpRequestExecutor.java:66)
        at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:127)
        at org.apache.http.impl.client.DefaultRequestDirector.tryExecute(DefaultRequestDirector.java:713)
        at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:518)
        at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:906)
        at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:805)
        at com.amazonaws.http.AmazonHttpClient.executeHelper(AmazonHttpClient.java:402)
        at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:245)
        at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:3573)
        at com.amazonaws.services.s3.AmazonS3Client.getObjectMetadata(AmazonS3Client.java:990)
        at com.amazonaws.services.s3.AmazonS3Client.getObjectMetadata(AmazonS3Client.java:970)
        at com.here.prime.cdtfilter.S3MapStore$$anonfun$1.apply(S3MapStore.scala:49)
        at com.here.prime.cdtfilter.S3MapStore$$anonfun$1.apply(S3MapStore.scala:48)
        at com.here.prime.utils.Utils$.retry(Utils.scala:26)

这是我的日志备份配置：

<configuration debug="false" scan="true" scanPeriod="30 seconds">
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <appender name="FILE" class="ch.qos.logback.core.FileAppender">
        <file>cdtxfilter.log</file>
        <append>true</append>
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <logger name="com.amazonaws.request" level="WARN">
    </logger>

    <root level="DEBUG">
        <!--<appender-ref ref="STDOUT" />-->
        <appender-ref ref="FILE" />
    </root>
</configuration>

溶液：

强制通过 logback 进行日志记录，而不是 commons-log：

在 build.sbt 中添加了：

resolvers ++= Seq(
  "version99 Empty loggers" at "http://version99.qos.ch",
)

libraryDependencies ++= Seq(
  "org.slf4j" % "jcl-over-slf4j" % "1.7.7",
  "commons-logging" % "commons-logging" % "99-empty",
  "ch.qos.logback" % "logback-classic" % "1.0.13",
)

在 logback.xml 中，微调 AWS 开发工具包中嘈杂类的日志级别：

<configuration...
[..]
    <logger name="com.amazonaws" level="ERROR"/>
    <logger name="org.apache.http" level="INFO" />
</configuration>

答案 1

首先，我想说的是，由于历史原因，登录java是一团糟，你应该准备好付出一些努力来纠正它。

现在，到你的问题。

首先，它真的看起来像是您在STDOUT旁路日志中获得的日志（至少它们不遵循日志返回配置中定义的任何模式）。

可能有2个原因：

您以某种不太可能发生的方式错误地配置了 logback（通过检查是否有任何日志条目最终出现在您配置的 logback 写入它们的文件中来验证这一点）。
日志来自 AWS sdk，由共享资源日志记录处理（最有可能，因为这是 AWS sdk 使用的日志记录系统）或模仿共享资源日志记录以将日志重定向到 SLF4J 的东西（不太可能，因为这需要对类路径进行一些显式配置）。

现在为了解决这个问题，我建议你从这篇文章开始，以大致了解java的日志记录动物园。

接下来，为了解决您的问题，我建议您配置流行的日志记录系统（commons logging，log4j等），以将其日志定向到SLF4j，并使用logback作为SLF4j实现。

阅读本文和本文（如果您使用 maven，否则请找到一种方法来排除与您的构建系统相关的 jcl 和 log4j），以了解应该和不应该将什么放在类路径中。

我的一个项目使用 AWS 开发工具包，并按照上述建议设置了日志记录。

在我的应用程序中，我设置了这样的依赖项：pom.xml

...

<repositories>
    <repository>
        <id>version99</id>
        <url>http://version99.qos.ch/</url>
    </repository>
</repositories>

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>99-empty</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>99-empty</version>
        </dependency>
    </dependencies>
</dependencyManagement>

<dependencies>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>1.7.7</version>
    </dependency>
    <dependency>
        <groupId>ch.qos.logback</groupId>
        <artifactId>logback-classic</artifactId>
        <version>1.1.2</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>log4j-over-slf4j</artifactId>
        <version>1.7.7</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>jcl-over-slf4j</artifactId>
        <version>1.7.7</version>
    </dependency>

    ...

</dependencies>

...

...在我的类路径中，我也有这样的：logback.xml

<appender name="FILE" class="ch.qos.logback.core.FileAppender">
    <file>logs.log</file>
    <append>false</append>
    <encoder>
        <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
    </encoder>
</appender>

<root level="debug">
    <appender-ref ref="FILE" />
</root>

...和所有日志最终都写入我的日志文件。

这应该可以让您了解如何配置依赖项/日志记录。

随意澄清评论中不清楚的时刻。

答案 2

您向 STDOUT 发送消息很可能是因为运行时的类路径中有一些内容，即记录到 STDOUT（例如，使用 apache commons 日志记录的类，如之前的帖子中建议的那样）。并非只有您使用 logback，这意味着所有日志记录都会经过 logback。

若要控制应用程序中的所有日志记录，必须：

A）检查你的类路径并删除日志记录库的所有其他二进制文件（commons-logging，log4j等）。如果您使用的是 maven，请运行，然后使用 exlusion 删除对日志记录库的依赖关系。mvn dependency:tree -X

B）将这些库替换为网桥，以将日志记录定向到 SLF4J

C）通过SLF4J将您的日志记录从源代码引导到Logback。有一个迁移器来减轻您的工作。检查它是否可以帮助您。

D）在 logback.xml 或 logback.groovy 中配置您的 logback。