PHP5-FPM 随机开始消耗大量 CPU

php performance nginx performance-testing

2022-08-30 23:29:03

我遇到了一个非常奇怪的问题，我不知道如何进一步调试。我有一个NGINX + PHP5-FPM + APC Amazon Ubuntu实例，上面安装了一个网站，这是一个复杂的PHP框架。在尝试调试问题时，我将流程简化为：包含许多大类，创建主要对象，启动会话，从memcached检索配置数组，从memcached检索XML文件，包括HTML模板，将输出发送到客户端。

然后，我使用工具将网站置于每秒20个请求的负载下：http_loadhttp_load -timeout 10 -rate 20 -fetches 10000 ./urls.txt

接下来发生的事情相当奇怪。显示了一堆php5-fpm进程，每个进程都占用了几个%的CPU，一切都运行顺利，如下所示：top

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
28440 www-data 20 0 67352 10m 5372 S 4.3 1.8 0:20.33 php5-fpm
28431 www-data 20 0 67608 10m 5304 S 3.3 1.8 0:16.77 php5-fpm
28444 www-data 20 0 67352 10m 5372 S 3.3 1.8 0:17.17 php5-fpm
28445 www-data 20 0 67352 10m 5372 S 3.0 1.8 0:16.83 php5-fpm
28422 www-data 20 0 67608 10m 5292 S 2.3 1.8 0:18.99 php5-fpm
28424 www-data 20 0 67352 10m 5368 S 2.0 1.8 0:16.59 php5-fpm
28438 www-data 20 0 67608 10m 5304 S 2.0 1.8 0:17.91 php5-fpm
28439 www-data 20 0 67608 10m 5304 S 2.0 1.8 0:23.34 php5-fpm
28423 www-data 20 0 67608 10m 5292 S 1.7 1.8 0:20.02 php5-fpm
28430 www-data 20 0 67608 10m 5300 S 1.7 1.8 0:15.77 php5-fpm
28433 www-data 20 0 67352 10m 5372 S 1.7 1.8 0:17.08 php5-fpm
28434 www-data 20 0 67608 10m 5292 S 1.7 1.8 0:18.56 php5-fpm
20648 memcache 20 0 51568 8192 708 S 1.3 1.3 2:51.06 memcached
28420 www-data 20 0 69876 13m 6300 S 1.3 2.3 0:20.89 php5-fpm
28421 www-data 20 0 67608 10m 5300 S 1.3 1.8 0:21.19 php5-fpm
28429 www-data 20 0 9524 2260 992 S 1.3 0.4 0:11.68 nginx
28435 www-data 20 0 67608 10m 5304 S 1.3 1.8 0:18.58 php5-fpm
28437 www-data 20 0 67352 10m 5372 S 1.3 1.8 0:17.87 php5-fpm
28441 www-data 20 0 67608 10m 5292 S 1.3 1.8 0:20.75 php5-fpm

然后，经过一段时间（可能是一秒到几分钟之间的任何时间），几个（通常是两个）php5-fpm进程突然消耗了所有CPU：

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
28436 www-data 20 0 67608 10m 5304 R 48.5 1.8 0:23.68 php5-fpm
28548 www-data 20 0 67608 10m 5276 R 45.2 1.7 0:07.62 php5-fpm
28434 www-data 20 0 67608 10m 5292 R 2.0 1.8 0:23.28 php5-fpm
28439 www-data 20 0 67608 10m 5304 R 2.0 1.8 0:26.63 php5-fpm

此时，一切都卡住了，所有新的HTTP请求都超时了。如果我停止http_load工具，php5-fpm将在那里挂起几分钟。有趣的是，如果我这样做，php5-fpm进程将消失，但任何使用文件系统的命令在执行时都会出现问题。例如，如果我尝试通过ssh下载文件，将显示以下内容，需要几分钟才能启动实际下载：php5-fpm stoptop

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3298 sshd 20 0 7032 876 416 R 75.2 0.1 0:04.52 sshd
3297 sshd 20 0 7032 876 416 R 24.9 0.1 0:04.49 sshd

PHP错误日志通常有这个：

[05-Dec-2012 20:31:39] WARNING: [pool www] seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 8 children, there are 0 idle, and 58 total children
[05-Dec-2012 20:32:08] WARNING: [pool www] seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 16 children, there are 0 idle, and 66 total children

Nginx错误日志充斥着以下条目：

2012/12/05 20:31:36 [error] 4800#0: *5559 connect() to unix:/dev/shm/php-fpm-www.sock failed (11: Resource temporarily unavailable) while connecting to upstream, client: ..., server: ec2-....compute-1.amazonaws.com, request: "GET /usa/index.php?page=contact_us HTTP/1.0", upstream: "fastcgi://unix:/dev/shm/php-fpm-www.sock:", host: "ec2-....compute-1.amazonaws.com"

PHP-FPM慢日志没有显示任何有趣的东西，交换从未发生过，我没有设法收集有关该问题的任何其他有趣事实。我经历了许多次配置文件更改的迭代，最近的一次是

nginx.conf： http://pastebin.com/uaD56hJF

pool.d/www.conf： http://pastebin.com/mFeeUULC

===更新 1===

站点的配置：http://pastebin.com/qvinVNhB

===更新 2===

还刚刚发现报告这样的错误dmesg

[6483131.164331] php5-fpm[28687]: segfault at b6ec8ff4 ip b78c3c32 sp bff551f0 error 4 in ld-2.13.so[b78b5000+1c000]

===更新 3===

我们有一个新的 Amazon EC2 微型实例，以防万一，以排除可能的硬件问题。另外，我现在使用php-fastcgi来排除可能的fpm错误。其他差异很小，我认为唯一改变的是Ubuntu->Debian。同样的问题仍然发生，除了现在服务器设法在max_execution_time秒后稍微恢复（然后再次飙升）。

我尝试使用单独的测试.php我不确定它是否是相同的问题，但至少看起来是一样的。我创建了一个测试.php并包含了一堆属于我们框架的库。除了定义类或包括定义类的其他库之外，库不执行任何操作。我与APC进行了核对，所有这些都得到了成功的服务。我开始加压测试.php每秒200个请求，一段时间后发生了同样的事情。除了现在我设法得到一些错误，说“太多打开的文件”。它并不总是发生，有时它只是开始超时而不输出错误，并且一些php进程卡住消耗所有CPU。我只玩了一下，但我认为这里有一个相关性 - 通过控制包含的libs的数量或稍微变化的请求/秒速率，我可以控制CPU峰值何时发生。我增加了相关的操作系统变量，但问题仍然存在，尽管它需要更长的时间才能发生（另请注意，我已经将限制设置为比我在测试期间执行的请求总数大N倍的值）。top

fs.file-max = 70000
...
*       soft    nofile   10000
*       hard    nofile  30000
...
worker_rlimit_nofile 10000;
...
(reloaded all the configs and made sure the new system vars actually took affect)

因此，到目前为止，我能想到的下一个最好和唯一的解释是，即使APC应该从内存中提取文件，但在内部，它的实现方式在每次调用PHP include-s时仍然使用文件描述符。要么是因为它延迟释放它们，要么是在某个不幸的时刻，太多的请求在同一时刻到达，系统运行我们的描述符，新到达的HTTP请求被快速堆叠到一个巨大的队列中。我会尝试以某种方式测试这一点。

答案 1

我已经运行了一个具有类似配置的网站好几个月了，停机时间为零。我看了一下你的配置，它看起来还不错。话虽如此，我很久以前就完成了我的配置。

我会考虑简化为更合理的东西，比如.这只是意味着“不要将每个实例用于超过 X 个请求”。最好不要将这个数字太高，因为这样做可以让你在可能的PHP引擎错误方面恢复能力。pm.max_requests = 10000pm.max_requests = 500

我认为真正的问题很可能在你的PHP脚本中。如果不了解更多，很难说。

编辑：考虑取消注释并将其设置为类似.然后，您的脚本将需要在 20 秒内完成。您很可能会看到行为的变化，但我认为您的网站可能会保持活跃。这将表示 PHP 脚本错误。;request_terminate_timeout = 0request_terminate_timeout = 20

编辑2：我自己的php-fpm配置如下：

[example.com]
listen = /var/run/sockets/example.com.socket
user = www-data
group = www-data
pm = dynamic
pm.start_servers = 5
pm.max_children = 15
pm.min_spare_servers = 5
pm.max_spare_servers = 10
pm.max_requests = 500
php_flag[expose_php] = off
php_flag[short_open_tag] = on

编辑3：我在你的nginx配置中发现了一些意想不到的东西，但它可能什么都不是。

您正在使用哪个会导致旧版本的nginx下的工作进程出现问题。我自己还没有看到这个问题，因为我正在运行最新版本的自定义编译。以下是nginx网站上对问题的描述：fastcgi_ignore_client_abort on;

在 1.0.2 中，当 fastcgi_ignore_client_abort设置为 “哪个”时，无法正确处理 POST 请求，这可能会导致工作进程出现 segfaulting。将fastcgi_ignore_client_abort切换回默认值（关闭）应该可以解决此问题。

答案 2

简单的技巧，但非常有用，可以将处理器使用率降低到50%，只需编辑您的php-fpm配置：

pm = dynamic

并将其更改为：

pm = ondemand