原码笔记

原码笔记

SpringBoot监控Tomcat活动线程数来判断是否完成请求处理方式

小诸哥 0


SpringBoot监控Tomcat活动线程数来判断是否完成请求处理

最近项目中有一个需求,需要判断应用的请求是否已经处理完毕,想了一下,打算通过定时任务定时监控Tomcat的活动线程数来实现。

编码实现

新建一个SpringBoot工程,添加定时任务定时监控,代码如下:

  1. import org.slf4j.Logger;
  2. import org.slf4j.LoggerFactory;
  3. import org.springframework.beans.factory.annotation.Autowired;
  4. import org.springframework.boot.web.embedded.tomcat.TomcatWebServer;
  5. import org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext;
  6. import org.springframework.scheduling.annotation.Scheduled;
  7. import org.springframework.stereotype.Component;
  8.  
  9. @Component
  10. public class TomcatMonitor {
  11.      private Logger logger = LoggerFactory.getLogger(getClass());
  12.  
  13.      @Autowired
  14.      ServletWebServerApplicationContext applicationContext;
  15.  
  16.  
  17.      @Scheduled(cron = "*/1 * * * * ?")
  18.      public void execute() {
  19.      TomcatWebServer webServer = (TomcatWebServer) applicationContext.getWebServer();
  20.      String tomcatInfo = webServer.getTomcat().getConnector().getProtocolHandler().getExecutor().toString();
  21.  
  22.      System.out.println("tomcatInfo: " + tomcatInfo);
  23.      }
  24.  
  25. }

测试

新建一个测试请求类,代码如下:

  1. import org.springframework.web.bind.annotation.RequestMapping;
  2. import org.springframework.web.bind.annotation.RestController;
  3.  
  4. import Java.util.concurrent.TimeUnit;
  5.  
  6. @RestController
  7. public class TestController {
  8.  
  9.      @RequestMapping("/test")
  10.      public String test() {
  11.      try {
  12.          TimeUnit.SECONDS.sleep(2);
  13.      } catch (InterruptedException e) {
  14.          e.printStackTrace();
  15.      }
  16.      System.out.println("complete OK");
  17.      return "OK";
  18.      }
  19.  
  20. }

启动项目:

tomcatInfo: org.apache.tomcat.util.threads.ThreadPoolExecutor@49355b92[Running, pool size = 10, active threads = 0, queued tasks = 0, completed tasks = 0]
tomcatInfo: org.apache.tomcat.util.threads.ThreadPoolExecutor@49355b92[Running, pool size = 10, active threads = 0, queued tasks = 0, completed tasks = 0]


访问测试接口,观察Tomcat线程池变化:

tomcatInfo: org.apache.tomcat.util.threads.ThreadPoolExecutor@49355b92[Running, pool size = 10, active threads = 1, queued tasks = 0, completed tasks = 0]
complete OK
tomcatInfo: org.apache.tomcat.util.threads.ThreadPoolExecutor@49355b92[Running, pool size = 10, active threads = 0, queued tasks = 0, completed tasks = 2]


可以看到,当有请求处理时,Tomcat的活动线程数不为0,处理完成以后回归到0,所以可以通过活动线程数判断当前Tomcat是否有请求还在处理,当然,应用到实际业务中,还有需要完善的地方。

Tomcat线程数占满而导致的线上事故

事故表现形式

昨天下午4点多的时候,有同学反映说,某个服务响应时间过长,怀疑是负载均衡的问题。

排查过程

1,查看阿里云负载均衡表现正常,排除。

2,查看单台服务日志出现OOM,可以断定是服务出问题了。

分析原因

1,先重启服务。

2,下载 *.hprof 日志,用MAT分析结果如下图:

3,结果明显指示tomcat线程池满了,并指向了其中一个controller的外部请求。

4,结合代码分析是请求外部HTTP连接没有设置超时时间,导致大量请求堆积,tomcat线程池满了,造成OOM。

解决办法

1,HTTP请求使用连接池,设置超时响应时间

2,加上监控。

SpringBoot监控Tomcat活动线程数来判断是否完成请求处理方式

SpringBoot监控Tomcat活动线程数来判断是否完成请求处理方式

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。

标签: SpringBoot Tomcat 处理 方式