20170413B端业务访问故障排查思路

Posted 2020-09-10 wonderful day

现象：

1.全国用户电视端页面无法显示，刷不出版面。

2.后端服务无法打开，报错，504，502   显示服务器端业务故障超时。

3.其他业务也出现缓慢情况，并不严重。

 

排查：

1.系统服务排查，常规负载检查，apache配置，本地curl测试，查看apache进程状态被挂起，发现系统本地访问80端口不通，重启服务无效~　

2.mysql 数据库未见明显报错异常，刷页面到504页面  应该还没到bd访问，排除数据库问题

3.从多个客户traceroute我们域名来检测下网络，结果都不通..  怀疑网络? 应该不可能  因为网络如果出问题肯定不止我们一个业务出问题。。排除排除。。

4.缩小了范围，那apache为什么一直被挂起，响应超时呢?  发现访问本地的静态文件都无法访问，apache已经完全挂掉了。。

问题发现：

通过大神协助排查，发现程序里面有一个函数一直调用我们新系统业务的一个接口（就是刚刚其他业务也缓慢的原因），因为调用函数里面的curl没有写超时时间，

还有新业务的有两台服务器的SLB超时时间太长了 300s，导致的问题出现。

 

解决办法：

给curl添加超时时间，将SLB里面的超时时间更改为60s。