故障处理过程

# 故障处理过程
1. 20230115 16:15 接值班室报告，营销平台新版营销推荐无法打开，页面显示空白，影响所有使用营销推荐客服。科创立即组织维护人员、开发人员进行核查.
	明确故障现象：营销平台服务故障
	明确影响范围：所有客服人员
	从以下几个方面开始调查故障：
		1. 营销平台服务
		2. 数据库服务
		3. 网络连接是否正常

![](/media/202301/2023-01-16_100530_1104250.06669544079911494.png)
2. 20230116 16:17 检查营销推荐开关，正常打开

![](/media/202301/2023-01-16_100556_0306770.038350845263342204.png)
3. 20230115 16:20 从火眼调查日志统计，查询到故障发生时营销平台主要接口queryRecommendProducts调用异常，返回空信息.初步定位营销平台服务故障。开始分别调查 营销平台服务和数据库服务

![](/media/202301/2023-01-16_100659_1457120.7669983351361841.png)

![](/media/202301/2023-01-16_100832_3323920.6329446570120476.png)
4. 20230115 16:30 调查数据库服务。
	1. 检查数据库主机运行情况，内存，cpu占用率，mysql服务--正常
	2. 简单查询表 --正常
	3. 数据库连接数--正常
数据库服务正常。
![](/media/202301/2023-01-16_100849_3967540.13968782325484852.png)

![](/media/202301/2023-01-16_101430_2156800.23216475526259683.png)
5. 20230115 16:30 调查营销平台ngmk_control,ngmk_core相关服务
	1. 调查日志，出现查询超时错误
	2. 日志提示调用core服务失败

![](/media/202301/2023-01-16_101734_6633750.19531403349772358.png)

![](/media/202301/2023-01-16_101825_0692080.6296433295297899.png)
【这里徐总补充】
6. 20230115 16:40 尝试重启容器云内ngmk_control,ngmk_core等相关服务
【这里徐总补充】
7. 20230115 17:30 尝试再次重启容器云内ngmk_control,ngmk_core等相关服务
【这里徐总补充】
8. 20230115 17:45 营销平台界面逐步恢复正常，火眼调用链日志查询调用正常，故障解除

![](/media/202301/2023-01-16_102355_7196510.12761218379374928.png)