风雨以后是彩虹,经历了三个月的风雨以后,从6月14日起(上次故障发生于6月13日)开始享受彩虹。。。而今天突袭而来的RDS故障让咱们懂得了彩虹期间会有阵雨,但无论怎么样,离“晴空万里”愈来愈近了。html
2013年7月23日10:00~11:00左右,咱们使用的阿里云RDS(关系型数据库服务)忽然出现故障,形成了网站不能访问(你们访问时遇到的502错误就是故障的表现)。由此给你们带来了很大的麻烦,咱们深表歉意!望你们谅解!数据库
此次502故障发生时,咱们先从服务器上的错误日志下手,一会儿将故障的引起点逮个正着:服务器
System.Data.SqlClient.SqlException (0x80131904): 在从服务器接收结果时发生传输级错误。 (provider: TCP Provider, error: 0 - 远程主机强迫关闭了一个现有的链接。)网络
数据库链接被强制关闭,那问题确定与RDS有关。ide
10:05联系阿里云客户经理,10:06提交工单。。。网站
接着,经过telnet至RDS的端口确认是否是网络问题引发的,telnet正常链接,说明网络没问题,问题在RDS自己。阿里云
接下来就是阿里云的工程师在忙,咱们只能紧张而焦急地等待。。。日志
11:00左右,RDS切换至镜像节点(RDS作了数据库镜像)以后,网站当即恢复正常。htm
对于故障的真正缘由,阿里云工程师接下来会进行全面的分析。多但愿有一天阿里云能像Amazon同样,将每次故障的缘由及处理状况对外公开。blog
就这样经历了一场云上的阵雨,有人在微博上说咱们是阿里云踩坑大师,咱们但愿踩一个少一个,同时但愿阿里云找出全部的坑一个一个填平,只要有坑,总会被人踩着的。