云计算之路-阿里云上-寒流来袭：2014年12月23日21:45-23:15网站故障

1个多小时间的网站故障给你们带来很大的麻烦，在这里咱们表示深深的歉意！但愿你们可以谅解！

这两天上海的气温在回升，而杭州的云上却忽然袭来一股寒流。

12月23日晚上，阿里云进行了一次RDS的功能发布，在发布中悄无声息地修改了咱们的RDS数据库链接数限制，谁也不知道，而后。。。

21:45:52左右开始，日志中出现大量执行时间超过5秒的请求。

而后出现超过10秒、20秒。。。甚至超过100秒的请求。

21:46:50左右，开始出现数据库链接错误：

System.Data.SqlClient.SqlException (0x80131904): Timeout 时间已到。
在操做完成以前超时时间已过或服务器未响应。
尝试链接到 Principle 服务器时发生了此故障。 
---> System.ComponentModel.Win32Exception (0x80004005): 等待的操做过期。

并继续出现大量执行时间超过5秒的请求。

接着出现下面的错误：

System.InvalidOperationException: 超时时间已到。
超时时间已到，可是还没有从池中获取链接。
出现这种状况多是由于全部池链接均在使用，而且达到了最大池大小。

再接着就是下面的错误：

System.Web.HttpUnhandledException (0x80004005): 引起类型为“System.Web.HttpUnhandledException”的异常。 
---> System.Data.SqlClient.SqlException (0x80131904): 已成功与服务器创建链接，可是在登陆前的握手期间发生错误。 
(provider: SSL Provider, error: 0 - 等待的操做过期。)

而后网站就没法正常访问。

（上图中紫色的线条表示的是请求执行时间）

当咱们发现问题后，当即向阿里云反馈，而后与阿里云工做人员一块儿排查问题。可是咱们不知道此次RDS发布，阿里云参加排查问题的人也不知道。因而，紧张地作了1小时左右的无用功，直到知道了故障的真相——RDS功能发布时修改了咱们的RDS最大链接数限制，并且此次发布事先没有任何通知。

咱们不要这样的“被故障”，咱们要的是无端障，但愿2015年整年无端障！