昨天晚上 18:15 左右咱们发布了跑在 Windows 上 .NET Core 博客系统,本想与 .NET Framework 版进行同“窗”的较量,结果刚发布上线就发现 CPU 占用异常高,发布不到1小时就下线了,根本不是一个级别的较量,或者说 .NET Core 连较量的资格都没有,刚上台就趴下了。html
若是与 Linux 上的 .NET Core 博客系统(docker swarm 与 docker-compose 部署方式)相比,也是否是一个级别的较量,部署在 Linux 上时是访问高峰撑不住,而部署在 Windows 上连访问低峰都撑不住。git
在昨天发布失败后,咱们怀疑 CPU 异常高多是由于 memcached 客户端 EnyimMemcachedCore 使用异步方法时的并发性能问题,因而咱们把异步改成同步。github
今天咱们在验证是不是 EnyimMemcachedCore 的并发性能问题时,咱们采用了新的方法,接入部分流量,让单台服务器的 QPS 达到必定值,结果发现了另一个作梦也没有想到的问题。web
在 QPS 不高时,跑在 Windows 上的 .NET Core 博客站点表现很是出色,响应速度飞快;可是当 QPS 高于必定值(咱们测试时接入的流量让 QPS 在 300-500 左右),.NET Core 博客站点像变了我的似的,大量请求响应速度变慢,并且随着时间推移愈来愈慢(一种泄漏现象),先是不少请求响应时间5秒左右(咱们是从5秒开始监控的),而后是10秒左右,而后是15秒左右。。。而后日志中出现大量下面的错误docker
2019-08-14 13:13:16.290 [Error] Failed executing DbCommand ("30,022"ms)
System.Data.SqlClient.SqlException (0x80131904): Timeout expired. The timeout period elapsed prior to completion of the operation or the server is not responding. ---> System.ComponentModel.Win32Exception (258): The wait operation timed out. at System.Data.SqlClient.SqlCommand.<>c.<ExecuteDbDataReaderAsync>b__126_0(Task`1 result) at System.Threading.Tasks.ContinuationResultTaskFromResultTask`2.InnerInvoke() at System.Threading.ExecutionContext.RunInternal(ExecutionContext executionContext, ContextCallback callback, Object state) --- End of stack trace from previous location where exception was thrown --- at System.Threading.Tasks.Task.ExecuteWithThreadLocal(Task& currentTaskSlot, Thread threadPoolThread)
EF Core 执行的不少 SQL 查询超时(超过30秒),而 EF Core 生成的这些 SQL 语句没有问题,咱们都 review 过。数据库
查看数据库服务库的监控,让人大吃一惊,就这点 QPS ,仅仅由于 .NET Core 在 Windows 上跑居然形成数据库服务器 CPU 100% 。服务器
而只要将 .NET Core 博客站点一下线,数据库服务器 CPU 就立马恢复正常,问题很是奇怪。并发
今天微软也发布了 .NET Core 3.0 Preview 8 ,咱们将 System.Data.SqlClient 升级到 4.7.0-preview8.19405.3 也是一样的问题。异步
咱们的数据库服务器用的是阿里云 RDS SQL Server 2008 R2 ,EF Core 用的是 3.0.0-preview5.19227.1 ,因为 EF Core 3.0 从 Preview 6 开始不支持 UseRowNumberForPaging ,因此暂时没法升级到 EF Core 3.0 Preview 8 ,不知道最新版的 EF Core 是否也有这个问题,但咱们怀疑应该是 System.Data.SqlClient 的问题,至少是 System.Data.SqlClient 对 Windows 的支持问题,或者是对 SQL Server 2008 R2 的支持问题。memcached
.NET Core 升级之路又遇新障碍。
接下来,咱们会进一步排查这 2 个 CPU 高的问题(web服务器与数据库服务器)。
EF Core 与 SqlClient 相关问题连接:
Powered by .NET Core 系列博文: