基于.net的通用内存缓存模型组件

    谈到缓存，咱们天然而然就会想到缓存的好处，好比：

•     下降高并发数据读取的系统压力：静态数据访问、动态数据访问
•     存储预处理数据，提高系统响应速度和TPS
•     下降高并发数据写入的系统压力
•     提高系统可用性，后台宕机后，系统还存在可用的机会

    缓存技术一直是优化程序性能的一个重要手段，在互联网技术体系中，也不例外。可是在分布式架构下，你们开始更多的使用分布式缓存，好比Redis、MemcacheD等等，对进程内的内存缓存使用的愈来愈少。其主要缘由无外乎几点：

     一是，数据不能作到强一致性，程序内存数据缓存同步的周期相对分布缓存更慢一些。

     二是，须要对缓存的各类同步策略进行封装，并控制同步时机。进程内缓存的使用比分布式缓存的使用具备更高的技术门槛。没有分布缓存使用简单。   

    虽然分布式缓存具备很是多很好的特性，可是当彻底抛弃了程序内存缓存后，分布式缓存将会被滥用，应用程序甚至过分的依赖分布式缓存。笔者认为，任何一种技术的滥用，都将可能致使系统架构在健壮性上存在缺陷。分布式缓存虽然很好用，性能也不错，可是与进程内存缓存比起来，性能仍是差了好多个数量级。要想把系统的性能作到极致，仅仅依赖Redis等分布式缓存还不不够的，还须要充分利用进程内存缓存。

    缓存技术，从出现到如今，总结来讲，已有四个阶段的发展：本地缓存、分布式缓存、弹性缓存平台，弹性应用平台。本地缓存的特色是数据存储在应用代码所在内存空间，可提供快速的数据访问，纳秒级性能。缺点也很明显，数据没法分布式共享，无容错处理。分布式缓存的特色是数据在固定数目的集群节点间分布存储，缓存容量可扩展(静态扩展)，可是扩展过程当中需大量配置，无容错机制。弹性缓存平台的特性是数据在集群节点间分布存储，基于冗余机制实现高可用性。其优势是可动态扩展，具备容错能力，可是复制备份会对系统性能形成必定影响。弹性应用平台的特色是弹性缓存与代码执行的组合体，将业务逻辑代码转移到数据所在节点执行，极大地下降数据传输开销，提高系统性能。纵观整个缓存技术的发展，经历了从分散到集中，又到集中并分散的一个过程。弹性应用平台做为最终的缓存解决方案，已经不只仅停留在缓存技术自己，而是更多的考虑了如何更好的与业务代码无缝集成，并提供进程内存级别的性能。

     基于此，咱们规划设计了一个通用的内存缓存组件。经过此组件，能够实现各类内存数据的缓存，以及缓存数据同步等，并提供了分布式缓存数据同步到进程内存的方案。此组件与传统的缓存组件有很大的不一样，它是对进程内存缓存的使用和同步作了抽象和总结，直接提供了一套模型。上文也提到，使用进程内存缓存最大的挑战在与数据同步，那么，咱们先看一下影响进程内存缓存同步的一些因素。经过下图，咱们看到在同步策略、同步时机、同步模式上都有不少选择。进程内存缓存的使用，其实就是下面三个维度组合处理的一个结果。

    在实际的业务中，同步策略更多的会基于时间、数据版本或者时间来作，而后选择合适的同步时机和模式来执行数据同步。因此，在组件的封装上，咱们支持了三种应用模型：

• 对缓存数据标记有效期，过时自动清理
• 缓存数据时，同时缓存数据版本，定时校验或实时校验数据版本，发现版本不一致时清理或从新同步缓存数据
• 缓存数据并订阅数据变化通知，当收到变化通知后，更新缓存数据

模型一：对缓存数据标记有效期，过时自动清理

     此模型主要适用于， 好比：字符串资源信息查询、App充电地图数据、App最新动态、高频率日志记录、配置中心数据的缓存等等。

• 数据实时性要求很低，访问频率很高，变化频率较小的数据查询

• 访问频率很高，查询参数基本一致的数据查询

• 访问频率很高，容许丢失的辅助信息写入

    代码示例：

//nuget：Teld.Core

//引用：Teld.Core.Cache.ServiceEx.dll

 

 

//建立一个带过时时间的本地内存容器

using(var container = LocalCacheService.CreateExpirationContainer("TTP-Cache-CFG"))

{

    //向容器中增长项目，3秒钟的有效期

    container.Add("Name", "张三", new TimeSpan(0, 0, 3));

    //想容器中增长项目，永久有效

    container.Add("Address", "鑫盛大厦1号楼12层北特来电");

}

模型二：缓存数据时，同时缓存数据版本，定时校验或实时校验数据版本，发现版本不一致时清理或从新同步缓存数据

     此模型主要适用于， 好比：帮助查询等。

• 数据实时性要求不高，访问频率很高的数据查询
• 访问频率很高，查询参数基本一致的数据查询

     代码示例1： 定时同步，每分钟执行一次版本同步

static voidMain(string[] args)

{

   //建立缓存数据同步代理

   CacheValidateEventHandler<UserInfo> handler = new CacheValidateEventHandler<UserInfo>(SyncUserData);

   //建立一个带版本校验的本地内存缓存容器，每隔60s，自动进行一次数据全量同步

   using(varcontainer = LocalCacheService.CreateVersionContainer<UserInfo>("TTP-Cache-User", handler, SyncTime.Timing, SyncModel.All, 60))

   {

       container.SyncFailed += Container_SyncFailed;   //数据同步失败，事件通知

       container.SyncData();   //当即执行一次数据同步

 

       var user = container.Get("Name");                     //从缓存中获取数据

       Console.WriteLine(JsonConvert.SerializeObject(user));

   }         

   Console.ReadLine();

}

 

//数据同步，返回全量或者增量数据，并返回数据的最新版本

static Dictionary<string, UserInfo> SyncUserData(CacheValidateEventArgs e,out string newVersion)

{

   //经过e.Version获取上次同步的数据数据

   Dictionary<string, UserInfo> result = new Dictionary<string, Cache.UserInfo>();

   Random r = new Random(DateTime.Now.Second);

   result.Add("Name", new Cache.UserInfo() { Name = "Name", Age =r.Next(1,20) , IsMale = true , LastModifyTime = DateTime.Now});

   newVersion = DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss.fff");

 

   return result;

}

    代码示例2： 调用缓存Get方法时，自动同步缓存    

static void Main (string[] args)

{ //建立缓存数据同步代理

     CacheValidateEventHandler<UserInfo> handler = new CacheValidateEventHandler<UserInfo>(SyncUserData);

     //建立一个带版本校验的本地内存缓存容器

     varcontainer = LocalCacheService.CreateVersionContainer<UserInfo>("TTP-Cache-User", handler, SyncTime.GetCheck, SyncModel.All);

     container.SyncFailed += Container_SyncFailed; //数据同步失败，事件通知

     var user = container.Get("Name"); //从缓存数据中获取数据

     Console.WriteLine(JsonConvert.SerializeObject(user));

     Console.ReadLine();

}

模型三：缓存数据并订阅数据变化通知，当收到变化通知后，更新缓存数据

    此模型主要适用于， 好比：电站状态缓存等。

• 数据实时性要求比较高，访问频率很高的数据查询

    代码示例1： 带事件更新通知的缓存    

public void GetString_Invoke()

{

//建立一个带MQ变化通知的本地内存缓存容器

using (var container = LocalCacheService.CreateEventContainer<string>("TTP-Cache-EventCacheUnitTest",

                 (CacheValidateEventArgs e, out string newVersion) =>

                 {

                     newVersion = Guid.NewGuid().ToString();

return BuildStringData();

                 }, SyncModel.All, 1))

            {

             container.SyncData(); //为容器初始化数据

             var data = container.Get("lastModifytime");  //获取数据项

             Assert.IsNotNull(data);

             var data1 = container.Get("lastModifytime");

             Assert.AreEqual(data, data1);

             //发送数据项的更新通知事件

             LocalCacheService.SendDataChangedEvent(container.Name, "lastModifytime");

             Thread.Sleep(5000);

             var data2 = container.Get("lastModifytime");

             Assert.AreNotEqual(data2, data);

            }

}

    代码示例2：数据删除的事件通知

public void GetString_Delete()

        {

            //建立一个带MQ变化通知的本地内存缓存容器

            using (var container = LocalCacheService.CreateEventContainer<string>("TTP-Cache-EventCacheUnitTest",

                 (CacheValidateEventArgs e, out string newVersion) =>

                 {

                     newVersion = Guid.NewGuid().ToString();

                     return BuildStringData();

                 }, SyncModel.All, 1))

            {

                container.SyncData();                                                   //为容器初始化数据

                var data = container.Get("lastModifytime");           //获取数据项

                Assert.IsNotNull(data);

                var data1 = container.Get("lastModifytime");

                Assert.AreEqual(data, data1);

                LocalCacheService.SendDataChangedEvent(container.Name, "lastModifytime", EventType.Delete);   //发送数据项的删除通知事件

                Thread.Sleep(5000);

                var data2 = container.Get("lastModifytime");

                Assert.IsNull(data2);

            }

        }

    以上是此缓存组件应用的三种模型。三种模型，可经过 LocalCacheService 建立。其代码以下：

　public class LocalCacheService

    {

        /// <summary>

        /// 建立过时自动清理的本地内存缓存容器

        /// </summary>

        /// <param name="key">容器标识,三段式命名，全局惟一：TTP-Resource-DataCache</param>

        /// <param name="limitSize">限制使用的内存大小（M）</param>

        public static IExpirationCacheContainer CreateExpirationContainer(string key,long? limitSize =null)

        {

            if (string.IsNullOrEmpty(key))

            {

                throw new ArgumentException("Key值不能为空！", nameof(key));

            }

            return new InMemoryExpirationContainer(key, limitSize);

        }

        /// <summary>

        /// 建立基于版本比较的本地内存缓存容器

        /// </summary>

        /// <typeparam name="T"></typeparam>

        /// <param name="key">容器标识,三段式命名，全局惟一：TTP-Resource-DataCache</param>

        /// <param name="handler">基于版本比较的数据处理器</param>

        /// <param name="syncTime">同步时机</param>

        /// <param name="model">同步模式</param>

        /// <param name="syncTimeMin">同步时机为Timing时，同步时间间隔</param>

        /// <returns></returns>

        public static IVersionCacheContainer<T> CreateVersionContainer<T>(string key, CacheValidateEventHandler<T> handler, SyncTime syncTime = SyncTime.Invoke,SyncModel model = SyncModel.All,int syncTimeSec=180) where T : class

        {

            if (string.IsNullOrEmpty(key))

            {

                throw new ArgumentException("Key值不能为空！", nameof(key));

            }

            if (handler == null)

            {

                throw new ArgumentNullException(nameof(handler));

            }

            if (syncTimeSec == 0)

                syncTimeSec = 180;

            return new InMemoryVersionCacheContainer<T>(key, handler, syncTime, model, TimeSpan.FromSeconds(syncTimeSec));

        }

        /// <summary>

        /// 建立基于事件通知的本地内存缓存容器

        /// </summary>

        /// <typeparam name="T"></typeparam>

        /// <param name="key">容器标识,三段式命名，全局惟一：TTP-Resource-DataCache</param>

        /// <param name="handler">基于版本比较的数据处理器</param>

        /// <param name="model">同步模式</param>

        /// <param name="syncTimeMin">同步时机为Timing时，同步时间间隔</param>

        /// <returns></returns>

        public static IVersionCacheContainer<T> CreateEventContainer<T>(string key,CacheValidateEventHandler<T> handler, SyncModel model = SyncModel.All, int syncTimeSec = 180) where T : class

        {

            if (string.IsNullOrEmpty(key))

            {

                throw new ArgumentException("Key值不能为空！", nameof(key));

            }

            if (handler == null)

            {

                throw new ArgumentNullException(nameof(handler));

            }

            if (syncTimeSec == 0)

                syncTimeSec = 180;

            return new InMemoryEventCacheContainer<T>(key,model,handler, TimeSpan.FromSeconds(syncTimeSec));

        } 

    }

　　同步模式和同步时机的定义以下：

/// <summary>

/// 同步模式
/// </summary>
public enum SyncModel : int
{
    All, //全量同步，清楚历史缓存信息，从新插入
    Increase, //增量同步，同步变化部分，不对历史缓存数据清理
    Clear //仅清理历史数据
}

/// <summary>
/// 同步时机
/// </summary>
public enum SyncTime : int
{
    Invoke, //调用方执行SyncData方法主动同步
    Timing, //定时同步
    GetCheck //Get方法是自动同步
}

　　以上是咱们在进程内存组件的一些实践心得，更多技术细节，欢迎同窗们来电沟通。微信号：vveiliang