数据库快速迁移10亿级数据

咱们一直在追求架构的艺术！！

问题分析

通过几分钟的排查，数据库状况以下：

• 数据库采用Sqlserver 2008 R2，单表数据量21亿。

• 无水平或者垂直切分，可是采用了分区表。分区表策略是按时间降序分的区，将近30个分区。正由于分区表的缘由，系统才保证了在性能不是太差的状况下坚持至今。
• 此表除汇集索引以外，无其余索引，无主键（主键实际上是利用索引来快速查重的）。因此在频繁插入新数据的状况下，索引调整所耗费的性能比较低。
  

至于汇集索引和非汇集索引等知识，请各位移步google或者百度。

至于业务，不是太复杂。通过相关人员咨询，大约40%的请求为单条Insert，大约60%的请求为按class_id 和in_time（倒序）分页获取数据。Select请求所有命中汇集索引，因此性能很是高。这也是汇集索引之因此这样设计的目的。

解决问题

因为单表数据量已经超过21亿，而且2017年之前的数据几乎不影响业务，因此决定把2017年之前（不包括2017年）的数据迁移到新表，仅供之后特殊业务查询使用。通过查询大约有9亿数据量。
数据迁移工做包括三个个步骤：

1. 从源数据表查询出要迁移的数据
2. 把数据插入新表
3. 把旧表的数据删除

传统作法

这里申明一点，就算是传统的作法也须要分页获取源数据，由于你的内存一次性装载不下9亿条数据。

1. 从源数据表分页获取数据，具体分页条数，太少则查询原表太频繁，太多则查询太慢。
   SQL语句相似于

   SELECT * FROM (
   SELECT *,ROW_NUMBER() OVER(ORDER BY class_id,in_time) p FROM  tablexx WHERE in_time <'2017.1.1'  
   ) t WHERE t.p BETWEEN 1 AND 100

2. 把查询出来的数据插入目标数据表，这里强调一点，必定不要用单条插入策略，必须用批量插入。
3. 把数据删除，其实这里删除仍是有一个小难点，表没有标示列。这里不展开，由于这不是菜菜要说的重点。

若是你的数据量不大，以上方法彻底没有问题，可是在9亿这个数字前面，以上方法显得爱莫能助。一个字：慢，太慢，很是慢。

能够大致算一下，假如每秒能够迁移1000条数据，大约须要的时间为(单位：分)

900000000/1000/60=15000(分钟)

大约须要10天^ V ^

改进作法

以上的传统作法弊端在哪里呢？

1. 在9亿数据前查询必须命中索引，就算是非汇集索引菜菜也不推荐，首推汇集索引。
2. 若是你了解索引的原理，你应该明白，不停的插入新数据的时候，索引在不停的更新，调整，以保持树的平衡等特性。尤为是汇集索引影响甚大，由于还须要移动实际的数据。

提取以上两点共同的要素，那就是汇集索引。相应的解决方案也就应运而生：

1. 按照汇集索分页引查询数据
2. 批量插入数据迎合汇集索引，即：按照汇集索引的顺序批量插入。
3. 按照汇集索引顺序批量删除

因为作了表分区，若是有一种方式把2017年之前的分区直接在磁盘物理层面从当前表剥离，而后挂载到另一个表，可算是神级操做。有谁能指导一下菜菜，感激涕零

扩展阅读

1. 一个表的汇集索引的顺序就是实际数据文件的顺序，映射到磁盘上，本质上位于同一个磁道上，因此操做的时候磁盘的磁头没必要跳跃着去操做。

2. 存储在硬盘中的每一个文件均可分为两部分：文件头和存储数据的数据区。文件头用来记录文件名、文件属性、占用簇号等信息，文件头保存在一个簇并映射在FAT表（文件分配表）中。而真实的数据则是保存在数据区当中的。日常所作的删除，实际上是修改文件头的前2个代码，这种修改映射在FAT表中，就为文件做了删除标记，并将文件所占簇号在FAT表中的登记项清零，表示释放空间，这也就是日常删除文件后，硬盘空间增大的缘由。而真正的文件内容仍保存在数据区中，并未得以删除。要等到之后的数据写入，把此数据区覆盖掉，这样才算是完全把原来的数据删除。若是不被后来保存的数据覆盖，它就不会从磁盘上抹掉。

NetCore 代码(实际运行代码)

1. 第一步：因为汇集索引须要class_id ，因此宁肯花2-4秒时间把要操做的class_id查询出来(ORM为dapper)，而且升序排列

   DateTime dtMax = DateTime.Parse("2017.1.1");
           var allClassId = DBProxy.GeSourcetLstClassId(dtMax)?.OrderBy(s=>s);

2. 按照第一步class_id 列表顺序查询数据，每一个class_id 分页获取，而后插入目标表，所有完成而后删除源表相应class_id的数据。(所有命中汇集索引)

   int pageIndex = 1; //页码
           int pageCount = 20000;//每页的数据条数
           DataTable tempData =null;
           int successCount = 0;
           foreach (var classId in allClassId)
           {
               tempData = null;
               pageIndex = 1;
               while (true)
               {
                   int startIndex = (pageIndex - 1) * pageCount+1;
                   int endIndex = pageIndex * pageCount;
   
                   tempData = DBProxy.GetSourceDataByClassIdTable(dtMax, classId, startIndex, endIndex);
                   if (tempData == null || tempData.Rows.Count==0)
                   {
                       //最后一页无数据了，删除源数据源数据而后跳出
                        DBProxy.DeleteSourceClassData(dtMax, classId);
                       break;
                   }
                   else
                   {
                       DBProxy.AddTargetData(tempData);
                   }
                   pageIndex++;
               }
               successCount++;
               Console.WriteLine($"班级:{classId} 完成,已经完成：{successCount}个");
           }

   DBProxy 完整代码：

   class DBProxy
   {
       //获取要迁移的数据全部班级id
       public static IEnumerable<int> GeSourcetLstClassId(DateTime dtMax)
       {
           var connection = Config.GetConnection(Config.SourceDBStr);
           string Sql = @"SELECT class_id FROM  tablexx WHERE in_time <@dtMax GROUP BY class_id ";
           using (connection)
           {
               return connection.Query<int>(Sql, new { dtMax = dtMax }, commandType: System.Data.CommandType.Text);
   
           }
       }
   
       public static DataTable GetSourceDataByClassIdTable(DateTime dtMax, int classId, int startIndex, int endIndex)
       {
           var connection = Config.GetConnection(Config.SourceDBStr);
           string Sql = @" SELECT * FROM (
                       SELECT *,ROW_NUMBER() OVER(ORDER BY in_time desc) p FROM  tablexx WHERE in_time <@dtMax  AND class_id=@classId
                       ) t WHERE t.p BETWEEN @startIndex AND @endIndex ";
           using (connection)
           {
               DataTable table = new DataTable("MyTable");
               var reader = connection.ExecuteReader(Sql, new { dtMax = dtMax, classId = classId, startIndex = startIndex, endIndex = endIndex }, commandType: System.Data.CommandType.Text);
               table.Load(reader);
               reader.Dispose();
               return table;
           }
       }
        public static int DeleteSourceClassData(DateTime dtMax, int classId)
       {
           var connection = Config.GetConnection(Config.SourceDBStr);
           string Sql = @" delete from  tablexx WHERE in_time <@dtMax  AND class_id=@classId ";
           using (connection)
           {
               return connection.Execute(Sql, new { dtMax = dtMax, classId = classId }, commandType: System.Data.CommandType.Text);
   
           }
       }
       //SqlBulkCopy 批量添加数据
       public static int AddTargetData(DataTable data)
       {
           var connection = Config.GetConnection(Config.TargetDBStr);
           using (var sbc = new SqlBulkCopy(connection))
           {
               sbc.DestinationTableName = "tablexx_2017";               
               sbc.ColumnMappings.Add("class_id", "class_id");
               sbc.ColumnMappings.Add("in_time", "in_time");
               .
               .
               .
               using (connection)
               {
                   connection.Open();
                   sbc.WriteToServer(data);
               }               
           }
           return 1;
       }
   
   }

   运行报告

   程序本机运行，开***链接远程DB服务器，运行1分钟，迁移的数据数据量为 1915560，每秒约3万条数据

   1915560 / 60=31926 条/秒

   cpu状况（不高）：

   磁盘队列状况（不高）：

   在如下状况下速度还将提升

   1. 源数据库和目标数据库硬盘为ssd，而且分别为不一样的服务器
   2. 迁移程序和数据库在同一个局域网，保障数据传输时候带宽不会成为瓶颈
   3. 合理的设置SqlBulkCopy参数
   4. 菜菜的场景大多数场景下每次批量插入的数据量达不到设置的值，由于有的class_id 对应的数据量就几十条，甚至几条而已，打开关闭数据库链接也是须要耗时的
   5. 单纯的批量添加或者批量删除操做

领取架构师进阶资料大礼包