【原创理论】 数据处理•数据沉淀法则

---

---

 绪论

        最近忙于对微商城用户的数据进行冗余分离，数据处理过程枯燥乏味，因而乎内心便想着能不能适当偷偷懒呢？答案固然是不切实际的，由于分离处理必需要有人员进行跟踪监视，也正是由于数据容易存在析出不完全的现象，而对于这种现象所致使的结果，却偏偏须要进行人工的二次处理。简直能够称得上是使人焦头烂额、束手无策的了。

        不过今天去北食堂吃饭的时候，恰好路过棚桥，也恰好看到了这一幕：棚桥东池塘的水十分浑浊，而西池塘的水却格外清澈，即便东池塘要比西池塘更大一些。对呀，浑浊的水容易在相对静止的环境下进行自我沉淀，这是天然现象，这也难道不正是我一直心心念念苦心追求的“适当偷偷懒”吗！

        如今，咱们大能够设想一下，将这东池塘中相对静止的浑浊的水，比做咱们将要进行数据分离或提取的源数据，而西池塘清澈的水即是咱们处理而获得的结果，处理过程就是利用了这种天然沉淀的方法。能够把这种现象、处理方法或处理过程称之为数据沉淀法则，简称沉淀法则或者析出法则。

 

 

 

沉淀法则

       下面将从前景概要、优势和局限性、实现原理、以及体系模式等方面进行介绍，关于沉淀法则是否适用于计算机科学领域，也是否真的能帮到咱们在处理过程当中获得适当的闲暇时光呢？其实，若是要完彻底全地给一个很好的定义条件，我想这个所谓的“天然环境”也一定不会少到那里去，但咱们姑且一试！

       这里我为何要先说前景概要、优势和局限性呢？目的是为了更好地论证咱们的法则，也更好地区分法则的自身的应用局限性

 

 

前景概要

    从许多许多的现实应用中，咱们其实不难发现，沉淀法则几乎无处不在，只是都以不大相同的面目示人，举些简单地例子：利用excel软件对数据进行排序、数据库的自增码变化、资源管理器的文件显示方式等等。那么，这些与咱们所叙述的前景概要有什么关系呢？固然是有关系的，由于前者先一步存在，而咱们如今所作的无非是对其进行定义、整理和设想。

      在各位前辈的辛苦征承下，咱们如今使用的工具和所承受的技术，早就已经造成相对稳定的发展态势，并且只能朝更加稳定和适用的方向发展。而技术发展的前提之一也就是数据必须获得处理，这对于数据处理就免不了要进行提取和排序等操做，而提取和排序等操做正是沉淀法则最典型的天然形态。

     在4个主要的领域中：计算理论，算法与数据结构，编程方法与编程语言。

      计算理论虽然表面上更具备原则性，可是咱们大能够胆大地将沉淀法则与之一论：新的计算机理论必将在旧的理论的基础上，进行发展，那么就会产生相似沉淀的通常，将新生的态势不断发展。算法与数据结构就更加不用说了，简单地冒泡算法就是一个典型的例子，将权重的数日后排序的过程就是数据大颗粒沉淀的过程。编程方法与编程语言，和咱们的沉淀法则貌似神离，但其间的关系却难免一说。

    对于那些软件工程，人工智能，计算机网络与通讯，数据库系统，并行计算，分布式计算，人机交互，机器翻译，计算机图形学，操做系统，以及数值和符号计算等等的领域，即便其自己不是法则的产物，也多多少少都具备法则的发展态势和过程利用。

 

优势和局限性

      这里对法则的优势和局限性做以简单地归纳，或许独道的看法并不是是最典型的，但它也必将是正面或者反面言论不可或缺的一部分。下面咱们先来讲说优势：

1. 对数据的冗余分离更加完全，极大减小了二次返工的可能性，也极大地提升了数据纯净度（数据利用率） ；   
2. 对数据处理的范围面程度更广，适应坡度基(不一样的做业环境或底层架构设施)更强，具有良好的生存力；
3. 底部管道的安装(数据类型的提取)更加灵活，支持多路复用模式，是一种不错的数据反应池(数据梯度反应堆，一种应用型的数据处理容器)；
4. 能有效地对数据的量质(数据使用的优先率，适于引用的适应性)进行沉浮(数据的析出类型，如：越须要的数据越往上浮，冗余或者颗粒度越饱满的数据越下移。或者反过来，将须要的从底部析出)；
5. 集中计算和集中管理，避免分散数据处理的不饱和度(处理结果与指望值匹配性不高)。

  有利固然也有弊，对于法则的局限性，可简单归纳以下：

1. 时间或者空间效率没法平行。要么加重处理的复杂度(包括数据处理过程的复杂度、容器或反应堆构建的复杂度)，或者产生条件冗余(在反应堆容器为条件的状况下，产生二次结合物(不可逆的新生“脏”数据))，这须要进行相对的监管；
2. 维基梯度(支撑这个容器的物理主机硬件资源的总体能力)须要的条件较高，耗费计算资源比分散计算类型较高；

实现原理

       这里咱们姑且仍是以东池塘和西池塘为例，以下图，东池塘中存在天然的沉淀分离层，西池塘虽然存在一道分离网，可是能够将西池塘看做两个容器，展现缓存过滤的处理结果。梯度差别更加有利于高纯度的数据流出，下管道用于搬迁沉泥、杂石等杂质。东池塘还存在隐藏的部分，就是入水口，这里姑且省略。

       可是很明显，若是只是让容器自己对须要处理的数据进行自我析出的话，那么将极大地耗损计算资源和时间。那样的话，空间和时间的效率将极大地被人们难以接受，而处理的办法就是第三方“催化剂”，也正是引入了“催化剂”的缘故，致使东池塘的水的稳定性稍微下降，可是稳定性的高低大小仍是取决于“催化剂”自己，若是咱们选对了就能事半功倍，若是选很差结果也是十分严重的。

                           

      固然上述，所谓的加第三方“催化剂”是其中的一种实现方式，也能够选择其它的。咱们能够对上图的东池塘部分，进行相对的细化描述。下图模型有些简陋，可是原理是不变的。

                            

       当数据从源容器或者第三方数据库，经过API被点入东池塘中时，水仍是浑浊的。可是通过速力扇叶时，被高速打击在上层的压力扶梯面和下层的冗余数据沉积池的压力扶梯面上，便被高速筛选。以上仅仅是对于以东池塘和西池塘为例的模型而论，由于实际计算机内部的计算实现方式与池塘过滤有所不一样，因此引入了下方沉积法则的体系模式。

 

体系模式

      沉积法则的体系模式分为权重分配沉积法、分层积降法和动态沉淀法。这两种分离析出模式的不一样点在于：前者主要按元素的形式沉积，而分层积降法是总体对数据集进行沉降。理论上而言，分层积降法的计算能力时间较长，权重分配沉积法的计算压力更大。而动态沉淀法综合了二者的优势，采起的是了动态分批模式。

     而对于权重分配沉积法、分层积降法和动态沉淀法的底层实现方法，又能够分为集合形式、链式、以及图式。这里所涉及的集合、链、以及图等的概念，并不是是咱们烂熟于心单纯的JAVA或者C数据结构，而是这些结构的有机体。

        1.权重分配沉积法

        权重分配沉积法内部分为头权重、身重和尾权重。无论是哪种的权重分配，都难免涉及权重如何分配以及权重如何回收等的问题。

       首先，是头权重。简单地来讲，就是对单个数据元素创建相似于键值对的形式，创建多列级别的晒选标签。权重级别根据数据处理人员或客户要求，创建级别库，当数据进入池子后，程序根据轮转的性质对元素进行体检，并将级别属性做为前置权重标签值分配。源数据能够不间断地进入容器，可是在筛选程序已经执行时，数据元仍然能够具有沉降特性。各司其职互不干涉，耗费的计算时间是连续的，可是权重分配和元素自我沉积互不影响。至于权重怎么回收？以权重的方式将数据元的数据属性分配到相应的容器中，通过了压力扶梯表面，另外一个容器就进行数据元的结构拆除，还原数据的结构体，并创建新的结构集包装。

       相应的身重和尾权重，与头权重相比区别不大，但可进行相应的优化。

       2.分层积降法

        与权重分配沉积法的头权重同样，将数据元加载到沉降容器中，可是不一样在于：在数据集合彻底进入处理池中前，数据处理池更改自身的标签类型，将本身化做缓存池。等到彻底加载完毕将再次修改池的标签类型，真正地进入数据沉降过程。因为在数据处理前花费的等待时间过长，因此分层积降法也称为静态法。因为一次处理未见得获得高分离度数据集，因此首次底层沉降的部分会经过容器壁面深埋的多路管道，回到顶部，进行二次沉降。总体看似分层，由此得名。

 

      3.动态沉淀法

        在容器池中启用二级或多级缓存池，存储新来的数据元，而且在筛选程序未执行完前，前一批操做时不得从缓存池中释放。当筛选程序执行完后，调度一级缓存池的数据集。二级缓存池将数据分配给一级缓存池。当设置的N级缓存池缓存满了以后，将阻塞进料口，致使进料缓慢但不会形成数据集内容丢失。也能够采用多路复用的形式，在一层分离提取的基础上设置二层或多层分离池，提升提取的成分精度。