根治Kubernetes“存储头痛症”的方法

为何在云原生世界中，咱们已经自动化了对这么多底层硬件复杂性的管理，因此存储仍然如此痛苦？缘由是两个词：数据孤岛。

若是您已经在使用Kubernetes了，则可能有一个简单的缘由：它使您的生活更轻松。毕竟，这是基于容器编排的整个前提。它让基础设施变得可支配，在须要时将其旋转，完成后将其丢弃，所以您没必要考虑太多。至少，这就是应该起做用的方式。

如你所知，若是你已经创建起一个依赖于持久性数据的工做，你会立刻遇到一个大问题——存储。

尽管Kubernetes彻底抽象了计算和网络基础架构，可是当您的应用程序是有状态的而且数据是持久的时，它须要合适的方式进行存储。您仍必须了解底层存储基础架构的所有知识，才能找到所需数据的方式。

不只是数据的位置，还有其余类型的存储基础结构附带的全部其余细粒度的考虑因素（性能，保护，弹性，数据治理和成本），大多数数据科学家都不想考虑。

为何在云原生世界中，咱们已经自动化了对这么多底层硬件复杂性的管理，因此存储仍然如此痛苦？缘由是两个词：数据孤岛。

只要咱们继续经过其赖以生存的不一样基础架构来管理数据，而不是只关注数据自己，咱们将不可避免地最终要花费大量的存储孤岛。幸运的是，这不是一个棘手的问题。经过将咱们对数据管理的思考方式从以基础架构为中心的方法转变为以数据为中心的方法，咱们可使用Kubernetes首先给咱们提供承诺：制做存储SEP（Someone Else‘s Problem）。

虚拟化您的数据

当您须要的数据散布在不一样的存储孤岛上时，每一个存储孤岛都有本身的独特属性（“或”或“云”，“本地”，“对象”，“高性能”等），根本没法抽象出基础架构注意事项。仍然有人必须回答全部有关性能，成本和数据治理的问题，才能创建您的管道。（若是该人是您要寻求帮助的IT管理员，您能够打赌他们每次在您的名字上出现您的名字时都会畏缩。由于他们知道他们将花费大量时间在神秘的基础结构接口上来破坏您的数据跨全部不一样的副本和数据存储，并且他们根本没法在午饭前完成任务。

摆脱这种头痛的惟一方法-真正实现Kubernetes应该为您提供的速度和简便性的惟一方法-是虚拟化数据。基本上，您须要在数据和全部各类存储基础架构之间创建一个智能抽象层。该抽象层应该使您能够在任何地方查看和访问数据，而没必要担忧给定的基础架构是否具备适合您正在执行的操做的成本，位置或治理，也没必要不断建立新副本。

作到这一点并不像听起来那么困难。关键：元数据。当您能够将全部数据需求，上下文或沿袭注意事项编码为随处可见数据的元数据时，那么在任何给定时刻驻留在哪一个基础结构数据上就再也不重要。如今，当您创建数据管道时，您能够彻底使用元数据。并且您的虚拟化层可使用AI / ML为您自动处理全部基础数据管理和基础结构注意事项。

利用基础架构抽象

一旦创建了虚拟化层，并经过元数据进行数据管理，就能够执行之前没法完成的各类事情。

1.消除数据孤岛：如今，您须要的数据位于哪一个基础架构上或该基础架构位于什么位置都无所谓。对于您的应用程序，全部那些之前孤立的存储资源（本地，云，混合，归档）看起来就像一个通用的全局名称空间。

2.以编程方式访问存储资源：因为您在处理元数据（而不是一堆不一样的底层硬件基础结构），所以您如今能够设置管道并经过声明性语句访问数据：我须要具备这种性能的数据，仅此而已真的很在意。而后，智能虚拟化层就能够实现并实现，而您的应用程序（或您负担太重的IT管理员）则无需确切说明操做方法。

3.使数据管理实现自助服务：数据科学家无需担忧比较不一样存储类型的成本，启用数据保护或确保每次创建管道时都知足安全性和合规性要求。（所以，您的IT和安全团队可能也不但愿数据科学家作出这些选择-除非他们但愿全部内容都在最昂贵的存储上运行且没有适当的听从性。）一旦将元数据和数据的管理分开，全部消失了。存储管理员能够经过配置一次基本策略来设置防御栏。而后，用户能够今后开始自助知足其大多数数据管理需求，而无需打开票证，而且不会在每次创建管道时手动进行这些调用时出现错误。

4.不断丰富您的数据：当系统支持可自定义的，可扩展的元数据时，您如今能够进行各类有趣的事情。例如，您能够构建递归流程，在其中经过系统运行数据，获取一些结果，将这些结果添加回元数据，而后再次运行做业。您能够开始对数据周围的数据创建深刻的上下文理解。处理和使用的数据越多，未来用于其余做业的数据就越丰富。并且，对于要使用它的任何其余应用程序或数据科学家来讲，如今，智能老是随处可见。它并不局限于一个副本，而是藏在某个地方的一个存储孤岛上。

解开数据

当您虚拟化数据时，全部这些事情都是可能的，由于与孤立的存储基础架构相比，元数据的使用更加灵活。设置和编排数据管道所伴随的存储注意事项如今能够为您解决。您的存储资源将变为可编程的，自助服务的而且自动合规，一般不须要手动干预。

忽然之间，您实际上生活在这样一个现实，即Kubernetes和软件定义的存储始终应该交付。不管基础架构如何，存储都是软件定义的，可编程的而且在混合云环境中保持一致。您的数据更丰富，更灵活。您的IT团队再也不将ID卡上的爆炸照片留在墙上扔镖。最重要的是，您实际上在处理数据上花费了更多时间，而不用担忧数据的存放位置。