人工智能如何提高大数据存储与管理效率？

简介： 经过使用AI数据存储，供应商和企业能够将存储管理提高到一个新的水平。并且，存储管理员能够找到他们目前正在努力管理的指标的解决方案。

随着大数据的大量来源以及企业可用数据量的增长，存储容量规划已成为存储管理员的问题。据估计，天天产生2.5万亿字节的数据。如今，若是以神经元计算的话，那就是至关于2.5亿我的类大脑的海量数据。并且，相同的估计代表，全球总数据的90%是从2016年到2018年生成的。

能够简单地说，天天生成愈来愈多的数据，这正增长了存储工做负载的规模和复杂性。可是，人工智能能够拯救存储管理员，帮助他们高效地存储和管理数据。经过使用AI数据存储，供应商和企业能够将存储管理提高到一个新的水平。并且，存储管理员能够找到他们目前正在努力管理的指标的解决方案。

存储管理员须要努力的主要指标

存储管理员在管理存储问题时面临一些挑战。并且，若是他们克服了这些挑战，将帮助他们在数据存储的各个方面之间找到适当的平衡，例如在哪里分配工做负载，如何分配工做负载以及如何优化堆栈等等。

通常而言，吞吐量是指处理某事物的速率。在网络级别，吞吐量的度量单位是Mbps(兆位/秒)，而在存储级别，吞吐量的度量单位是MB /秒(兆字节/秒)。因为一个字节等于八兆位，所以生产率在存储级别上提升了。而且，变得难以管理提升的生产率。

1. 延时

延迟是服务器完成请求所花费的时间。关于存储，这是指知足单个存储块的请求所花费的时间。存储块或块存储是将数据存储在卷中的块。纯延迟不受吞吐量影响，可是若是单个块请求很大，则应用延迟可能会随着吞吐量的增长而偏离。

2. IOPS(每秒输入/输出操做)

IOPS是指存储堆栈每秒能够处理的离散读写任务的数量。存储堆栈是一种容许过程调用的数据结构。这意味着将多个过程彼此存储在堆栈中，而后在调用和返回的基础上一个接一个地执行全部过程。例如，若是一个过程被调用，它将被执行，而后返回，以便在堆栈中调用下一个过程。并且，在谈论IOPS时，基础输入/输出任务能够达到存储系统的堆栈限制。例如，读取一个大文件和多个小文件可能会对IOPS产生影响。因为读取单个大文件仅须要执行一个读取任务，所以能够以较高的速度执行它，而另外一方面，读取多个文件的速度很是慢，由于须要执行许多读取任务。

AI数据存储如何解决存储问题

企业管理员和存储供应商处理各类各样的存储类型。并且，它们还知足不一样输入/输出服务的指标。大型文件共享应用可能须要适当的吞吐量，但也必须容许延迟损失，由于大型而复杂的应用可能会对延迟产生不利影响。另外一方面，电子邮件服务器可能须要大量存储，低延迟和良好的吞吐量，但它可能不须要很是苛刻的IOPS配置文件。而且，存储管理员应该决定应该为哪些存储分配什么资源。所以，在组织中运行着成千上万的服务时，对基础存储的管理超过了人们进行明智更改的能力。并且，这就是AI算法派上用场的地方。

人工智能支持的存储管理和计划

AI能够监控存储以检测多种工做负载的模式和性能。这里的工做负载是由各类输入/输出特征或应用任务生成的数据流。经过检测这些工做负载模式，AI能够帮助存储管理员洞悉哪些工做负载可能使他们面临最大化存储阵列的风险。此外，存储监视还能够帮助了解是否有任何额外的工做负载能够放入阵列中。并且，若是添加到阵列中，那么工做负载将形成多少中断。

例如，假设一家企业正在向流程中添加电子邮件服务器。在这种状况下，人工智能系统能够帮助预测存储阵列将可以知足该服务器的存储需求仍是将其最大化。借助此类技术，存储管理员能够主动获取有关如何将不一样的工做负载分配给不一样的存储堆栈并最大程度地减小延迟的信息。所以，将AI集成到存储阵列，存储供应商和组织中能够优化存储堆栈。

除了监视存储活动外，存储管理员还须要检查和分析存储系统要使用的应用的编码和错误。这有助于他们更好地了解如何围绕应用的需求设计存储体系结构。他们经过了解应用的输入/输出模式来作到这一点。用于执行此操做的最多见技术是捕获应用的跟踪。

Strace是Linux的用户空间实用程序，可用于诊断、调试和获取有关输入和输出功能的指令。可是，因为复杂的应用能够具备多个输入/输出功能，所以这对人类来讲多是一个挑战。另外一方面，ML算法能够轻松地提取和分析大量数据，并解决许多存储问题，最好是经过查看存储系统自己来解决。此外，经过使用大量数据训练算法，以了解特定堆栈或整个应用如何收集和存储数据，它们能够帮助实现对该特定应用存储活动的实时观察，以防止堆栈最大化并改善存储容量。

AI数据存储可知足客户需求

遥测数据是自动记录和无线传输来自远程或不可访问来源的数据。遥测如下列方式起做用：传感器在源处测量数据，它们将其转换为电压，而后将其与定时数据合并为单个数据流，该数据流将传输到远程接收器。接收后，能够根据用户要求对数据进行处理。

AI的计算机视觉技术能够扫描遥测数据，以保护存储阵列免受漏洞侵害。当使用有关漏洞的历史数据进行训练时，机器学习算法能够未来自各类应用程序的传入数据与历史数据进行匹配，以发现漏洞的可能性。所以，借助AI的预测分析，存储供应商能够着眼于在遇到客户以前防止存储问题。

AI数据存储仍处于起步阶段，但已经显示出了惊人的结果。并且，所以云供应商和其余存储管理员正在对AI进行愈来愈多的投资，以使用超融合存储系统进行存储维护。采用主流AI数据存储确定会帮助企业控制上述全部指标，并为其客户提供更好的服务。

[
](https://developer.aliyun.com/...

原文连接本文为阿里云原创内容，未经容许不得转载。