图解NumPy，这是理解数组最形象的一份教程了

本文用可视化的方式介绍了 NumPy 的功能和使用示例。

 

NumPy 软件包是 Python 生态系统中数据分析、机器学习和科学计算的主力军。它极大地简化了向量和矩阵的操做处理。Python 的一些主要软件包（如 scikit-learn、SciPy、pandas 和 tensorflow）都以 NumPy 做为其架构的基础部分。除了能对数值数据进行切片（slice）和切块（dice）以外，使用 NumPy 还能为处理和调试上述库中的高级实例带来极大便利。

 

本文将介绍使用 NumPy 的一些主要方法，以及在将数据送入机器学习模型以前，它如何表示不一样类型的数据（表格、图像、文本等）。

 

import numpy as np

 

建立数组

 

咱们能够经过传递一个 python 列表并使用 np.array（）来建立 NumPy 数组（极大多是多维数组）。在本例中，python 建立的数组以下图右所示：

 

 

一般咱们但愿 NumPy 能初始化数组的值，为此 NumPy 提供了 ones()、zeros() 和 random.random() 等方法。咱们只需传递但愿 NumPy 生成的元素数量便可：

 

 

一旦建立了数组，咱们就能够尽情对它们进行操做。

 

数组运算

 

让咱们建立两个 NumPy 数组来展现数组运算功能。咱们将下图两个数组称为 data 和 ones：

 

 

将它们按位置相加（即每行对应相加），直接输入 data + ones 便可：

 

 

当我开始学习这些工具时，我发现这样的抽象让我没必要在循环中编写相似计算。此类抽象可使我在更高层面上思考问题。

 

除了「加」，咱们还能够进行以下操做：

 

 

一般状况下，咱们但愿数组和单个数字之间也能够进行运算操做（即向量和标量之间的运算）。好比说，咱们的数组表示以英里为单位的距离，咱们但愿将其单位转换为公里。只需输入 data * 1.6 便可：

 

 

看到 NumPy 是如何理解这个运算的了吗？这个概念叫作广播机制（broadcasting），它很是有用。

 

索引

 

咱们能够咱们像对 python 列表进行切片同样，对 NumPy 数组进行任意的索引和切片：

 

 

聚合

 

NumPy 还提供聚合功能：

 

 

除了 min、max 和 sum 以外，你还可使用 mean 获得平均值，使用 prod 获得全部元素的乘积，使用 std 获得标准差等等。

 

更多维度

 

上述的例子都在一个维度上处理向量。NumPy 之美的关键在于，它可以将上述全部方法应用到任意数量的维度。

 

建立矩阵

 

咱们能够传递下列形状的 python 列表，使 NumPy 建立一个矩阵来表示它：

 

np.array([[1,2],[3,4]])

 

咱们也可使用上面提到的方法（ones()、zeros() 和 random.random()），只要写入一个描述咱们建立的矩阵维数的元组便可：

 

 

矩阵运算

 

若是两个矩阵大小相同，咱们可使用算术运算符（+-*/）对矩阵进行加和乘。NumPy 将它们视为 position-wise 运算：

 

 

咱们也能够对不一样大小的两个矩阵执行此类算术运算，但前提是某一个维度为 1（如矩阵只有一列或一行），在这种状况下，NumPy 使用广播规则执行算术运算：

 

点乘

 

算术运算和矩阵运算的一个关键区别是矩阵乘法使用点乘。NumPy 为每一个矩阵赋予 dot() 方法，咱们能够用它与其余矩阵执行点乘操做：

 

 

我在上图的右下角添加了矩阵维数，来强调这两个矩阵的临近边必须有相同的维数。你能够把上述运算视为：

 

 

矩阵索引

 

当咱们处理矩阵时，索引和切片操做变得更加有用：

 

 

矩阵聚合

 

咱们能够像聚合向量同样聚合矩阵：

 

 

咱们不只能够聚合矩阵中的全部值，还可使用 axis 参数执行跨行或跨列聚合：

 

 

转置和重塑

 

处理矩阵时的一个常见需求是旋转矩阵。当须要对两个矩阵执行点乘运算并对齐它们共享的维度时，一般须要进行转置。NumPy 数组有一个方便的方法 T 来求得矩阵转置：

 

 

在更高级的实例中，你可能须要变换特定矩阵的维度。在机器学习应用中，常常会这样：某个模型对输入形状的要求与你的数据集不一样。在这些状况下，NumPy 的 reshape() 方法就能够发挥做用了。只需将矩阵所需的新维度赋值给它便可。能够为维度赋值-1，NumPy 能够根据你的矩阵推断出正确的维度：

 

 

再多维度

 

NumPy 能够在任意维度实现上述提到的全部内容。其中心数据结构被叫做 ndarray（N 维数组）不是没道理的。

 

 

在不少状况下，处理一个新的维度只需在 NumPy 函数的参数中添加一个逗号：

 

 

实际用法

 

如下是 NumPy 可实现的有用功能的实例演示。

 

公式

 

实现可用于矩阵和向量的数学公式是 NumPy 的关键用例。这就是 NumPy 是 python 社区宠儿的缘由。例如均方差公式，它是监督机器学习模型处理回归问题的核心：

 

 

在 NumPy 中实现该公式很容易：

 

 

这样作的好处在于，NumPy 并不关心 predictions 和 labels 包含一个值仍是一千个值（只要它们大小相同）。咱们能够经过一个示例依次执行上面代码行中的四个操做：

 

 

预测和标签向量都包含三个值，也就是说 n 的值为 3。减法后，获得的值以下：

 

 

而后将向量平方获得：

 

 

如今对这些值求和：

 

 

获得的结果即为该预测的偏差值和模型质量评分。

 

数据表示

 

考虑全部须要处理和构建模型所需的数据类型（电子表格、图像、音频等），其中不少都适合在 n 维数组中表示：

 

表格和电子表格

 

电子表格或值表是二维矩阵。电子表格中的每一个工做表均可以是它本身的变量。python 中最流行的抽象是 pandas 数据帧，它实际上使用了 NumPy 并在其之上构建。

 

 

音频和时间序列

 

音频文件是样本的一维数组。每一个样本都是一个数字，表明音频信号的一小部分。CD 质量的音频每秒包含 44,100 个样本，每一个样本是-65535 到 65536 之间的整数。这意味着若是你有一个 10 秒的 CD 质量 WAVE 文件，你能够将它加载到长度为 10 * 44,100 = 441,000 的 NumPy 数组中。若是想要提取音频的第一秒，只需将文件加载到 audio 的 NumPy 数组中，而后获取 audio[:44100]。

 

如下是一段音频文件：

 

 

时间序列数据也是如此（如股票价格随时间变化）。

 

图像

 

图像是尺寸（高度 x 宽度）的像素矩阵。

 

若是图像是黑白（即灰度）的，则每一个像素均可以用单个数字表示（一般在 0（黑色）和 255（白色）之间）。想要裁剪图像左上角 10 x 10 的像素吗？在 NumPy 写入

便可。

 

下图是一个图像文件的片断：

 

 

若是图像是彩色的，则每一个像素由三个数字表示——红色、绿色和蓝色。在这种状况下，咱们须要一个三维数组（由于每一个单元格只能包含一个数字）。所以彩色图像由尺寸为（高 x 宽 x3）的 ndarray 表示：

 

 

语言

 

若是咱们处理文本，状况就不一样了。文本的数字表示须要一个构建词汇表的步骤（模型知道的惟一字清单）和嵌入步骤。让咱们看看用数字表示如下文字的步骤：

 

模型须要先查看大量文本，再用数字表示这位诗人的话语。咱们可让它处理一个小数据集，并用它来构建一个词汇表（71,290 个单词）：

 

 

这个句子能够被分红一个 token 数组（基于通用规则的单词或单词的一部分）：

 

 

而后咱们用词汇表中的 ID 替换每一个单词：

 

 

这些 ID 仍然没有为模型提供太多信息价值。所以，在将这一组单词输入到模型以前，咱们须要用嵌入替换 token/单词（在本例中为 50 维 word2vec 嵌入）：

 

 

能够看到，该 NumPy 数组的维度为 [embedding_dimension x sequence_length]。出于性能缘由，深度学习模型倾向于保留批大小的第一维（由于若是并行训练多个示例，模型训练速度会加快）。在这种状况下，reshape() 变得很是有用。如像 BERT 这样的模型指望的输入形式是：[batch_size，sequence_length，embedding_size]。

 

 

如今这是 numeric volume 形式，模型能够处理并执行相应操做。其余行虽然留空，可是它们会被填充其余示例以供模型训练（或预测）。

 

原文连接：https://jalammar.github.io/visual-numpy/