机器学习与传统编程的一个重要区别在于机器学习比传统编程涉及了更多的数学知识。
不过，随着机器学习的飞速发展，各种框架应运而生，在数据分析等应用中使用机器学习时，使用现成的库和框架成为常态，似乎越来越不需要数学知识了。

其实，现成的库和框架只是帮助我们简化机器学习的开发任务，
如果想要对模型训练结果进行调整和优化，对训练数据进行变换和过滤的话，了解相关的基础数学必能让我们事倍功半。

机器学习的模型看似一堆天书般的符号和公式，其实本质并没有那么复杂，也许大部分人只是因为没有耐心去理解其中的数学符号而放弃。
我觉得对线性代数有最基本的了解就能看懂其中大部分的公式。

本文尽量用简单的方式介绍机器学习中两个最基本的结构（向量和矩阵），以及它们的基本运算规则。

1. 向量

1.1. 定义

机器学习面对的训练数据，几乎没有只有单一属性的（也就是数据只包含一个数值或者一个字符串），
而是每个数据都包含多种属性，比如气象数据（包含温度，湿度，风向等等），金融数据（开盘价，收盘价，交易量等等），销售数据（价格，库存量，卖出数量等等）。

为了表示这个多属性的数据，或者称为多维度的数据，向量最为合适。
向量就是有几个数字横向或者纵向排列而成，每个数字代表一个属性。
向量类似编程语言中的一维数组，numpy中也是这么保存的。

1.2. 转置

向量可以用行或者列的形式表示，
比如：\(\begin{bmatrix}1,2,3\end{bmatrix}\)或者\(\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}\)。
向量用行还是列来表示，主要取决于后续进行怎样的计算，本质区别不大。
向量的转置操作就是用来对行向量和列向量进行互相转换的。

1.3. 加和减

向量之间进行加减操作时，向量的长度必须一样，并且必须同为行向量或同为列向量。

简单来说，向量之间的加减法就是对应位置的元素之间的加减法。

1.4. 积运算

向量有两种积运算，一种是向量和数值之间的积运算，也称为标量积；
另一种是向量和向量之间的积运算，也称为内积。

标量积运算之后，向量还是向量，向量中的每个元素分别乘以标量。

内积运算之后，向量变成一个数值（也就是标量）：

计算规则就是向量对应位置的数值相乘，最后将每个位置的计算结果相加。

1.5. 模运算

向量还有一个模运算，模运算是一种对向量量化的方式，它把向量转换为一个数值，
从而可以方便的比较不同向量的大小。

模运算的运算符号是两个竖线：\(||x||\)，运算规则相当于是先计算向量与自己的内积，然后开平方。

2. 矩阵

2.1. 定义

矩阵可以看作是相同长度的行向量或者列向量的集合。
它类似编程语言中的二维数组。

矩阵的结构如下，其中的数据按照矩形阵列的结构排列，这也是矩阵这个名称的由来。

这是一个3x4的矩阵，也就是3行4列的矩阵。
注意，矩阵的行列数量不一定要一样，当行列数量一样时，矩阵也被称为方阵。

和向量类似，矩阵也可以转置，矩阵的转置也是行列互换：

2.2. 加和减

和向量类似，矩阵的加减法也是对应位置的元素进行加减运算，
这就要求参与加减运算的两个矩阵必须有相同的行数量和列数量。

矩阵减法运算类似。

行或列数量不一样的矩阵是无法进行加减运算的。

2.3. 积运算

矩阵的积运算也分为标量积和内积。
标量积的计算与向量类似，矩阵的每个元素都乘以标量。

内积运算略微复杂一些，对参与运算的矩阵也有要求，需要第一个矩阵的列数量等于第二个矩阵的行数量。
即：矩阵\(A\)和\(B\)能够进行内积运算的话，\(A\)和\(B\)分别为\(M\times N\)和\(N\times K\)的矩阵，
它们的内积是一个\(M\times K\)矩阵。比如：