第一部分        名词解释

第二部分        学习笔记

1、机器学习和深度学习

机器学习是一种让机器自动寻找某种函数的能力。一般解决较为简单的函数关系问题，比如回归、分类或结构化对象。

深度学习是机器学习的一种特殊形式，是指采用神经网络算法实现机器学习的目标。一般用于解决较为复杂的问题，比如NLP、语音、图像、视频等。

2、机器学习的运作过程

步骤一        写出一个带有未知参数的函数 f

这个函数f可以是各种形式的，最简单的形式是：y=b+w*x

这里y是因变量，x是自变量（在机器学习领域也被称为“特征”，可以理解为造成y这个函数结果变化的一个因素）。b和w都是参数：w是x的权重，意思是1个单位的x的变化，会引起w个单位的y的变化；b是偏置（数学里称为“截距”），意思是初始状态下（不考虑x这个因素的情况下），y的初始值是多少。

当然，函数f的形式还可以是各种类型的，特征x的数量也可以是更多个（比如x1、x2、......），随着特征数量的增加，参数w也会随之增加，于是，这个模型就变得越来越庞大（复杂），这是后话。

步骤二        定义损失函数L（b, ω ）

还记得我们为什么出发吗？（不忘初心，牢记使命）

采用机器学习方法的目的是要找到一组（b,w），使得已知的x通过函数f，可以获得与真实的y（实际结果）最为接近的y'（预测（计算）值）。

为了可以度量一组参数（b,w）的优劣，于是我们定义了一个损失函数：

公示中的e是某一组参数下，通过函数f计算出来的函数值和真实值之间的差，如果一共有N组特征值x1、x2......xN，那么就能得到N个函数计算结果y1'、y2'......yN'，分别和真实的y1、y2......yN相减，会得到N个差，把这些差相加并除以N，就得到差的平均数，也就是要计算的损失值，这个结果标称了在某一组参数（b,w）下所有各组特征值计算结果与实际值的平均差。L越大，代表这一组参数越不好（计算结果y'与真实结果y差距越大），反之则越好。当然，根据不同的特征类型，差值e的计算方法也可以不同，比如可以采用上面的绝对平均数，也可以采用差值的平方（均方差），甚至对于符合某种概率分布的y和y'，可以使用交叉熵。

步骤三        求最优化问题的解

既然有一组参数（b,w）最利于减小计算结果y'与真实值y之间的差，那么这一步就是要通过一种方法来找到这组参数，我们称为“求最优化问题的解”，这里提出了一种称为“梯度下降（gradient descent）”的方法。

这种方法的思想是这样的：先假设一个b参数的值，这样我们就只需要找到一个最优的w的值就可以了。我们通过损失函数，画出L-w曲线，我们通过微分求出每一个w对应的曲线上的点的斜率，如果这个斜率是负的，那么说明曲线左边高于右边，我们的目的是找到更小的L，所以应该往右移动一个微小的w；反之，如果这个斜率是正的，那么说明曲线左边低于右边，所以应该往左移动一个微小的w。重复上述过程，我们便可以找到曲线上“最低”的那个点，对应的w就是我们要找的最优的那个参数。

推广到两个参数的情形，于是我们画出了一个三维立体坐标图像L-b,w，此时我们需要找的是如何到达b,w平面的最低的洼地点，算法是一样的。

使用“梯度下降”的方法有个前提：参数b和w是连续的，如果不满足连续性，那么就无法求解微分。

还有一个问题：局部最小值问题，这个问题可以用“牛顿迭代法”求极小点的方法解决。