机器学习算法——常规算法，在同的业务场景也需要使用不同的算法(一)

曼亿点 2024-08-16 09:01:01 阅读 55

在这里插入图片描述

👨‍💻个人主页：@开发者-曼亿点

👨‍💻 hallo 欢迎点赞👍 收藏⭐ 留言📝 加关注✅!

👨‍💻 本文由曼亿点原创

👨‍💻 收录于专栏：机器学习

⭐🅰⭐

—

请添加图片描述

文章目录

⭐🅰⭐⭐前言⭐🎶<font color=green > 算法分类/font>(1)K近邻1.基本概要2.算法推导3.工程实现

(2)朴素贝叶斯1.基本概要2.算法推导3.工程实现结束语🥇

⭐前言⭐

机器学习可以处理的业务场景非常丰富，从基础的回归、聚类和分类等场景到图片识别、语音识别和文本分析等。不同的业务场景也需要使用不同的算法，所以如果想对机器学习在业务的解决方案上有一定认识，则需要掌握多种场景的不同种类的算法，了解不同算法的属性、优势和缺陷，对之后的算法应用会有很大的帮助。

🎶 算法分类/font>

分类算法是用来解决分类问题的算法，关于场景的抽象方法在前面章节中已经介绍了,分类算法是场景最丰富的一类算法,广告的投放和疾病预测等都可以抽象成分类问题。分类算法一般都是监督学习算法，因为需要通过已有的打标数据来生成分类模型。在这一部分选取了几种比较典型的分类算法进行介绍,分别是K近邻(KNN)、朴素贝叶斯(NBM)、逻辑回归(LR)(注:这里LR作为二分类算法，LR也是回归算法的一种)、随机森林(RF)和线性支持向量机(SVM)。

(1)K近邻

很多人在刚接触机器学习算法的时候，都会觉得这些算法很难理解，有很多公式需要记、需要推导，为了防止大家对学习机器学习算法的学习产生抗拒心理，我们先从最简单的算法(K近邻)入手学习。K近邻算法主要解决的是分类问题，而且原理非常好理解，只要有一点数学基础，差不多用20分钟就可以进行推导，稍微有一些代码能力的话，半个小时就可以实现一版简单的K近邻程序。下面具体来看一下K近邻。

1.基本概要

K 近邻(K-Nearest Neighbor,KNN)是一种非常简单的机器学习算法，主要用来解决分类问题，KNN 是监督学习分类算法，在分类前需要有打标数据。从字面意思来理解，KNN 是一种 LazyLearning(也可称为“惰性学习”，可理解为考虑问题的最简化情况)模式的算法，因为它的分类只考虑距离目标点最临近的K个点的类别，具体是怎么实现的呢?我们通过引用 KNN 在维基百科中的一张图(见图 1)来讲解。

在这里插入图片描述

图 1表示在二维空间中的一个分类场景，三角形和正方形的图形代表已经打标过的两种数据的分布，打问号的圆形数据是我们需要进行分类的预测对象。首先在算法推导前需要先设置K值。

1)当 K=3 时，我们找出距离预测集，也就是圆形数据最近的3个数据，这3个数据中有2个三角形、1个正方形。所以圆形数据会被分到跟三角形数据一类，因为在 K=3 的半径区间中三角形的数量占优。

2)当 K=5 时，找出距离圆形数据最近的5个数据点，分别是3个正方形和2个三角形，那么预测点会被分到属于正方形的这一类。

通过上面的这个例子我们可以了解到，K值对预测对象的最终预测结果的影响是很大的。K值取得太小可能会造成参与评估的样本集太小，结果没有说服力;K值取得过大，会把距离目标队列距离过远的一些噪音数据也考虑进去，造成结果的不准确性。所以在实际的算法使用过程中，需要对K这个参数进行反复的调试，才可以达到一个比较理想的效果。

下面来了解 KNN 算法的一些特性。首先，KNN 不同于其他一些算法的地方是 KNN不光可以解决Z分类场景的问题，同时也可以解决多分类的问题，因为无论需要分类的目标列有几种可能，KNN 只考虑与目标的距离最近的下个点的集合中哪个类别的点数量最占优势。另外，因为 KNN 的原理和实现都较为简单，所以后期调优过程中的工作量相对来讲比较小。KINN 比较大的问题就是对样本分布比例不均衡的情况可能会造成结果的不准确性，如图 2所示。

在上面的这个二维空间中，正方形和六边形表示已经打标好的数据集，我们需要对五角星进行分类。通过上图的数据分布，从距离的角度直观来看，五角星应该属于正方形这一类，因为五角星的周围都是正方形。但是由于整个数据集的分布不平衡，六边形的数量远多于正方形的数量，所以当 K=9 或者更大的时候，预测集会被错误分类。所以 KNN 在目标数据集数量比例分布不平衡的情况下，可能会造成预测结果的不准确。KNN 的另外一个问题就是计算成本很高，因为每个预测点都需要对全量数据集进行一次距离的计算和排序，这样就会造成非常大的计算资源开销。上面我们介绍了 KNN的一些基本概念和特性，下面来看一下具体的算法推导过程。

在这里插入图片描述

2.算法推导

通过上面的介绍，我们可以了解到 KNN 的算法原理，下面来看具体的推导过程。

1)因为 KNN 是监督学习，所以首先要加载打标好的数据集(多分类或者二分类数据),然后需要设定一个K值。

2)在预测的过程中，需要针对每一个预测对象计算它与所有数据集的距离，这个距离的计算一般通过求欧式距离来实现，欧式距离可以描述两点在n维空间的真实距离(物理距离 )。求解方法比较简单，已知两个n维向量 x=(x,x,x,…,x„)和 y=(yyy…,y)，那

么这两个向量的欧式距离公式可以表示为

在这里插入图片描述

将结果进行排序，选取跟预测数据距离最近的K个点组成决策集合

在决策集中，比较各个类别数据点的个数，选取个数最多的类别作为预测数据点的最终类别。

整个 KNN的推导过程比较简单，主要涉及距离计算和排序两个功能点。这里只是针对最简单的 KNN 情况进行介绍，具体的实现可以有很多的优化方式，如可以在计算前先排除掉与预测集数据距离较大的一些噪音点，从而提高计算效率。

3.工程实现

上面介绍了整个算法的推导，现在看一下如何通过工程来实现KNN。

<code>import math

import operator

def euclideanDistance(inst1,inst2,length):

distance =0

for x in range(length):

distance +=pow((instl[x]-inst2[x]),2)return math.sqrt(distance)

def getNeighbors(trainingSet,testInstance，k):

distances =[]

length=len(testInstance)-1

for x in range(len(trainingSet)):

dist=euclideanDistance(testInstance, trainingSet[x], length)distances.append((trainingSet[x]，dist))

distances.sort(key=operator.itemgetter(1))

neighbors =[]

for xin range(k):

neighbors.append(distances[x][0])

return neighbors

def getResponse(neighbors):

classVotes ={}

for x in range(len(neighbors)):

response = neighbors[x][-1]

if response in classVotes:

classVotes[response]+=1

else:

classVotes[response]=1

sortedVotes=sorted(classVotes.iteritems(),key= operator.itemgetter (1).reverse=True)

return sortedVotes[0][0]

使用的 Python 版本为 Python 2.7，这里引入了Python的numpy和operator 两个库.

下面看一下代码中几个函数的输入和输出。

euclideanDistance:这个函数主要是求两个向量的欧式距离，输入的3个参数分别是向量 1、向量2和向量的维度。getNeighbors:在数据集中找到所需要预测数据的 K个最临近点并返回，输入的3

个参数分别是数据集、预测集以及K值。getResponse:返回对目标值的预测结果，输入的是 getNeighbors 函数的返回值。

下面通过一个实例，来看看上面代码的运行结果。输入打标好的数据集:

trainset =〔[1,1,1,‘a’],[2,2,2,‘a’],[1,1,3,‘a’],[4,4,4,‘b’], [0,0.0，"a”,[4，4.5，4，‘b’]]

trainSet 是一个4维数据集,最后一个字段是目标列，一共有6个点,分为a和b两种类别。预测集是 testInstance=[5,5,5]。

把这两组数据带入上面的函数中可得

def main():

trainset =[[1,1,1,'a'],[2,2,2,'a',[1,1,3,'a'],[4,4,4,'b'],[0,0，0，'a’],[4，4.5，4，'b']]

testInstance =[5，5，5]

k=5

neighbors =getNeighbors(trainSet, testInstance,k)

response =getResponse(neighbors)

print "\nNeighbors Are:",

print (neighbors)

print "\nResponse is:",

print repr(response)

以上介绍了 KNN 的算法原理以及推导，并且通过 Python 代码进行了实现。KNN 作为最简单的机器学习算法比较适合新手入门了解。KNIN 算法在文本分类和图像分类等场景有许多的应用，常常作为业务场景下的重要分类模块来使用。如果想对 KNN 有更深刻的了解，请查看相关资料并且通过大数据集进行实验。

(2)朴素贝叶斯

如果你是一个计算机相关专业毕业的学生，那么一定听说过贝叶斯这个人。贝叶斯(Bayes)定理是由英国数学家贝叶斯发明的，用来描述两个条件概率的关系。朴素贝叶斯是贝叶斯定理的简单实现，是常见的一种利用先验概率进行分类的分类器。朴素贝叶斯的基础建立在一个假设条件之上，即所有特征的条件之间相互独立。下面来详细介绍下朴素贝叶斯分类算法。