三种决策树算法的特点和区别

ID3算法：基本的决策树算法，适用于简单的分类问题C4.5算法：改进了ID3算法，适用于更复杂的分类问题，可以处理连续型数据和缺失值CART算法：更加通用的决策树算法，适用于分类和回归问题，可以处理连续型数据和多分类问题

决策树算法详解：从构造到剪枝，实战Titanic生存预测_决策树分类算法及应用-CSDN博客

Lightgbm原理以及过程

LightGBM（Light Gradient Boosting Machine）是由微软开发的一种基于决策树的分布式梯度提升框架，专门用于快速、高效的机器学习模型训练。LightGBM 是一个性能高度优化的 GBDT（Gradient Boosting Decision Trees）算法。LightGBM 对传统的 GBDT 进行了多种改进和优化，以提高效率和性能。它在处理大规模数据集和高维数据时速度更快，占用内存更少。

以下是 LightGBM 的基本原理简单讲解： 

梯度提升（Gradient Boosting）：

梯度提升是一种集成学习方法，通过逐步构建一系列弱学习器（通常是决策树），每个学习器试图纠正前一个学习器的错误。LightGBM 采用这种方法，但对算法进行了多种优化，以提高效率和性能。

基于叶子的增长策略（Leaf-wise Growth Strategy）：

与其他基于深度或宽度的增长策略不同，LightGBM 使用基于叶子的增长策略，即每次选择一个叶子节点来分裂，从而最大化信息增益。这种方法能够更好地减少损失，但也可能导致树的不平衡。

直方图优化（Histogram-based Optimization）：

LightGBM 通过将连续特征离散化为多个区间（直方图桶），大大减少了数据的存储和计算成本。每个区间代表一个特定的特征值范围，模型仅在这些区间上进行计算，从而加速了训练过程。

支持并行和分布式训练：

LightGBM 支持数据并行和特征并行，可以在多核 CPU 和多机环境下进行高效训练。这使得它能够处理大规模数据集。

大数据分析案例-基于LightGBM算法构建乳腺癌分类预测模型_lightgbm 医疗-CSDN博客

数据挖掘比赛比较基础的baseline_比赛baseline-CSDN博客

梯度消失的概念，如何解决

梯度消失的原因

梯度消失是指在神经网络的训练过程中，从输出层向输入层传递的误差梯度逐渐变小，以至于到达输入层时已经接近于零。这个问题通常发生在使用了sigmoid或tanh这类激活函数的深度网络中。这些激活函数的导数在其值域的两端都非常小（接近于零），因此在多层网络中连续乘以这些小的导数会导致梯度迅速减小，从而使得网络的前几层学习非常缓慢或几乎不学习，这严重阻碍了模型的训练效率。

解决梯度消失的方法

改用ReLU及其变体作为激活函数：

ReLU（Rectified Linear Unit）激活函数在正区间的导数为1，这样可以有效防止梯度消失的问题。其变体如Leaky ReLU或Parametric ReLU (PReLU) 也是不错的选择，它们在负区间提供一个小的非零斜率，保持信息的流动。

使用批归一化（Batch Normalization）：

批归一化通过规范化每一层的输入来缓解内部协变量偏移（每层输入的分布改变），可以帮助改善网络的训练速度，减少梯度消失的问题。

采用合适的权重初始化策略：

选择合适的方法初始化网络权重对预防梯度消失至关重要。例如，He 初始化是为ReLU激活函数专门设计的，可以在训练开始时保持激活和梯度的尺度。

使用残差网络（ResNet）架构：

残差网络通过引入跳过连接（skip connections），允许梯度直接流向更早的层。这样的结构有助于梯度更好地流动，防止在深层网络中消失。

使用梯度剪辑（Gradient Clipping）：

这是一种在训练中控制梯度爆炸问题的技术，但它也可以间接帮助缓解梯度消失，因为它可以帮助保持数值稳定性，尤其是在RNNs中。

改进的RNN架构，如LSTM和GRU：

长短期记忆（LSTM）和门控循环单元（GRU）是特别设计来防止梯度消失问题的RNN变体。它们通过引入门控机制来控制信息的流动，有效避免了传统RNN中梯度消失的问题。

K折交叉验证

数据挖掘比赛比较基础的baseline_比赛baseline-CSDN博客

K折交叉验证找到最佳超参数

K-means的原理以及过程

时间和空间复杂度

K的值怎么确定

K-Means（K-均值）聚类算法理论和实战-CSDN博客

SVM的原理 

最大化边际：SVM的核心理念是寻找一个决策边界（在二维空间中是一条线，在更高维空间中是一个平面或超平面），这个边界能够最大程度地区分不同类别的数据点。SVM尝试最大化各类数据点到决策边界的最小距离，这个距离被称为“边际”。支持向量：决策边界的确切位置由距离它最近的几个训练样本确定，这些样本被称为“支持向量”。SVM模型特别关注这些关键样本。核技巧：对于非线性可分的数据，SVM使用所谓的“核技巧”将数据映射到更高维的空间，从而使得数据在新空间中线性可分。常见的核函数包括线性核、多项式核、径向基函数（RBF）核等。

向量机SVM原理理解和实战_svm实战-CSDN博客

降维分析方法

PCA原理及实现过程

主成分分析（Principal Component Analysis）是一种常用的降维技术，通过线性变换将高维数据投影到低维空间，同时尽量保留数据的方差信息。PCA 常用于数据预处理、特征提取和数据可视化。

KPCA降维原理

核主成分分析（Kernel Principal Component Analysis）对于输入空间中的矩阵X，先用一个非线性映射把X中的所有样本映射到一个高维甚至是无穷维的空间（特征空间），使其线性可分，然后在这个高维空间进行PCA降维

T-SNE降维原理

TSNE是另一种常用的数据降维方法。由T和SNE组成，也就是T 分布和随机近邻嵌入 （Stochastic neighbour Embedding）。其主要优势在于高维数据 空间中距离相近的点投 影到低维空间中仍然相近。 T-SNE(TSNE)将数据点之间的相似度转换为概率。原始空间中的 相似度由高斯联合概率 表示，嵌入空间的相似度由“学生T分布”表

葡萄酒品质揭秘：运用PCA和KPCA技术深度解析葡萄酒分类-CSDN博客