目录

一、说明

二、KAN介绍 

2.1 什么是 Kolmogorov-Arnold Networks （KAN）：

2.2 KAN 的秘诀，Splines！

2.3 了解KAN工作的最简单方法

三、KAN的主要优点 

四、KAN 的 Python 实现 （PyKAN） 

4.1 创建数据集

4.2 输出（数据集可视化）

4.3 创建和训练 KAN

4.4 从模型中获取符号公式

4.5 计算精度

4.6 输出

五、结论

关键词：Kolmogorov–Arnold Networks

一、说明

        在人工智能中，多层感知器（MLP）是基石，其神经架构塑造了无数应用的格局。然而，Kolmogorov-Arnold Networks（KAN）试图通过重新构想神经元在神经网络中工作的本质来突破这一基础。

忘记你所知道的关于神经网络的一切，KAN 在这里改写规则

二、KAN介绍 

        在不断发展的机器学习领域，最近一篇名为“KAN：Kolmogorov-Arnold Network”的研究论文在爱好者中引发了一波兴奋。这种创新方法挑战了多层感知器（MLP）的传统智慧，为神经网络架构提供了新的视角。

2.1 什么是 Kolmogorov-Arnold Networks （KAN）：

        这一开创性概念的核心是科尔莫戈罗夫-阿诺德表示定理，这是弗拉基米尔·阿诺德和安德烈·科尔莫戈罗夫提出的数学理论。该定理断言，复杂的多元函数可以分解为更简单的一维函数，为KAN的独特结构奠定了基础。

        现在，显而易见的问题变成了这些“更简单的一维函数”是什么。 对于任何对数学或计算图形学有一点了解的人来说，我们谈论的是古老的，并且由称为样条的多项式分段信任

B 样条曲线示例 （Google.com)

2.2 KAN 的秘诀，Splines！

        样条曲线是数学函数，可以通过连接一系列控制点来创建平滑曲线。样条曲线可以灵活地调整曲线的形状，同时确保相邻线段之间的连续性和平滑性。

        要创建样条曲线，通常从一组定义曲线路径的控制点开始。 然后，通过使用基函数（例如 B 样条曲线或贝塞尔曲线）对这些控制点之间的路径进行插值或逼近来构建曲线。

图片来源： Unity Manual |样条曲线入门

从本质上讲，样条曲线提供了一种通用工具，用于精确、灵活地表示复杂的曲线或曲面，使其在各个领域中都非常宝贵。

但是，这些样条曲线是如何在 KAN 架构中使用和利用的？

2.3 了解KAN工作的最简单方法

        KAN与传统的MLP不同，它沿着网络边缘用可学习的函数（B样条曲线）取代了固定的激活函数。这种自适应架构使 KAN 能够有效地对复杂函数进行建模，同时保持可解释性并减少所需参数的数量。

资料来源：PyKAN Github （https://github.com/KindXiaoming/pykan)

        与MLP中的神经元不同，MLP中的神经元是传输信号的被动管道，KAN中的神经元是学习过程的积极参与者，旨在动态地塑造它们的行为，以响应它们遇到的数据。

        这种变革性转变是通过采用位于网络边缘的可学习激活函数来实现的。

        资料来源：PyKAN Github （https://github.com/KindXiaoming/pykan)

        利用 B-Splines 的表现力，这些功能赋予 KAN 无与伦比的灵活性和适应性，使他们能够轻松驾驭复杂的数据环境。

三、KAN的主要优点 

1 增强的可扩展性

        与MLP相比，KAN具有出色的可扩展性，特别是在高维数据场景中。它们能够将复杂的函数分解为更简单的组件，从而能够高效处理大型数据集，使其成为具有大量信息的任务的理想选择。

2 提高准确性

        尽管使用较少的参数，但 KAN 在各种任务中比传统 MLP 具有更高的精度和更低的损耗。这归因于它们能够自适应地对数据中的关系进行建模，从而实现更精确的预测和对看不见的例子的更好泛化。

3 可解释模型

        KAN 的结构有助于可解释性，使研究人员能够推导出有效表示学习模式的符号公式。与黑盒模型不同，KAN 提供了对输入特征如何在整个网络中转换的见解，从而增强了透明度和理解力。

        N我们知道什么是KAN，为什么它们在人工智能领域如此重要，但世界并不仅仅靠论文中看起来不错的理论和模型来发展。

        但 KAN 最好的一点是，它们与使用新的 Python 库“PyKAN”在您自己的数据科学问题中扩展和利用非常相似。

        让我们用一个如何在 Python 中实现这些架构的示例来结束我们的讨论

四、KAN 的 Python 实现 （PyKAN） 

让我们使用分类问题进行演示。

4.1 创建数据集

我们将使用 sklearn 库的“make_moons”函数创建一个合成数据集。

<code>import matplotlib.pyplot as plt

from sklearn.datasets import make_moons

import torch

import numpy as np

dataset = {}

train_input, train_label = make_moons(n_samples=1000, shuffle=True, noise=0.1, random_state=None)

test_input, test_label = make_moons(n_samples=1000, shuffle=True, noise=0.1, random_state=None)

dataset['train_input'] = torch.from_numpy(train_input)

dataset['test_input'] = torch.from_numpy(test_input)

dataset['train_label'] = torch.from_numpy(train_label)

dataset['test_label'] = torch.from_numpy(test_label)

X = dataset['train_input']

y = dataset['train_label']

plt.scatter(X[:,0], X[:,1], c=y[:])

4.2 输出（数据集可视化）

4.3 创建和训练 KAN

<code>from kan import KAN

odel = KAN(width=[2,2], grid=3, k=3)

def train_acc():

return torch.mean((torch.argmax(model(dataset['train_input']),

dim=1) == dataset['train_label']).float())

def test_acc():

return torch.mean((torch.argmax(model(dataset['test_input']),

dim=1) == dataset['test_label']).float())

results = model.train(dataset, opt="LBFGS", steps=20, code>

metrics=(train_acc, test_acc),

loss_fn=torch.nn.CrossEntropyLoss())

4.4 从模型中获取符号公式