【人工智能的数学基础】函数的光滑化(Smoothing)

本文探讨了在机器学习中,尤其是深度学习背景下,如何对非光滑函数进行光滑近似,以利于优化过程。文章介绍了函数光滑化的定义,重点阐述了人工选取光滑近似方法,如使用最大值函数的不同光滑表示,以及Dirac函数的光滑近似在取整函数中的应用。这些...

【人工智能的数学基础】二进制乘法的Mitchell近似

本文介绍了如何使用Mitchell近似算法将二进制乘法转换为加法运算,降低神经网络中的乘法运算量。通过对数和指数转换,将乘法问题转化为加法问题,简化了计算过程。通过误差分析,当乘数的二进制小数部分之和小于1时,误差最...

【人工智能的数学基础】多目标优化的帕累托最优(Pareto Optimality)

寻找多目标优化问题的帕累托最优解.多目标优化是指同时优化多个相关任务的目标,Ltotal​i∑n​wi​Li​。为使得每个任务在训练时都获得有益的提升,需要合理的设置任务权重wi​,使得每一次更新时目标损失函数L1​...

人工智能的数学基础

概率是衡量某个事件发生可能性的数值,通常用一个介于0和1之间的实数表示。具体来说,如果一个事件发生的可能性为1,那么它一定会发生;如果一个事件发生的可能性为0,那么它一定不会发生;如果一个事件发生的可能性在0和1之间,那么它有一定的概率...

【人工智能的数学基础】圆周率(Ratio of Circumference to Diameter)的计算

圆周率π,在几何学中定义为圆的周长与直径之比,在分析学中定义为满足sinx0的最小正实数,其数值约为3.1415926。1988年3月14日,旧金山科学博物馆的物理学家组织博物馆的员工围绕博物馆纪念碑371​722​圈,并一起吃水果派。之后...

【人工智能的数学基础】超球面上的von Mises-Fisher(vMF)分布