目录
第1章 什么是损失函数 1.1 什么是机器学习
【人工智能-深度学习-8】：神经网络基础知识-机器学习、深度学习模型、模型训练_文火冰堂（王文冰）的博客-CSDN博客
1.2 什么是监督机器学习？
百度百科：监督学习（英文： ）是机器学习中的一种方法，可以从训练数据中学习或建立一种模式（函数/模型），并根据该模式推断新的实例。
训练数据由输入对象（通常是向量）和预期输出组成。
函数的输出可以是连续值（称为回归分析），也可以预测分类标签（称为分类）。
白话：所谓监督学习，给定的数据集和对应的标准答案，也就是标签。未来让机器从数据集的标准答案中学习。
其中，数据集用{Xi}表示，对应的标签值也称为样本值，期望值用{Yi}表示。
神经网络模型利用当前参数对数据集{Xi}进行运算和预测，得到的输出值为{}。
也就是说，监督室的学习是指有标准答案的学习。
标准答案格式：
注：标签值、样本值、期望值并不是没有任何误差的期望值，而是人工采样值，是表面现象下的参考值，内涵上不一定是正规值。
1.3 什么是损失函数？
监督学习本质上是给定一系列训练样本{Xi}，试图学习样本的映射关系{Xi -> Yi}，使得给定a，即使这不在训练样本{Xi -> Yi}中，它仍然可以获得其输出值 {} 尽可能接近真实的 {} 输出。
损失函数（Loss）是这个过程中的关键组成部分。用于衡量模型的预测输出{}与样本真实值{Yi}之间的差异，并指示模型的优化方向：对于给定的样本{Xi}具有最小的误差，即预测输出 {} 与样本的真实值 {Yi} 尽可能接近和相似。损失值越小，相似度越高，误差越小。
在实际工程中，由于{}是未知的，因此在监督学习中，将样本标签{Yi}作为样本数据集{Xi}的真实值！ ！ ！ ！
由于实际样本数据集不是单个数据，因此损失函数实际上是所有样本误差的平均值，它反映了模型对样本数据集中所有样本的预测映射关系{Xi -> }，以及与已知的样本标签。 {Xi -> }整体的相似度，而不是个别样本的相似度！ ！ ！ ！
在同一应用场景下，描述相似程度的损失数学函数是不同的。
在不同的应用场景下，描述相似程度的损失数学函数是不同的。
因此，损失函数也多种多样，如均方误差损失、平均绝对误差损失、平均误差损失、huber损失、分位数损失loss、交叉熵损失函数Cross Loss、铰链损失Hinge Loss等。
不同损失函数的基本函数表达、原理和特点都不相同。
因此，损失函数研究的是如何表达两个函数之间相似程度的数学表达式（XY的映射关系称为函数）。
因此，损失函数研究的是：如何表达两个函数之间距离的数学表达式（XY的映射关系称为函数）。
1.4 本文重点讨论：
均方误差损失、平均绝对误差损失、平均误差损失和 huber 损失。
这些损失函数主要用于线性拟合或线性回归，而不是逻辑分类。
评论：
本文也表述为
第 2 章 平均误差损失 (MAE) 2.1 概述
描述两个函数之间的距离最容易想到的是：在相同的 Xi 输入下，两个函数的输出 Yi 之差的绝对值。平均绝对误差损失就是基于这种考虑。
2.2 损失函数的数学表达式
其数学函数表达式为：
平均绝对误差损失也称为 L1 损失。
2.3 损失函数的几何和意义
从上图可以看出：
2.4 特点 第 3 章 平均误差损失（MSE） 3.1 概述 3.2 损失函数的数学表达式
均方误差损失也称为 L2 损失。
3.3 损失函数的几何和意义
(1) 单变量模型
(2)多元函数
从上图可以看出：
3.4 特点第4章MSE和MAE的比较
上图将 MAE 和 MSE 损失绘制到同一张图中。
第 5 章 平滑平均绝对误差 Huber 损失 (SMAE) 5.1 概述
MSE损失收敛快但容易受到影响。
MAE 对更稳健，但收敛速度较慢。
Huber Loss 是结合了 MSE 和 MAE 的损失函数，并利用了两者的优点。它也称为平均误差损失 (SMAE)。
它的原理和规则很简单：
当样本Xi的误差小于1或接近0时，使用MSE计算其误差。
当样本Xi的误差大于1或更大时，使用MAE计算其误差。
SMAE的优点和缺点：
优点是：训练后获得较高的模型精度，训练后的模型与目标的相似度较高。
缺点是牺牲了模型训练时间，模型收敛速度比MSE慢，模型训练时间较长。
同一个函数如何能同时表达上述规则呢？
5.2 SMAE损失函数的数学表达——方法1
(1)数学表达式
(2)几何图形及物理意义
（三）主要优缺点
优点：该方法简单明了。
缺点：规则僵化、不可控、不可调整。损失函数的来源只能根据|Yi-|之间的关系来选择和(Yi-)^2，是否是|Yi-|或 (Yi-)^2。
SMAE没有对上述方法进行采样，而是采用了更灵活的解决方案，如下方法2：
5.2 SMAE损失函数的数学表达——方法2
(1)数学表达式
或表示为：
该方法的特点：
(2)几何图形及物理意义
5.3 特点
使用 MSE 训练神经网络的一个大问题是其梯度持续较大，这可能导致在使用梯度下降训练结束时丢失最小值。对于 MSE，当损失接近最小值时，梯度会减小，从而变得更加准确。
Huber 损失在这种情况下非常有用，因为它围绕递减梯度的最小值弯曲。它对异常值的鲁棒性比 MSE 更强。因此，它结合了MSE和MAE的优异性能。然而，Huber损失的问题是我们可能需要训练超参数delta，这是一个迭代过程。
作者主页（文火冰堂硅基工坊）：文火冰堂（王文兵）的博客_文火冰堂硅基工坊_CSDN博客