一、数学推导为了将线性模型用于分类问题，需要寻找一个单调可微的函数将分类任务的真实标签y与线性回归模型的预测值z联系起来交叉熵损失函数是一种常用于分类任务的损失函数，设线性模型的对数几率函数输出为y ̂，而二分类标签值为y={0, 1}，那么交叉熵损失为：二值交叉熵用于二分类问题，从上面的公式和函数
数学推导线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数：向量形式：线性模型的几种推导：线性回归的目标是使得线性函数与样本点的均方差最小化为了使均方差最小化，可以对E_ω进行最小二乘参数估计以下是推导过程上面求解的推导过程按照标量的链式求导法则写出的结果中左边的向量
小批量梯度下降算法动量法利用累加历史梯度信息更新梯度自适应梯度法自适应梯度法通过减小震荡方向步长，增大平坦方向步长来减小震荡,加速通往谷底方向。如何区分震荡方向与平坦方向？回答：梯度幅度的平方较大的方向是震荡方向；Adam算法同时使用动量与自适应梯度思想[注]参考于北京邮电大学计算机学院 鲁鹏老师
十七
Published on 2022-05-23
-ca9fe781c2d244deaabd5ebe8c1c61a1.JPG)
