ML-经验风险、期望风险、结构风险

Posted on Edited on In

经验风险

  • 对训练样本误差的衡量，例如最典型的是每个样本损失函数的平均，Σ(loss(Yi, f(Xi))) / m
  • 基于经验风险最小化的模型泛化能力差，只代表了局部最优 —> 过拟合

期望风险

  • 要寻找全局最优，可以考虑使用损失函数的期望，即E(loss(Yi, f(Xi))) = ∫(P(Xi,Yi)loss(Yi, f(Xi)))dxdy
  • 此处假设了(x, y)的联合分布
  • 问题：对于大部分样本无法获知其具体的分布 —> 不现实

结构风险

  • 在经验风险之上添加正则项，模拟期望风险