ISLR_Chapter2
建模的意义
- 预测prediction：预测Y，f(x)可以看作黑箱
- 推断inference：变量对于Y产生了什么样的影响
估计f的方法
- 参数法：假定是线性的，或者其他模型，然后训练模型，例如最小二乘法，得到最佳的参数
- 非参数法： 不需要对函数f的形式事先做明确的假设。追求的是接近数据点的估计，估计函数在去粗和光滑处理后尽可能与更多的数据点接近，拟合好。缺点：往往需要大量的观测点
准确度和可解释性Trade-off
模型预测的准确度和可解释性不可兼得。
复杂灵活的模型，准确度高，解释性差。
简单固定的模型，准确度低，解释性好。
Evaluation
MSE均方误差
MSE (mean squared error).
随着train MSE的不断变小（直至过拟合），test MSE则有一个最低点，不会一直变小。
我们的目的就是得到最小的 test MSE。
bias 和 variance Trade-off
flexibility 增加， variance 增加
evaluation内容在另外一篇中 evalutaion
