参考： 吴恩达机器学习课程 https://www.bilibili.com/video/BV1owrpYKEtP
监督学习
为数据打上标签
输入 input： x 输出 output： label y
在给足够多正确示例后，算法学会了只根据输入x就给出正确的输出标签y
应用:邮件过滤、语音识别、机器翻译、广告推送、自动驾驶、视觉检测……
无监督学习
无标签
聚类算法
将未标记的数据放入不同的簇
线性回归模型
x - f - y 所拟合的函数f(a,b,c,……) 其中abc为函数参数（系数/权重）
成本函数
或者损失函数/目标函数，用于衡量模型预测好坏
成本函数为权重调整做指导
不同类型任务成本函数可能不同，需要特化成本函数
收敛
在接近最低点的位置梯度下降得非常缓慢，如果加速收敛，会在收敛点附近震荡，如果精细收敛，会让整个收敛过程过长（即步长过长）。
自适应收敛：初始快速接近收敛点，到达收敛点附近精细收敛
梯度下降
1 量化误差 找到当前成本
2 分析误差方向：计算梯度 判断权重的调整方向
3 权重更新
成本函数目标是找到山谷中的最低点，达到收敛位置的不止梯度下降一种方法
局部收敛
局部收敛是机器学习优化的根本挑战，算法可能卡在局部收敛点，导致表现不佳。
判断局部收敛
- 所处位置过高
- 小范围震荡
- 存在其他最优解
应对局部收敛
引入随机性 增加噪音注入
增加批次 噪声大，探索能力强
增加初始位置
动量法冲出局部最优 可能错失最优
种群、遗传算法
此方悬停