李宏毅 机器学习（7）- 非监督学习-K-means, HAC, PCA
Clustering
k-means
复习，随机取中心，计算每个sample和哪个center最接近，然后同个cluster取平均，平均的值作为新的center，迭代迭代得到最终clusters
HAC: Hierarchical Agglomerative Clustering
根据data 相似度建立tree，然后切一刀
但是仅仅是把example归到某一个cluster，有点以偏概全了，如果用分布来表示就更加科学
而如果原先的sample是很高纬的数据，这个分布则可以看成 dimension reduction
PCA
718 没怎么做这部分的笔记 这边补上
PCA: 降纬，但是让variance最大
解法
lagrange multiplier
另外一个角度看pca
手写数字辨识：可以看成一堆feature的linear combination
最小化reconstruction error的过程就是解pca的过程
根据svd分解就可以得到pca的解，就是k个最大的covariance matrix的eigenvector
pca的过程也可以看成是一个neural network
pca的weakness
怎么选pca的数量
做图看elbow point，最后几个pc往往不能提供过多的信息
NMF(让组分只能正向叠加）
Matrix Factorization
常用于推荐系统， 就是找出背后的latent vector
- 无missing value： svd
- 有missing value ： gradient descent
