机器学习算法Python实现(知乎).zip

机器学习算法Python实现 ========= [](https://github.com/lawlite19/MachineLearning_Python/blob/master/LICENSE) ## 目录 * [机器学习算法Python实现](#机器学习算法python实现) * [一、线性回归](#一-线性回归) * [1、代价函数](#1-代价函数) * [2、梯度下降算法](#2-梯度下降算法) * [3、均值归一化](#3-均值归一化) * [4、最终运行结果](#4-最终运行结果) * [5、使用scikit-learn库中的线性模型实现](#5-使用scikit-learn库中的线性模型实现) * [二、逻辑回归](#二-逻辑回归) * [1、代价函数](#1-代价函数) * [2、梯度](#2-梯度) * [3、正则化](#3-正则化) * [4、S型函数（即）](#4-s型函数即) * [5、映射为多项式](#5-映射为多项式) * [6、使用的优化方法](#6-使用的优化方法) * [7、运行结果](#7-运行结果) * [8、使用scikit-learn库中的逻辑回归模型实现](#8-使用scikit-learn库中的逻辑回归模型实现) * [逻辑回归_手写数字识别_OneVsAll](#逻辑回归_手写数字识别_onevsall) * [1、随机显示100个数字](#1-随机显示100个数字) * [2、OneVsAll](#2-onevsall) * [3、手写数字识别](#3-手写数字识别) * [4、预测](#4-预测) * [5、运行结果](#5-运行结果) * [6、使用scikit-learn库中的逻辑回归模型实现](#6-使用scikit-learn库中的逻辑回归模型实现) * [三、BP神经网络](#三-bp神经网络) * [1、神经网络model](#1-神经网络model) * [2、代价函数](#2-代价函数) * [3、正则化](#3-正则化) * [4、反向传播BP](#4-反向传播bp) * [5、BP可以求梯度的原因](#5-bp可以求梯度的原因) * [6、梯度检查](#6-梯度检查) * [7、权重的随机初始化](#7-权重的随机初始化) * [8、预测](#8-预测) * [9、输出结果](#9-输出结果) * [四、SVM支持向量机](#四-svm支持向量机) * [1、代价函数](#1-代价函数) * [2、Large Margin](#2-large-margin) * [3、SVM Kernel（核函数）](#3-svm-kernel核函数) * [4、使用中的模型代码](#4-使用中的模型代码) * [5、运行结果](#5-运行结果) * [五、K-Means聚类算法](#五-k-means聚类算法) * [1、聚类过程](#1-聚类过程) * [2、目标函数](#2-目标函数) * [3、聚类中心的选择](#3-聚类中心的选择) * [4、聚类个数K的选择](#4-聚类个数k的选择) * [5、应用——图片压缩](#5-应用图片压缩) * [6、使用scikit-learn库中的线性模型实现聚类](#6-使用scikit-learn库中的线性模型实现聚类) * [7、运行结果](#7-运行结果) * [六、PCA主成分分析（降维）](#六-pca主成分分析降维) * [1、用处](#1-用处) * [2、2D-->1D，nD-->kD](#2-2d-1dnd-kd) * [3、主成分分析PCA与线性回归的区别](#3-主成分分析pca与线性回归的区别) * [4、PCA降维过程](#4-pca降维过程) * [5、数据恢复](#5-数据恢复) * [6、主成分个数的选择（即要降的维度）](#6-主成分个数的选择即要降的维度) * [7、使用建议](#7-使用建议) * [8、运行结果](#8-运行结果) * [9、使用scikit-learn库中的PCA实现降维](#9-使用scikit-learn库中的pca实现降维) * [七、异常检测 Anomaly Detection](#七-异常检测-anomaly-detection) * [1、高斯分布（正态分布）](#1-高斯分布正态分布) * [2、异常检测算法](#2-异常检测算法) * [3、评价的好坏，以及的选取](#3-评价的好坏以及的选取) * [4、选择使用什么样的feature（单元高斯分布）](#4-选择使用什么样的feature单元高斯分布) * [5、多元高斯分布](#5-多元高斯分布) * [6、单元和多元高斯分布特点](#6-单元和多元高斯分布特点) * [7、程序运行结果](#7-程序运行结果) ## 一、[线性回归](/LinearRegression) - [全部代码](/LinearRegression/LinearRegression.py) ### 1、代价函数 -  - 其中：  - 下面就是要求出theta，使代价最小，即代表我们拟合出来的方程距离真实值最近 - 共有m条数据，其中代表我们要拟合出来的方程到真实值距离的平方，平方的原因是因为可能有负值，正负可能会抵消 - 前面有系数`2`的原因是下面求梯度是对每个变量求偏导，`2`可以消去 - 实现代码： ``` # 计算代价函数 def computerCost(X,y,theta): m = len(y) J = 0 J = (np.transpose(X*theta-y))*(X*theta-y)/(2*m) #计算代价J return J ``` - 注意这里的X是真实数据前加了一列1，因为有theta(0) ### 2、梯度下降算法 - 代价函数对求偏导得到： ![\frac{{\partial J(\theta )}}{{\partial {\theta _j}}} = \frac{1}{m}\sum\limits_{i = 1}^m {[({h_\theta }({x^{(i)}}) - {y^{(i)}})x_j^{(i)}]} ](http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=%5Cfrac%7B%7B%5Cpartial%20J%28%5Ctheta%20%29%7D%7D%7B%7B%5Cpartial%20%7B%5Ctheta%20_j%7D%7D%7D%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%5B%28%7Bh_%5Ctheta%20%7D%28%7Bx%5E%7B%28i%29%7D%7D%29%20-%20%7By%5E%7B%28i%29%7D%7D%29x_j%5E%7B%28i%29%7D%5D%7D%20) - 所以对theta的更新可以写为： ![{\theta _j} = {\theta _j} - \alpha \frac{1}{m}\sum\limits_{i = 1}^m {[({h_\theta }({x^{(i)}}) - {y^{(i)}})x_j^{(i)}]} ](http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=%7B%5Ctheta%20_j%7D%20%3D%20%7B%5Ctheta%20_j%7D%20-%20%5Calpha%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%5B%28%7Bh_%5Ctheta%20%7D%28%7Bx%5E%7B%28i%29%7D%7D%29%20-%20%7By%5E%7B%28i%29%7D%7D%29x_j%5E%7B%28i%29%7D%5D%7D%20) - 其中为学习速率，控制梯度下降的速度，一般取**0.01,0.03,0.1,0.3.....** - 为什么梯度下降可以逐步减小代价函数 - 假设函数`f(x)` - 泰勒展开：`f(x+△x)=f(x)+f'(x)*△x+o(△x)` - 令：`△x=-α*f'(x)` ,即负梯度方向乘以一个很小的步长`α` - 将`△x`代入泰勒展开式中：`f(x+x)=f(x)-α*[f'(x)]²+o(△x)` - 可以看出，`α`是取得很小的正数，`[f'(x)]²`也是正数，所以可以得出：`f(x+△x)<=f(x)` - 所以沿着**负梯度**放下，函数在减小，多维情况一样。 - 实现代码 ``` # 梯度下降算法 def gradientDescent(X,y,theta,alpha,num_iters): m = len(y) n = len(theta) temp = np.matrix(np.zeros((n,num_iters))) # 暂存每次迭代计算的theta，转化为矩阵形式 J_history = np.zeros((num_iters,1)) #记录每次迭代计算的代价值 for i in range(num_iters): # 遍历迭代次数 h = np.dot(X,theta) # 计算内积，matrix可以直接乘 temp[:,i] = theta - ((alpha/m)*(np.dot(np.trans