机器学习SVM(支持向量机)实验报告

1实验报告实验名称：机器学习：线性支持向量机算法实现学员：张麻子学号：***********培养类型：硕士年级：专业：所属学院：计算机学院指导教员：******职称：副教授实验室：实验日期：2一、实验目的和要求实验目的：验证SVM（支持向量机）机器学习算法学习情况要求：自主完成。二、实验内容和原理支持向量机（SupportVectorMachine,SVM）的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法。通过引入了核方法之后SVM也可以用来解决非线性问题。但本次实验只针对线性二分类问题。SVM算法分割原则：最小间距最大化，即找距离分割超平面最近的有效点距离超平面距离和最大。对于线性问题：wTx+b=0假设存在超平面可最优分割样本集为两类，则样本集到超平面距离为：ρ=min{|wTx+b|||w||}=a||w||需压求取：maxa||w||s.t.yi(wTx+b)≥a由于该问题为对偶问题，可变换为：min12||w||2s.t.yi(wTx+b)≥1可用拉格朗日乘数法求解。但由于本实验中的数据集不可以完美的分为两类，即存在躁点。可引入正则化参数Ｃ，用来调节模型的复杂度和训练误差。min12||w||2+C∑εis.t.yi(wTx+b)≥1−εi,εi03作出对应的拉格朗日乘式：对应的ＫＫＴ条件为：故得出需求解的对偶问题：{min12∑∑αiαjyiyj(xiTxj)−∑αis.t.∑αiyj=0,C≥αi≥0,本次实验使用python编译器，编写程序，数据集共有２７０个案例，挑选其中70%作为训练数据，剩下30%作为测试数据。进行了两个实验，一个是取Ｃ值为１，直接进行ＳＶＭ训练；另外一个是利用交叉验证方法，求取在前面情况下的最优Ｃ值。三、实验器材实验环境：windows7操作系统+python编译器。四、实验数据（关键源码附后）实验数据：来自UCI机器学习数据库，以HeartDisease数据集为例。五、操作方法与实验步骤１、选取Ｃ＝１，训练比例７：３，利用python库sklearn下的SVM()函数进4行训练，后对测试集进行测试；２、选取训练比例７：３，Ｃ＝np.linspace(0.0001,1,30)}。利用交叉验证方法求出Ｃ值的最优解。六、实验结果与分析实验一得出结果：可见，训练集的正确率是0.8677248677248677，小于１，说明训练集存在躁点，需要选择性的排出，才能得到较好的训练效果，测试集正确率达到了0.8271604938271605，还须进一步提高。实验二得出结果：可见，在上述情况下，当Ｃ＝0.06905862068965518时，可得到较好的训练效果。七、问题与建议(可选)本次实验只是对ＳＶＭ在线性空间的应用，还有非线性问题，多分类问题等。5通过研究了解到，对于非线性问题，需要加入核函数；对于多分类问题，需要重新调整模型八、附录（源代码）importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportmatplotlibasmplfromsklearnimportsvmfromsklearn.model_selectionimporttrain_test_split,GridSearchCVfromsklearn.metricsimportclassification_reportdefLoadData(path):data=np.loadtxt(path,dtype=float,delimiter='')returndatadefOnce_SVM(data,c=0.1,train_rate=0.7):x,y=np.split(data,(13,),axis=1)x_train,x_test,y_train,y_test=train_test_split(x,y,random_state=0,train_size=train_rate)clf=svm.SVC(C=c,kernel='linear',decision_function_shape='ovo')clf.fit(x_train,y_train.ravel())print(u'C值:',c)print(u'训练集正确率:',clf.score(x_train,y_train))#精度print(u'测试集正确率:',clf.score(x_test,y_test))print(u'测试集预测结果：')y_hat=clf.predict(x_test)print(y_hat)print(u'测试集真实结果：')6print(y_test.T)defCrossValidation_SVM(data,train_rate=0.7):x,y=np.split(data,(13,),axis=1)x_train,x_test,y_train,y_test=train_test_split(x,y,random_state=0,train_size=train_rate)tuned_parameters=[{'kernel':['linear'],'C':np.linspace(0.0001,1,30)}]#构造这个GridSearch的分类器,5-foldclf=GridSearchCV(svm.SVC(),tuned_parameters,cv=5,scoring='accuracy')clf.fit(x_train,y_train.ravel())print(u'最优参数：')print(clf.best_params_)y_true,y_pred=y_test,clf.predict(x_test)print(classification_report(y_true,y_pred))if__name__=='__main__':data=LoadData(u'D:/研究生课程/机器学习/ML_data/heart.dat')Once_SVM(data,1,0.7)CrossValidation_SVM(data,0.7)