吴恩达机器学习练习SVM支持向量机（不存在学不会！）

　　这篇文章主要为我们带来了吴恩达机器学习的一个练习：SVM支持向量机，通过本次练习相信你能对机器学习深入更进一步，需要的朋友可以参考下！
　　【关注博主，持续分享编程干货】1SupportVectorMachines1。1ExampleDataset1matplotlibinlineimportnumpyasnpimportpandasaspdimportmatplotlib。pyplotaspltimportseabornassbfromscipy。ioimportloadmatfromsklearnimportsvm
　　大多数SVM的库会自动帮你添加额外的特征X以及，所以无需手动添加matloadmat（。dataex6data1。mat）print（mat。keys（））dictkeys（〔header，version，globals，X，y〕）Xmat〔X〕ymat〔y〕
　　defplotData（X，y）：plt。figure（figsize（8，5））plt。scatter（X〔：，0〕，X〔：，1〕，cy。flatten（），cmaprainbow）plt。xlabel（X1）plt。ylabel（X2）plt。legend（）plotData（X，y）
　　defplotBoundary（clf，X）：plotdecisionbondaryxmin，xmaxX〔：，0〕。min（）1。2，X〔：，0〕。max（）1。1ymin，ymaxX〔：，1〕。min（）1。1，X〔：，1〕。max（）1。1xx，yynp。meshgrid（np。linspace（xmin，xmax，500），np。linspace（ymin，ymax，500））Zclf。predict（np。c〔xx。ravel（），yy。ravel（）〕）ZZ。reshape（xx。shape）plt。contour（xx，yy，Z）
　　models〔svm。SVC（C，kernellinear）forCin〔1，100〕〕clfs〔model。fit（X，y。ravel（））formodelinmodels〕
　　title〔SVMDecisionBoundarywithC｛｝（ExampleDataset1。format（C）forCin〔1，100〕〕formodel，titleinzip（clfs，title）：plt。figure（figsize（8，5））plotData（X，y）plotBoundary（model，X）plt。title（title）
　　可以从上图看到，当C比较小时模型对误分类的惩罚增大，比较严格，误分类少，间隔比较狭窄。
　　当C比较大时模型对误分类的惩罚增大，比较宽松，允许一定的误分类存在，间隔较大。
　　1。2SVMwithGaussianKernels
　　这部分，使用SVM做非线性分类。我们将使用高斯核函数。
　　为了用SVM找出一个非线性的决策边界，我们首先要实现高斯核函数。我可以把高斯核函数想象成一个相似度函数，用来测量一对样本的距离，（x，y）
　　这里我们用sklearn自带的svm中的核函数即可。
　　1。2。1GaussianKerneldefgaussKernel（x1，x2，sigma）：returnnp。exp（（（x1x2）2）。sum（）（2sigma2））gaussKernel（np。array（〔1，2，1〕），np。array（〔0，4，1〕），2。）0。32465246735834974
　　1。2。2ExampleDataset2matloadmat（。dataex6data2。mat）X2mat〔X〕y2mat〔y〕plotData（X2，y2）
　　sigma0。1gammanp。power（sigma，2。）2clfsvm。SVC（C1，kernelrbf，gammagamma）modleclf。fit（X2，y2。flatten（））plotData（X2，y2）plotBoundary（modle，X2）
　　1。2。3ExampleDataset3mat3loadmat（dataex6data3。mat）X3，y3mat3〔X〕，mat3〔y〕Xval，yvalmat3〔Xval〕，mat3〔yval〕plotData（X3，y3）
　　Cvalues（0。01，0。03，0。1，0。3，1。，3。，10。，30。）sigmavaluesCvaluesbestpair，bestscore（0，0），0forCinCvalues：forsigmainsigmavalues：gammanp。power（sigma，2。）2modelsvm。SVC（CC，kernelrbf，gammagamma）model。fit（X3，y3。flatten（））thisscoremodel。score（Xval，yval）ifthisscorebestscore：bestscorethisscorebestpair（C，sigma）print（bestpair｛｝，bestscore｛｝。format（bestpair，bestscore））bestpair（1。0，0。1），bestscore0。965
　　modelsvm。SVC（C1。，kernelrbf，gammanp。power（。1，2。）2）model。fit（X3，y3。flatten（））plotData（X3，y3）plotBoundary（model，X3）
　　这我的一个练习画图的，和作业无关，给个画图的参考。importnumpyasnpimportmatplotlib。pyplotaspltfromsklearnimportsvmwecreate40separablepointsnp。random。seed（0）Xnp。array（〔〔3，3〕，〔4，3〕，〔1，1〕〕）Ynp。array（〔1，1，1〕）fitthemodelclfsvm。SVC（kernellinear）clf。fit（X，Y）gettheseparatinghyperplanewclf。coef〔0〕aw〔0〕w〔1〕xxnp。linspace（5，5）yyaxx（clf。intercept〔0〕）w〔1〕plottheparallelstotheseparatinghyperplanethatpassthroughthesupportvectorsbclf。supportvectors〔0〕yydownaxx（b〔1〕ab〔0〕）bclf。supportvectors〔1〕yyupaxx（b〔1〕ab〔0〕）plottheline，thepoints，andthenearestvectorstotheplaneplt。figure（figsize（8，5））plt。plot（xx，yy，k）plt。plot（xx，yydown，k）plt。plot（xx，yyup，k）圈出支持向量plt。scatter（clf。supportvectors〔：，0〕，clf。supportvectors〔：，1〕，s150，facecolorsnone，edgecolorsk，linewidths1。5）plt。scatter（X〔：，0〕，X〔：，1〕，cY，cmapplt。cm。rainbow）plt。axis（tight）plt。show（）print（clf。decisionfunction（X））
　　〔1。1。51。〕
　　2SpamClassification2。1PreprocessingEmails
　　这部分用SVM建立一个垃圾邮件分类器。你需要将每个email变成一个n维的特征向量，这个分类器将判断给定一个邮件x是垃圾邮件（y1）或不是垃圾邮件（y0）。
　　takealookatexamplesfromthedataset
　　withopen（dataemailSample1。txt，r）asf：emailf。read（）print（email）
　　Anyoneknowshowmuchitcoststohostawebportal？Well，itdependsonhowmanyvisitorsyoureexpecting。Thiscanbeanywherefromlessthan10bucksamonthtoacoupleof100。Youshouldcheckouthttp：www。rackspace。comorperhapsAmazonEC2ifyourerunningsomethingbig。。Tounsubscribeyourselffromthismailinglist，sendanemailto：groupnameunsubscribeegroups。com
　　可以看到，邮件内容包含aURL，anemailaddress（attheend），numbers，anddollaramounts。很多邮件都会包含这些元素，但是每封邮件的具体内容可能会不一样。因此，处理邮件经常采用的方法是标准化这些数据，把所有URL当作一样，所有数字看作一样。
　　例如，我们用唯一的一个字符串‘httpaddr来替换所有的URL，来表示邮件包含URL，而不要求具体的URL内容。这通常会提高垃圾邮件分类器的性能，因为垃圾邮件发送者通常会随机化URL，因此在新的垃圾邮件中再次看到任何特定URL的几率非常小。
　　我们可以做如下处理：1。Lowercasing：把整封邮件转化为小写。2。StrippingHTML：移除所有HTML标签，只保留内容。3。NormalizingURLs：将所有的URL替换为字符串httpaddr。4。NormalizingEmailAddresses：所有的地址替换为emailaddr5。NormalizingDollars：所有dollar符号（）替换为dollar。6。NormalizingNumbers：所有数字替换为number7。WordStemming（词干提取）：将所有单词还原为词源。例如，discount，discounts，discountedanddiscounting都替换为discount。8。Removalofnonwords：移除所有非文字类型，所有的空格（tabs，newlines，spaces）调整为一个空格。
　　matplotlibinlineimportnumpyasnpimportmatplotlib。pyplotaspltfromscipy。ioimportloadmatfromsklearnimportsvmimportreregularexpressionforemailprocessing这是一个可用的英文分词算法（Porterstemmer）fromstemming。porter2importstem这个英文算法似乎更符合作业里面所用的代码，与上面效果差不多importnltk，nltk。stem。porter
　　defprocessEmail（email）：做出了WordStemming和Removalofnonwords的所有处理emailemail。lower（）emailre。sub（〔〕，，email）匹配开头，然后所有不是，的内容，直到结尾，相当于匹配。。。emailre。sub（（httphttps）：〔s〕，httpaddr，email）匹配后面不是空白字符的内容，遇到空白字符则停止emailre。sub（〔s〕〔s〕，emailaddr，email）emailre。sub（〔〕，dollar，email）emailre。sub（〔d〕，number，email）returnemail
　　接下来就是提取词干，以及去除非字符内容。defemail2TokenList（email）：预处理数据，返回一个干净的单词列表IllusetheNLTKstemmerbecauseitmoreaccuratelyduplicatestheperformanceoftheOCTAVEimplementationintheassignmentstemmernltk。stem。porter。PorterStemmer（）emailpreProcess（email）将邮件分割为单个单词，re。split（）可以设置多种分隔符tokensre。split（〔。：〔〕？！（）｛｝，gt；lt；；〕，email）遍历每个分割出来的内容tokenlist〔〕fortokenintokens：删除任何非字母数字的字符tokenre。sub（〔azAZ09〕，，token）；UsethePorterstemmerto提取词根stemmedstemmer。stem（token）去除空字符串‘，里面不含任何字符ifnotlen（token）：continuetokenlist。append（stemmed）returntokenlist
　　2。1。1VocabularyList（词汇表）
　　在对邮件进行预处理之后，我们有一个处理后的单词列表。下一步是选择我们想在分类器中使用哪些词，我们需要去除哪些词。
　　我们有一个词汇表vocab。txt，里面存储了在实际中经常使用的单词，共1899个。
　　我们要算出处理后的email中含有多少vocab。txt中的单词，并返回在vocab。txt中的index，这就我们想要的训练单词的索引。defemail2VocabIndices（email，vocab）：提取存在单词的索引tokenemail2TokenList（email）index〔iforiinrange（len（vocab））ifvocab〔i〕intoken〕returnindex
　　2。2ExtractingFeaturesfromEmailsdefemail2FeatureVector（email）：将email转化为词向量，n是vocab的长度。存在单词的相应位置的值置为1，其余为0dfpd。readtable（datavocab。txt，names〔words〕）vocabdf。asmatrix（）returnarrayvectornp。zeros（len（vocab））initvectorvocabindicesemail2VocabIndices（email，vocab）返回含有单词的索引将有单词的索引置为1foriinvocabindices：vector〔i〕1returnvector
　　vectoremail2FeatureVector（email）print（lengthofvector｛｝numofnonzero｛｝。format（len（vector），int（vector。sum（））））lengthofvector1899numofnonzero45
　　2。3TrainingSVMforSpamClassification
　　读取已经训提取好的特征向量以及相应的标签。分训练集和测试集。Trainingsetmat1loadmat（dataspamTrain。mat）X，ymat1〔X〕，mat1〔y〕Testsetmat2scipy。io。loadmat（dataspamTest。mat）Xtest，ytestmat2〔Xtest〕，mat2〔ytest〕
　　clfsvm。SVC（C0。1，kernellinear）clf。fit（X，y）
　　2。4TopPredictorsforSpampredTrainclf。score（X，y）predTestclf。score（Xtest，ytest）predTrain，predTest（0。99825，0。989）
　　到此这篇关于机器学习SVM支持向量机的练习文章就介绍到这了，更多相关机器学习内容请关注博主或继续浏览下面的相关文章，希望大家以后多多支持！