2022年 11月 8日

【python】SVM算法介绍

支持向量机(support vector machines，SVM)是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM的目的就是想要画出一条线，以“最好地”区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM适合中小型数据样本、非线性、高维的分类问题。

SVM最早是由Vladimir N. vapnik和Alexey ‘Ya.Chervonenkis在1963年提出，目前的版本(soft margin）是由Corinna Cortes和Vapnik在1993年提出，并在1995年发表。深度学习(2012)出现之前，SVM被认为机器学习中近十几年来最成功，表现最好的算法。

1.1 SVM基本概念

将实例的特征向量(以二维为例)映射为空间中的一些点，如下图的实心点和空心点，它们属于不同的两类。SVM的目的就是想要画出一条线，以“最好地”区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。

1.2 hard-margin SVM 

 

 

 

2.实例演示

2.1基于sklearn包实现通过svm算法绘图的功能

  1. from sklearn import svm
  2. import numpy as np
  3. import matplotlib.pyplot as plt
  4.  
  5. #准备训练样本
  6. x=[[1,8],[3,20],[1,15],[3,35],[5,35],[4,40],[7,80],[6,49]]
  7. y=[1,1,-1,-1,1,-1,-1,1]
  8.  
  9. ##开始训练
  10. clf=svm.SVC()  ##默认参数：kernel='rbf'
  11. clf.fit(x,y)
  12.  
  13. #print("预测...")
  14. #res=clf.predict([[2,2]])  ##两个方括号表面传入的参数是矩阵而不是list
  15.  
  16. ##根据训练出的模型绘制样本点
  17. for i in x:
  18.     res=clf.predict(np.array(i).reshape(1, -1))
  19.     if res > 0:
  20.         plt.scatter(i[0],i[1],c='r',marker='*')
  21.     else :
  22.         plt.scatter(i[0],i[1],c='g',marker='*')
  23.  
  24. ##生成随机实验数据(15行2列)
  25. rdm_arr=np.random.randint(1, 15, size=(15,2))
  26. ##回执实验数据点
  27. for i in rdm_arr:
  28.     res=clf.predict(np.array(i).reshape(1, -1))
  29.     if res > 0:
  30.         plt.scatter(i[0],i[1],c='r',marker='.')
  31.     else :
  32.         plt.scatter(i[0],i[1],c='g',marker='.')
  33. ##显示绘图结果
  34. plt.show()

2.2 核函数的实现

 

  1. from sklearn import svm
  2. import numpy as np
  3. import matplotlib.pyplot as plt
  4.  
  5. ##设置子图数量
  6. fig, axes = plt.subplots(nrows=2, ncols=2,figsize=(7,7))
  7. ax0, ax1, ax2, ax3 = axes.flatten()
  8.  
  9. #准备训练样本
  10. x=[[1,8],[3,20],[1,15],[3,35],[5,35],[4,40],[7,80],[6,49]]
  11. y=[1,1,-1,-1,1,-1,-1,1]
  12. '''
  13.     说明1：
  14.        核函数(这里简单介绍了sklearn中svm的四个核函数，还有precomputed及自定义的)
  15.         
  16.     LinearSVC：主要用于线性可分的情形。参数少，速度快，对于一般数据，分类效果已经很理想
  17.     RBF:主要用于线性不可分的情形。参数多，分类结果非常依赖于参数
  18.     polynomial:多项式函数,degree 表示多项式的程度-----支持非线性分类
  19.     Sigmoid：在生物学中常见的S型的函数，也称为S型生长曲线
  21.     说明2：根据设置的参数不同，得出的分类结果及显示结果也会不同
  22.     
  23. '''
  24. ##设置子图的标题
  25. titles = ['LinearSVC (linear kernel)',  
  26.           'SVC with polynomial (degree 3) kernel',  
  27.           'SVC with RBF kernel',      ##这个是默认的
  28.           'SVC with Sigmoid kernel']
  29. ##生成随机试验数据(15行2列)
  30. rdm_arr=np.random.randint(1, 15, size=(15,2))
  31.  
  32. def drawPoint(ax,clf,tn):
  33.     ##绘制样本点
  34.     for i in x:
  35.         ax.set_title(titles[tn])
  36.         res=clf.predict(np.array(i).reshape(1, -1))
  37.         if res > 0:
  38.            ax.scatter(i[0],i[1],c='r',marker='*')
  39.         else :
  40.            ax.scatter(i[0],i[1],c='g',marker='*')
  41.      ##绘制实验点
  42.     for i in rdm_arr:
  43.         res=clf.predict(np.array(i).reshape(1, -1))
  44.         if res > 0:
  45.            ax.scatter(i[0],i[1],c='r',marker='.')
  46.         else :
  47.            ax.scatter(i[0],i[1],c='g',marker='.')
  48.  
  49. if __name__=="__main__":
  50.     ##选择核函数
  51.     for n in range(0,4):
  52.         if n==0:
  53.             clf = svm.SVC(kernel='linear').fit(x, y)
  54.             drawPoint(ax0,clf,0)
  55.         elif n==1:
  56.             clf = svm.SVC(kernel='poly', degree=3).fit(x, y)
  57.             drawPoint(ax1,clf,1)
  58.         elif n==2:
  59.             clf= svm.SVC(kernel='rbf').fit(x, y)
  60.             drawPoint(ax2,clf,2)
  61.         else :
  62.             clf= svm.SVC(kernel='sigmoid').fit(x, y)
  63.             drawPoint(ax3,clf,3)
  64.     plt.show()

2.3 线性分类函数：LinearSVC()

  1. from sklearn import svm
  2. import numpy as np
  3. import matplotlib.pyplot as plt
  4.  
  5. ##设置子图数量
  6. fig, axes = plt.subplots(nrows=1, ncols=2,figsize=(7,7))
  7. ax0, ax1 = axes.flatten()
  8.  
  9. #准备训练样本
  10. x=[[1,8],[3,20],[1,15],[3,35],[5,35],[4,40],[7,80],[6,49]]
  11. y=[1,1,-1,-1,1,-1,-1,1]
  12.  
  13. ##设置子图的标题
  14. titles = ['SVC (linear kernel)',  
  15.           'LinearSVC']
  16.  
  17. ##生成随机试验数据(15行2列)
  18. rdm_arr=np.random.randint(1, 15, size=(15,2))
  19.  
  20. ##画图函数
  21. def drawPoint(ax,clf,tn):
  22.     ##绘制样本点
  23.     for i in x:
  24.         ax.set_title(titles[tn])
  25.         res=clf.predict(np.array(i).reshape(1, -1))
  26.         if res > 0:
  27.            ax.scatter(i[0],i[1],c='r',marker='*')
  28.         else :
  29.            ax.scatter(i[0],i[1],c='g',marker='*')
  30.     ##绘制实验点
  31.     for i in rdm_arr:
  32.         res=clf.predict(np.array(i).reshape(1, -1))
  33.         if res > 0:
  34.            ax.scatter(i[0],i[1],c='r',marker='.')
  35.         else :
  36.            ax.scatter(i[0],i[1],c='g',marker='.')
  37.  
  38. if __name__=="__main__":
  39.     ##选择核函数
  40.     for n in range(0,2):
  41.         if n==0:
  42.             clf = svm.SVC(kernel='linear').fit(x, y)
  43.             drawPoint(ax0,clf,0)
  44.         else :
  45.             clf= svm.LinearSVC().fit(x, y)
  46.             drawPoint(ax1,clf,1)
  47.     plt.show()

借鉴https://www.cnblogs.com/lc1217/p/6639448.html