人工智能专栏推荐

正文

数据的读取和预处理

现在有一个文件名称为：ex6data1.mat，这个文件的格式不是python的格式，它是matlib的格式，但是python也可以进行相关的读取操作。

import scipy.io as sio

mat = sio.loadmat('ex6data1.mat')#读取mat数据的方式

print(mat.keys())#查看mat文件中的所有变量

可以使用scipy.io方式来读取mat文件，使用loadmat方法来加载这个文件，我们输出这个文件的所有的变量，结果为：

dict_keys(['__globals__', '__version__', 'y', 'X', '__header__'])

这个表示在这个数据文件中有5个变量，其中我们只是用两个变量，分别是X和Y，X表示我们的样本，而Y表示我们的样本所对应的而标签

既然我们训练我们的svm的模型，那么我们就只获取到我们想要的样本x和标签y就可以了。

data = pd.DataFrame(mat.get('X'), columns=['X1', 'X2'])

data['y'] = mat.get('y')

print (data)

我们使用mat.get（X）为获取到我们数据中的X变量，但是此时的变量是<class 'numpy.ndarray'>类型的我们输出它为：

我们将其进行转换转成pandas的DataFrame类型，并且指定数据的列名分别为x1和x2，此时我们data为：

此时的data是DataFrame类型，这就是二者的不同之处，此时我们data['y'] = mat.get('y')获取到y，直接赋值给data，其中mat.get('y')为ndarray，赋值给data['y']之后，我们的data['y']就会自动变成<class 'pandas.core.series.Series'>类型，其实我们可以把Series可以理解为带索引的ndarray，DataFrame类型中的一列其实就是Serise类型，我们最终输出data，最终的结果为:

这个就相当于预处理好了，就是我们想要的那个数据集，有两个特征x1和x2，还有一个标签y，那么下面我们。就可以使用svm进行训练了

模型的训练

再训练之前我们先把我们的当前数据集的图给画出来

fig, ax = plt.subplots(figsize=(8,6))

ax.scatter(data['X1'], data['X2'], s=50, c=data['y'], cmap='Reds')#c表示颜色

ax.set_title('Raw data')

ax.set_xlabel('X1')

ax.set_ylabel('X2')

plt.show()

我们使用matplotlib画出散点图效果为:

我们可以看出这就是数据的大概的一个分布的情况，下面我们使用sklearn库封装好的svm算法来对数据进行训练。

svc1 = clf = svm.SVC(C=10,kernel='linear')

svc1.fit(data[['X1', 'X2']], data['y'])

这里因为我们的数据基本线性可分，所以没有必要使用核函数来处理这个数据，至于松弛变量C是多少，我们只能去一点一点的来尝试。这里我们使用C=1，然后分类器训练时的损失函数是hinge，然后我们来拟合这个数据fit，最终得到的svc1就是我们想要的训练的svm的模型

我们可以查看我们的训练模型的训练准确率是多少

accuracy=svc1.score(data[['X1', 'X2']], data['y'])#训练集准确率

结果就是0.980392156863，这就是我们训练数据的精确度

如果要是想要查看我们的决策函数值我们可以使用decision_function方法，查看我们每个样本的正副值，正样本越大于0，表示越正，负样本越小于0表示越负，最终我们可以看到所有样本的决策函数值为：

我们可以通过查看每个类别预测的置信水平来看出这一点，这是该点与超平面距离的函数。

每个样本的决策函数值

我们下面再来画一幅图只不过这幅图不再按照正负样本进行画图，而是根据每个样本的决策函数值进行画图，画图的代码为：

fig, ax = plt.subplots(figsize=(8,6))

ax.scatter(data['X1'], data['X2'], s=50, c=data['SVM1 Confidence'], cmap='RdBu')

ax.set_title('SVM (C=1) Decision Confidence')

plt.show()

画图的效果为：

下面的任务是画出分割超平面和支撑超平面，首先我们先来分析一下这个应该怎么画比较合适，就拿这个图的数据可知，我们有两个特征x1和x2，我们的分割超平面的方程为w1x1+w2x2+b=0，我们完全可以把x1看着是自变量，x2看作是因变量，这样我们就可以在这个图中画出一条直线，所以我们的方程变成了

所以我们只需要构造出这个方程来，我们的纵坐标的x2就有了，x1我们可以随机产生，然后使用画图工具画图就ok了，代码为：

w=svc1.coef_[0]#获取W

b=svc1.intercept_[0]#获取b

w1=w[0]#获取w1

w2=w[1]#获取w2

x1=np.linspace(-5,5)#随机生成1，这可以保证x1的连续性

xx2=-w1/w2*x1-b/w2#按照刚才的公式获得x2

现在x1和x2有了，下面我们使用画图工具来画出这个分割平面

plt.plot(x1,x2,'k-')

效果为：

下面我们画上支撑超平面（这里要注定一点的是支撑超平面其实就是y=w1x1+w2x2+b-1或者y=w1x1+w2x2+b+1），但是这里我们使用x2作为因变量，所以现在就不能这样思考这个问题了，因为我们现在画图没有使用因变量y。

我们知道分割超平面和支撑超平面之间是平行的关系，所以首先我们的斜率-w1/w2现在已经有了，此时我们再求出截距b就可以了（截距相差不是1，这个不要和y=。。弄混）。我们可以设支撑超平面的方程为y=-w1/w2x+b。此时b=y+w1/w2x，所以只要找到这两条支撑超平面上的任意一点带入就可以得到b了，支撑超平面上的点很好找，因为支撑向量就再支撑超平面上。

supportb = svc1.support_vectors_[0]#第一个支撑向量

yy_down = a*x1 + (supportb[1] - a*supportb[0])

supportb = svc1.support_vectors_[-1]#最后一个支撑向量

yy_up = a*x1 + (supportb[1] - a*supportb[0])

之所以支撑向量选一个0和一个-1的目的就是为了让我们选出的支撑向量恰好是两条支撑超平面上的向量（这有时也会出一些问题，所以这里要注意一下，这只是暂定的方法，这里我实际上用的是-2，效果更好），我们带入公式可以得出两条支撑超平面的d了，下面我们画图：

plt.plot(x1,yy_down,'k-')

plt.plot(x1,yy_up,'k-')

显示的效果为：

全部代码为：

import numpy as np

import pandas as pd

from sklearn import svm

import seaborn as sns

import scipy.io as sio

import matplotlib.pyplot as plt

#数据预处理

mat = sio.loadmat('ex6data1.mat')#读取mat数据的方式

print(mat.keys())#查看mat文件中的所有变量

data = pd.DataFrame(mat.get('X'), columns=['X1', 'X2'])

data['y'] = mat.get('y')

#画出我们所有的数据，可以看出数据的大概的分布

fig, ax = plt.subplots(figsize=(8,6))

ax.scatter(data['X1'], data['X2'], s=50, c=data['y'], cmap='Reds')

ax.set_title('Raw data')

ax.set_xlabel('X1')

ax.set_ylabel('X2')

#拟合我的数据svm

svc1= svm.SVC(C=10,kernel='linear')

svc1.fit(data[['X1', 'X2']], data['y'])

#训练集准确度

accuracy=svc1.score(data[['X1', 'X2']], data['y'])#训练集准确率

#构造切分超平面的直线

w=svc1.coef_[0]#获取W

b=svc1.intercept_[0]#获取b

w1=w[0]#获取w1

w2=w[1]#获取w2

x1=np.linspace(-5,5)#随机生成1，这可以保证x1的连续性

x2=-w1/w2*x1-b/w2#按照刚才的公式获得x2

#构造支撑超平面的直线

a = -w[0]/w[1]

supportb = svc1.support_vectors_[0]#第一个支撑向量

yy_down = a*x1 + (supportb[1] - a*supportb[0])

supportb = svc1.support_vectors_[-2]#最后一个支撑向量

yy_up = a*x1 + (supportb[1] - a*supportb[0])

#画出这三条直线

plt.plot(x1,x2)

plt.plot(x1,yy_down)

plt.plot(x1,yy_up)

plt.show()

#决策值

data['SVM1 Confidence'] = svc1.decision_function(data[['X1', 'X2']])

#根据决策值画图

fig, ax = plt.subplots(figsize=(8,6))

ax.scatter(data['X1'], data['X2'], s=50, c=data['SVM1 Confidence'], cmap='RdBu')

ax.set_title('SVM (C=1) Decision Confidence')

w=svc1.coef_[0]

b=svc1.intercept_[0]

w1=w[0]

w2=w[1]

xx1=np.linspace(-5,5)

xx2=-w1/w2*xx1-b/w2

plt.plot(xx1,xx2)

plt.show()