图解机器学习——高斯核函数集正则化方法

模型：

J =argmin (phi*t-yn)^2+(lambda*t^2)/2

也即给近似加上正则化约束

t的最优解：

t_opt = (phi'*phi+lambda*I)\phi*yn

%%

仿真效果如图所示：

下面是matlab程序：

%%

%

clear;

close all;

clc;

%%

% 高斯核函数集

% 正则学习法

n = 50;

x = linspace(-3,3,n)';

pix = pi*x;

y = sin(pix)./pix+0.2*x;

yn = y+0.2*randn(n,1);

% 正则化系数

lambda = 0.1;

% 高斯函数带宽

h = 2*0.3^2;

K = exp(-(repmat(x,1,n)-2*x').^2/h);

yr = K*((K'*K+lambda *eye(n))\K'*yn);

figure();

clf;

hold on;

plot(x,y,'r:','LineWidth',2);

plot(x,yn,'bo','LineWidth',1);

plot(x,yr,'g-','LineWidth',2);

title('高斯核函数集正则学习法');

legend('无噪声波形','噪声数据点','近似')