RBF高斯径向基核函数

小鱼儿 2022-06-01 13:27 344阅读 0赞

RBF高斯径向基核函数(单值:两个点相似性)

XVec表示X向量。||XVec||表示向量长度。

r表示两点距离。r^2表示r的平方。

k(XVec,YVec) = exp(-1/(2\*sigma^2)\*(r^2))

= exp(-gamma\*r^2) ...... 公式-1

这里, gamma=1/(2\*sigma^2)是参数, r=||XVec-YVec||

实际上，可看作是计算2个点X与Y的相似性。很多参考书上，把YVec写作XVec',即 k(XVec, XVec')，也是一样的含义:两点相似性。由于Matlab上面XVec'代表XVec的转置向量(XVec)T,所以，为规避歧义，我记作k(XVec,YVec)。如：LibSVM代码，机器学习经典教材《Pattern Recognition and Machine Learning -Bishop》P312.(三大牛人巨著: Michael I. Jordan,加州大学伯克利分校计算机系/Jon Kleinberg,康奈尔大学计算机系/Bernhard Schölkopf德国蒂宾根马普所)。

r是半径(radial)，这也是径向基核函数(radial basis function)名称的由来。

很容易，写出高斯RBF matlab代码:

r = norm(XVec-YVec, 2); % L2范数嘛

或者: r = sum((XVec-YVec).^2)^(1/2);

k = exp(-gamma\*r^2);

假设X与Y矩阵的每一行是一个样本，如何求得K(X,Y)?

假若X = train\_data是训练数据, K(X,X)是训练核矩阵，可拿去LibSVM做自定义核训练。当然，这里只是童鞋们的一个练习。LibSVM svmtrain有RBF核(-t 2)。

假若X = test\_data 是测试数据, Y = train\_data 是训练数据, 那么 K(X,Y)是测试核矩阵了。(svmpredict)

MatLab下，核矩阵怎么求更高效？去掉for循环！

推导下。

MatLab下，X'代表X的转置矩阵。

r^2 = ||XVec - YVec||^2

= ||XVec||^2 + ||YVec||^2 - 2\*XVec\*YVec'

= XVec\*XVec' + YVec\*YVec' - 2\*XVec\*YVec'

r^2 = repmat( sum(X.^2,2), 1, size(Y,1) ) ...

\+ repmat( sum(Y.^2,2), 1, size(X,1) )' ...

\- 2\*X\*Y' ;

代入公式-1, 得到高斯径向基RBF核矩阵KRBF = K(X, Y):

KRBF = exp(-gamma\*r^2); % RBF核矩阵

在LibSVM中，gamma默认是：1/num\_features , 即X与Y的列数。

假若X是m×d矩阵, Y是n×d矩阵，则KRBF = K(X, Y)是m×n矩阵;

则KRBF = K(Y, Y)是n×n矩阵。

例如：Corel5k图片库，提取出Gist全局视觉特征，训练数据4500×512矩阵Y，测试数据499×512矩阵X，特征数num\_features = 512，那么 默认值 gamma = 1/512;

高斯径向基RBF核矩阵KRBF 写成MatLab函数:

function KMatrix = getKRBF(X, Y, gamma)

r2 = repmat( sum(X.^2,2), 1, size(Y,1) ) ...

\+ repmat( sum(Y.^2,2), 1, size(X,1) )' ...

\- 2\*X\*Y' ; % r^2(r的平方)

KMatrix = exp(-gamma\*r2);

发表评论取消回复

表情：

评论列表（有 0 条评论，344人围观）

还没有评论，来说两句吧...

相关阅读

相关高斯核函数 python实现

高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述

矫情吗；*/ 2023年09月26日 15:41/ 0 赞/ 194 阅读

相关 RBF（径向基）神经网络

[RBF（径向基）神经网络][RBF] 只要模型是一层一层的，并使用AD/BP算法，就能称作BP神经网络。RBF神经网络是其中一个特例。本文主要包括以下内容： 1.

淡淡的烟草味﹌/ 2023年06月08日 06:21/ 0 赞/ 104 阅读

相关高斯过程回归（六）核函数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

浅浅的花香味﹌/ 2023年01月21日 01:15/ 0 赞/ 94 阅读

相关机器学习径向基(Radial basis function)与RBF核函数浅析

径向基函数(RBF)在神经网络领域扮演着重要的角色，如 RBF神经网络具有唯一最佳逼近的特性，径向基作为核函数在SVM中能将输入样本映射到高维特征空间，解决一些原本线性不可分的

偏执的太偏执、/ 2022年08月04日 14:41/ 0 赞/ 690 阅读

相关高斯滤波及高斯卷积核C++实现

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，在图像处理的降噪、平滑中应用较多，特别是对抑制或消除服从正态分布的噪声非常有效。高斯滤波的过程其实就是对整幅图像进行加权平均

缺乏、安全感/ 2022年07月11日 01:59/ 0 赞/ 481 阅读

相关核高基概念

核高基是“核心电子器件、高端通用芯片及基础软件产品”的简称，是我国国务院16个重大科技专项之一。从2009年开始，各企业开始申报各个专业项目，而专项资金每年的投入也被媒体报道

末蓝、/ 2022年07月10日 05:57/ 0 赞/ 272 阅读

相关深度学习：径向基网络（RBF）

http:/[/blog.csdn.net/pipisorry/article/details/71872331][blog.csdn.net_pipisorry_articl

Dear 丶/ 2022年06月16日 10:49/ 0 赞/ 383 阅读

相关 RBF高斯径向基核函数

RBF高斯径向基核函数(单值:两个点相似性) XVec表示X向量。||XVec||表示向量长度。 r表示两点距离。r^2表示r的平方。 k(XVec,YVec)

小鱼儿/ 2022年06月01日 13:27/ 0 赞/ 345 阅读

相关径向基神经网络RBF

RBF网络原理 RBF网络，即径向基神经网络，也是前馈型网络的一种。它的设计思想和BP网络完全不一样。 Cover定理：将复杂的模式分类问题非线性的投射到高维空间将比

一时失言乱红尘/ 2022年05月27日 01:14/ 0 赞/ 504 阅读

相关最简单的径向基网络

最简单的径向基网络 %%最简单的径向基网络 close all clc x=\[-1:0.05:-0.05 0.05:0.05:1\];% 扣除‘0’的不可除 y=sin(p

落日映苍穹つ/ 2022年05月16日 10:29/ 0 赞/ 226 阅读