pk10走势图

需要代学学时的朋友请扫描网站右上方微信二维码, QQ:158775098 微信/电话:18119655523
当前位置:代学网 > 其他学习网站 > 正文

前馈神经网络 - 代学网官网

一、神经网络基础 1. 神经元模型

神经网络中最基本的单元是神经元模型(neuron)。

细胞体分为两部分,前一部分运算总输入值(即输入信号的加权和,或者说累积电平),后一部分先运算总输入值与该神经元阈值的差值,然后通过激活函数(activation function)的处理,产生输出从轴突传送给其它神经元。M-P神经元模型如下图所示:

神经元

2. 激活函数

与线性分类十分相似,神经元模型最理想的激活函数也是阶跃函数,即将神经元输入值与阈值的差值映射为输出值1或0,若差值大于零输出1,对应兴奋;若差值小于零则输出0,对应抑制。但阶跃函数不连续,不光滑,故在M-P神经元模型中,也摘用Sigmoid函数来近似, Sigmoid函数将较大范畴内变化的输入值挤压来 (0,1) 输出值范畴内,所以也称为挤压函数(squashing function)。

激活函数

更多激活函数参考: https://www。jianshu。com/p/22d9720dbf1a

3. 感晓机(Perceptron)

感晓机(Perceptron)是由两层神经元组成的一个简单模型,但只有输出层是M-P神经元,即只有输出层神经元进行激活函数处理,也称为功能神经元(functional neuron);输入层只是接受外界信号(样本属性)并传递给输出层(输入层的神经元个数等于样本的属性数目),而没有激活函数。这样一来,感晓机与之前线性模型中的对数几率回来的思想基本是一样的,都是通过对属性加权与另一个常数求和,再使用sigmoid函数将这个输出值压缩来0-1之间,,从而解决分类问题。不同的是感晓机的输出层应该可以有多个神经元,从而可以实现多分类问题,同时两个模型所用的参数估量方法十分不同。

感晓机

感晓机权复学习过程

感晓机的学习摘用随机梯度下降算法(SGD)该算法的说明可以参考:

感晓机学习

        其中 η∈(0,1)称为学习率,可以看出感晓机是通过逐个样本输入来更新权复,第一设定好初始权复(一般为随机),逐个地输入样本数据,若输出值与真实标记相同则连续输入下一个样本,若不一致则更新权复,然后再复新逐个检验,直来每个样本数据的输出值都与真实标记相同。容易看出:感晓机模型总是能将训练数据的每一个样本都猜测正确,和决策树模型总是能将所有训练数据都分开一样,感晓机模型很容易产生过拟合问题。

局限性:

感晓机只有输出层神经元进行激活函数处理,即只拥有一层功能神经元,其学习能力非常有限。 可以证明若二类模式是线性可分的,即存在一个线性超平面能将他们分开,则感晓机的学习一定会收敛(converge)而求得适当的权向量w = (w1,w2,w3…..); 否则感晓机学习过程将会发生震荡,w难以稳固下来,不能求得合适解。

要解决非线性可分问题需要考虑使用多层功能神经元,即神经网络。(神经网络发展史上经典问题:异或问题单层网络不能解决)

4.神经网络

多层神经网络的拓扑结构如下图所示:

多层神经网络

在神经网络中,输入层与输出层之间的层称为隐含层或隐层(hidden layer),隐层和输出层的神经元都是具有激活函数的功能神经元。只需包含一个隐层便可以称为多层神经网络,常用的神经网络称为“多层前馈神经网络 - 代学网官网”(multi-layer feedforward neural network),该结构满足以下几个特点:

* 每层神经元与下一层神经元之间完全互连

pk10走势图* 神经元之间不存在同层连接

* 神经元之间不存在跨层连接

前馈神经网络 - 代学网官网

pk10走势图根据上面的特点可以得晓:这里的“前馈”指的是网络拓扑结构中不存在环或回路,而不是指该网络只能向前传播而不能向后传播

二、误差逆传播算法(BP神经网络算法)

版权保护: 本文(前馈神经网络 - 代学网官网)由代学网摘集于网络,本文链接: http://www.yfljl.com/qita/14235.html

热门文章

pk10帐号注册 pk10帐号注册 pk10走势图 pk10帐号注册 大发时时彩

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!