一.准备工作
反向传播算法是神经网络中一个重要的过程。
了解反向传播算法之前先来理解几个概念:
1.全导 和偏导
求导是数学计算中的一个计算方法,它的定义就是,当自变量的增量趋于零时,因变量的增量与自变量的增量之商的极限。在一个函数存在导数时,称这个函数可导或者可微分。可导的函数一定连续。不连续的函数一定不可导。
全导数是对各个变量求偏导后叠加
偏导数是只对其中一个变量求导数,物理几何意义是一个平面(平行于x或y或z轴)上的一条线,表示固定面上一点的切线斜率。
举例:
f(x,y)=x的平方+y的平方
那它的全导数 就是 2x+2y
对于点(1,1),
x方向的偏导数(只对x求导,y方向数值固定) 是 2x
y方向的偏导数 是 2y
2.链式求导法则:
最简单的理解,
有一个函数为:x1/x0,无法直接求解,经过转换后 是(x1/x2)*(x2/x3)*(x3/x0)
转换为3个式子的相乘, 每个式子可以求解,继而间接求解出x1/x0
将上面的x1/x0 替换为 某个函数对其中一个变量的导数,这就叫链式求导法则
3.学习速率:
学习速率是反向传播算法的的一个配置参数。
在第一次随机出一组参数并得到结果,由结果算得误差之后要对神经网络中的参数进行调整。
学习速率 就是定义 再次调整时的“步子” 大小。
步子越大,对误差的学习越快,但不够精细,可能导致错过那个最优值;
步子越小,学习的够精细,但耗时就更长。
4.反向传播算法:
简单理解,根据每次训练结果产生的误差值,对神经网络的参数不断修正,直到误差为0或者达到要求值。
二.详解
相关推荐
人工神经网络反向传播算法学习
吴恩达机器学习课程反向传播算法的数学推导 Proof of Back Propagation Algorithm.pdf 【本文旨在给出吴恩达机器学习课程反向传播算法的数学推导】
深度学习基础之反向传播算法Good.pdf
这是我在机器学习课程上做汇报用的反向传播算法的PPT,主要是通过学习吴恩达老师的课程总结得来
零基础入门深度学习 神经网络 反向传播算法 神经网络和反向传播算法
神经网络介绍—利用反向传播算法的模式学习 神经网络介绍—利用反向传播算法的模式学习
反向传播算法是人工神经网络训练时采用的一种通用方法,在现代深度学习中得到了大 规模的应用。全连接神经网络(多层感知器模型,MLP),卷积神经网络(CNN),循环神 经网络(RNN)中都有它的实现版本。算法从多元复合...
本项目主要实现了python端的反向传播算法,通过实现算法本身而不是调用库实现,另外里面还进行了包括调整激活函数,学习参数,学习率的调整方法等对原始程序进行了改进,可以用来进行不同参数下实现的比较
Coursera吴恩达机器学习课程,第5周介绍了神经网络的反向传播算法。由于介绍得比较简要,很多地方没有讲透(众:You can you up!),后来C站论坛里有几个网友开始争论其中的公式有点奇怪,究竟是讲错了还是另有原因...
TensorFlow 2.0深度学习算法实战---第7章 反向传播算法 本章我们将从理论层面学习神经网络中的核心算法之一:反向传播算法(Backpropagation,BP)。实际上,反向传播算法在 1960 年代早期就已经被提出,然而并没有...
人工神经网络反向传播算法基础代码学习 阅读 Tom M. Mitchell 的《机器学习》后,根据自己的理解写的最基础的人工神经网络反向传播算法 人工神经网络反向传播算法基础代码学习 阅读 Tom M. Mitchell 的《机器学习...
【资源说明】 1、该资源包括项目的全部源码,下载可以直接使用! 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目,...基于纯numpy实现的人工神经网络及反向传播算法源码+项目说明.zip
【资源说明】 1、该资源包括项目的全部源码,下载可以直接使用! 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目...基于反向传播算法实现的神经网络和小波神经网络源码+项目说明.zip
深度学习
机器学习课程作业_基于matlab实现神经网络的反向传播算法,并将其应用于手写数字识别任务(matlab完整源码).zip 机器学习课程作业_基于matlab实现神经网络的反向传播算法,并将其应用于手写数字识别任务(matlab完整...