#《Python神经网络编程》
2021-12-17
  • 神经网络的误差是内部链接权重的函数。
  • 改进神经网络,意味着通过改变权重减少这种误差。
  • 直接选择合适的权重太难了。另一种方法是,通过误差函数的梯度下降,采取小步长,迭代地改进权重。所迈出的每一步的方向都是在当前位置向下斜率最大的方向,这就是所谓的梯度下降。
  • 使用微积分可以很容易地计算出误差斜率。

2021-12-16

计算实际值与目标值间的误差常用有3种方法:

  • 目标值-实际值
  • abs(目标值-实际值)
  • (目标值-实际值)^2

我们更喜欢用第3种方法。原因有以下3点。

  • 使用误差的平方,我们可以很容易使用代数计算出梯度下降的斜率。
  • 误差函数平滑连续,这使得梯度下降法很好地发挥作用--没有间断,也没有突然的跳跃。
  • 越接近最小值,梯度越小,这意味着,如果我们使用这个函数调节步长,超调的风险就会变得较小。

是否有第四个选项呢?有,你可以构造各种各样的复杂有趣的代价函数。一些函数可能完全行不通,一些函数可能对特定类型的问题起作用,一些能够发挥作用的函数,可能由于额外的复杂度而有点不值得……

2021-12-15
  • 神经网络通过调整链接权重进行学习。这种方法由误差引导,误差就是训练数据所给出正确答案和实际输出之间的差值。
  • 简单地说,在输出节点处的误差等于所需值与实际值之间的差值。
  • 然而,与内部节点相关联的误差并不显而易见。一种方法是按照 链接权重的比例来分割输出层的误差,然后在每个内部节点处重组这些误差。

2021-11-24

通过神经网络向前馈送信号所需的大量运算可以表示为矩阵乘法。

不管神经网络的规模如何,将输入输出表达为矩阵乘法,使得我们可以更简洁地进行书写。

更重要的是,一些计算机编程语言理解矩阵计算,并认识到潜在的计算方法的相似性。这允许计算机高速高效地进行这些计算。

2021-11-16

相较于传统的计算机系统,生物大脑对损坏和不完善信号具有难以置信的弹性。

由互相连接的神经元组成的生物大脑是人工神经网络的灵感来源。

有些任务,对传统的计算机而言,很容易,对人类而方却很难。例如,对数百万个数字进行乘法运算。

另一方面,有些任务对传统的计算机而言很难,对人类而言却很容易。例如,从一群人的照片中识别出面孔。


桂ICP备11003301号-1 公安备案号:45040302000027 Copyright @ 2021- 2022 By Sun zi chao

阅读统计: 1.93W 文章数量: 76 运行天数: 416天 返回cmnsoft