> For the complete documentation index, see [llms.txt](https://jon-xia.gitbook.io/workspace/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://jon-xia.gitbook.io/workspace/ji-qi-xue-xi-8/deeplearning/basic/nn-and-nerve-cell.md).

# 神经网络

## 感知机：

![image-20200202110706332](/files/-M02m9NB3iwKHVTMI_u6)

最早的神经元是感知机，输入乘权重之和，根据threshold输出0/1。

但是感知机的阶跃性质，非常不利于网络学习。例如：Z的输出在0附近并发生改变时，结果从0->1，回头对nn的权重造成不好的影响，这种情况重复多次的话是非常不利于模型学习的。

![image-20200203101243624](/files/-M02m9NDCV9smNZw44CV)

如图，这样的s型神经元(sigmoid函数)就可以用在我们的学习算法中。

![image-20200203102510245](/files/-M02m9NFgbDlZWlgGxjO)

讲完了单个神经元的学习，先看看神经网络的概念：

![image-20200203102658487](/files/-M02m9NHpoMoNVJCTkJp)

## 梯度下降与反向传播

先记住几个标记。

![image-20200203224941511](/files/-M02m9NJW0QjpIxc8zfr)

![image-20200203225024577](/files/-M02m9NLCYlZTql28BEh)

![image-20200204000031002](/files/-M02m9NNRk1M5IlhigvY)