人工神经网络（英语：Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗的讲就是具备学习功能。现代神经网络是一种非线性统计性数据建模工具。
———摘自《维基百科》
神经网络是由具有适应性的神经元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应
## 神经元 神经网络最基本的成分是`神经元`模型
## 组成
### 激励函数
阶跃函数（sgn）
$$ sgn(x)= \begin{cases} 1 & x \geq 0 \\ 0 & x \lt 0 \end{cases} $$
Sigmoid函数（sigmoid）
$$ sigmoid(x) = \frac{1}{1+e^{-x}} $$
tanh函数（tanh）
$$ tanh(x) = \frac{e^x - e^{-x}}{e^x+e^{-x}} $$
Relu函数（Relu）
$$ relu(x)= \begin{cases} 1 & x \geq 0 \\ 0 & x \lt 0 \end{cases} $$
## 分类
依学习策略
- 监督式学习网络（Supervised Learning Network）为主
- 无监督式学习网络（Unsupervised Learning Network）
- 混合式学习网络（Hybrid Learning Network）
- 联想式学习网络（Associate Learning Network）
- 最适化学习网络（Optimization Application Network）
依网络架构
- 前馈神经网络（Feed Forward Network）
- 递归神经网络（Recurrent Network）
- 强化式架构（Reinforcement Network）
参考
wikipedia-人工神经网络 周志华《机器学习》
