人工智能，机器学习，深度学习

人工智能范围宽泛，机器学习是实现人工智能的一种手段，深度学习是人工智能的一个分支。

深度学习发展史

目前深度学习，基本上是神经网络的代名词。
神经网络发展史基本分为三个阶段

第一阶段类似于仿生（McCulloch-Pitts Neuron结构）

将n个输入值提供给McCulloch-Pitts Neuron结构后，McCulloch-Pitts Neuron结构会通过n个权重w1，w2，w3 ….wn来计算输入的加权和，然后用这个加权和经过一个阙值函数的到一个0或1的输出。

其中多个权重通过人类经验获得，这样非常麻烦，为了让计算机更加自动合理设置权重，1958 Frank Rosenblatt教授提出感知机模型（perceptron）。感知机是首个通过历史数据自动获得特征权重的模型。感知机+McCulloch-Pitts Neuron结构，作为早期机构。只能解决线性可分解问题，有极大的局限性。

第二阶段为分布式知识表达（distributed representation）和神经网络反向传播算法

比如我们要设计一个系统描述不同颜色和不同型号的汽车
第一种方法是：系统中每个神经元对应一种颜色和一种车型，比如“黑色小轿车”。如果有n种颜色，m种型号，这种方式则需要nm个神经元。
另一种方法是：使用一些神经元专门表达颜色，比如“白色”，另外一些专门表达型号，比如“小轿车”，则“白色小轿车”就可以用这两个神经元来表示，这种方式只需要n+m个神经元，最重要的是当我们历史数据没有“红色卡车”，但是含有“红色”和“卡车”两个概念，我们就可以推广到“红色卡车”这个概念。分布式知识表达，极大加强了模型的表达能力，让神经网络从宽度方向走向了深度方向。

另外在降低训练神经网络的复杂度上，提出了反向传播（back propagation）

第三阶段为深度学习（deep learning）

深度学习在语音，图像，人机互博等多领域战胜其他机器学习算法，其中TensorFlow架构又在深度学习领域有着无与伦比的影响力。