目录

第１章　一入侯门“深”似海，深度学习深几许 1
1.1　深度学习的巨大影响 2
1.2　什么是学习 4
1.3　什么是机器学习 4
1.4　机器学习的4个象限 5
1.5　什么是深度学习 6
1.6　“恋爱”中的深度学习 7
1.7　深度学习的方法论 9
1.8　有没有浅层学习 13
1.9　本章小结 14
1.10　请你思考 14
参考资料 14
第2章　人工“碳”索意犹尽，智能“硅”来未可知 16
2.1　信数据者得永生吗 17
2.2　人工智能的“江湖定位” 18
2.3　深度学习的归属 19
2.4　机器学习的形式化定义 21
2.5　为什么要用神经网络 24
2.6　人工神经网络的特点 26
2.7　什么是通用近似定理 27
2.8　本章小结 31
2.9　请你思考 31
参考资料 31
第3章　“机器学习”三重门，“中庸之道”趋若人 33
3.1　监督学习 34
3.1.1　感性认知监督学习 34
3.1.2　监督学习的形式化描述 35
3.1.3　k-近邻算法 37
3.2　非监督学习 39
3.2.1　感性认识非监督学习 39
3.2.2　非监督学习的代表—K均值聚类 41
3.3　半监督学习 45
3.4　从“中庸之道”看机器学习 47
3.5　强化学习 49
3.6　本章小结 52
3.7　请你思考 53
参考资料 53
第4章　人生苦短对酒歌， 我用Python乐趣多 55
4.1　Python概要 56
4.1.1　为什么要用Python 56
4.1.2　Python中常用的库 58
4.2　Python的版本之争 61
4.3　Python环境配置 65
4.3.1　Windows下的安装与配置 65
4.3.2　Mac下的安装与配置 72
4.4　Python编程基础 76
4.4.1　如何运行Python代码 77
4.4.2　代码缩进 79
4.4.3　注释 80
4.4.4　Python中的数据结构 81
4.4.5　函数的设计 93
4.4.6　模块的导入与使用 101
4.4.7　面向对象程序设计 102
4.5　本章小结 112
4.6　请你思考 112
参考资料 113
第5章　机器学习终觉浅，Python带我来实践 114
5.1　线性回归 115
5.1.1　线性回归的概念 115
5.1.2　简易线性回归的Python实现详解 119
5.2　k-近邻算法 139
5.2.1　k-近邻算法的三个要素 140
5.2.2　k-近邻算法实战 143
5.2.3　使用scikit-learn实现k-近邻算法 155
5.3　本章小结 162
5.4　请你思考 162
参考资料 162
第6章　神经网络不胜语，M-P模型似可寻 164
6.1　M-P神经元模型是什么 165
6.2　模型背后的那些人和事 167
6.3　激活函数是怎样的一种存在 175
6.4　什么是卷积函数 176
6.5　本章小结 177
6.6　请你思考 178
参考资料 178
第7章　Hello World感知机，懂你我心才安息 179
7.1　网之初，感知机 180
7.2　感知机名称的由来 180
7.3　感性认识“感知机” 183
7.4　感知机是如何学习的 185
7.5　感知机训练法则 187
7.6　感知机的几何意义 190
7.7　基于Python的感知机实战 191
7.8　感知机的表征能力 196
7.9　本章小结 199
7.10　请你思考 199
参考资料 199
第8章　损失函数减肥用，神经网络调权重 201
8.1　多层网络解决“异或”问题 202
8.2　感性认识多层前馈神经网络 205
8.3　是浅而“胖”好，还是深而“瘦”佳 209
8.4　分布式特征表达 210
8.5　丢弃学习与集成学习 211
8.6　现实很丰满，理想很骨感 212
8.7　损失函数的定义 213
8.8　热力学定律与梯度弥散 215
8.9　本章小结 216
8.10　请你思考 216
参考资料 217
第9章　山重水复疑无路，最快下降问梯度 219
9.1　“鸟飞派”还飞不 220
9.2　1986年的那篇神作 221
9.3　多层感知机网络遇到的大问题 222
9.4　神经网络结构的设计 225
9.5　再议损失函数 227
9.6　什么是梯度 229
9.7　什么是梯度递减 231
9.8　梯度递减的线性回归实战 235
9.9　什么是随机梯度递减 238
9.10　利用SGD解决线性回归实战 240
9.11　本章小结 247
9.12　请你思考 248
参考资料 248
第10章　BP算法双向传，链式求导最缠绵 249
10.1　BP算法极简史 250
10.2　正向传播信息 251
10.3　求导中的链式法则 255
10.4　误差反向传播 264
10.4.1　基于随机梯度下降的BP算法 265
10.4.2　输出层神经元的权值训练 267
10.4.3　隐含层神经元的权值训练 270
10.4.4　BP算法的感性认知 273
10.4.5　关于BP算法的补充说明 278
10.5　BP算法实战详细解释 280
10.5.1　初始化网络 280
10.5.2　信息前向传播 282
10.5.3　误差反向传播 285
10.5.4　训练网络（解决异或问题） 288
10.5.5　利用BP算法预测小麦品种的分类 293
10.6　本章小结 301
10.7　请你思考 302
参考资料 304
第11章　一骑红尘江湖笑，TensorFlow谷歌造 305
11.1　TensorFlow概述 306
11.2　深度学习框架比较 309
11.2.1　Theano 309
11.2.2　Keras 310
11.2.3　Caffe 311
11.2.4　PyTorch 312
11.3　TensorFlow的安装 313
11.3.1　Anaconda的安装 313
11.3.2　TensorFlow的CPU版本安装 315
11.3.3　TensorFlow的源码编译 323
11.4　Jupyter Notebook的使用 331
11.4.1　Jupyter Notebook的由来 331
11.4.2　Jupyter Notebook的安装 333
11.5　TensorFlow中的基础语法 337
11.5.1　什么是数据流图 338
11.5.2　构建第一个TensorFlow数据流图 339
11.5.3　可视化展现的TensorBoard 342
11.5.4　TensorFlow的张量思维 346
11.5.5　TensorFlow中的数据类型 348
11.5.6　TensorFlow中的操作类型 353
11.5.7　TensorFlow中的Graph对象 356
11.5.8　TensorFlow中的Session 358
11.5.9　TensorFlow中的placeholder 361
11.5.10　TensorFlow中的Variable对象 363
11.5.11　TensorFlow中的名称作用域 365
11.5.12　张量的Reduce方向 367
11.6　手写数字识别MNIST 372
11.6.1　MNIST数据集简介 373
11.6.2　MNIST数据的获取与预处理 375
11.6.3　分类模型的构建—Softmax Regression 378
11.7　TensorFlow中的Eager执行模式 394
11.7.1　Eager执行模式的背景 394
11.7.2　Eager执行模式的安装 395
11.7.3　Eager执行模式的案例 395
11.7.4　Eager执行模式的MNIST模型构建 398
11.8　本章小结 401
11.9　请你思考 402
参考资料 403
第12章　全面连接困何处，卷积网络显神威 404
12.1　卷积神经网络的历史 405
12.1.1　眼在何方？路在何方？ 405
12.1.2　卷积神经网络的历史脉络 406
12.1.3　那场著名的学术赌局 410
12.2　卷积神经网络的概念 412
12.2.1　卷积的数学定义 412
12.2.2　生活中的卷积 413
12.3　图像处理中的卷积 414
12.3.1　计算机“视界”中的图像 414
12.3.2　什么是卷积核 415
12.3.3　卷积在图像处理中的应用 418
12.4　卷积神经网络的结构 420
12.5　卷积层要义 422
12.5.1　卷积层的设计动机 422
12.5.2　卷积层的局部连接 427
12.5.3　卷积层的3个核心概念 428
12.6　细说激活层 434
12.6.1　两个看似闲扯的问题 434
12.6.2　追寻问题的本质 435
12.6.3　ReLU的理论基础 437
12.6.4　ReLU的不足之处 441
12.7　详解池化层 442
12.8　勿忘全连接层 445
12.9　本章小结 446
12.10　请你思考 447
参考资料 448
第13章　纸上谈兵终觉浅，绝知卷积要编程 450
13.1　TensorFlow的CNN架构 451
13.2　卷积层的实现 452
13.2.1　TensorFlow中的卷积函数 452
13.2.2　图像处理中的常用卷积核 456
13.3　激活函数的使用 460
13.3.1　Sigmoid函数 460
13.3.2　Tanh函数 461
13.3.3　修正线性单元——ReLU 462
13.3.4　Dropout函数 462
13.4　池化层的实现 466
13.5　规范化层 470
13.5.1　为什么需要规范化 470
13.5.2　局部响应规范化 472
13.5.3　批规范化 475
13.6　卷积神经网络在MNIST分类器中的应用 480
13.6.1　数据读取 480
13.6.2　初始化权值和偏置 480
13.6.3　卷积和池化 482
13.6.4　构建第一个卷积层 482
13.6.5　构建第二个卷积层 483
13.6.6　实现全连接层 484
13.6.7　实现Dropout层 485
13.6.8　实现Readout层 485
13.6.9　参数训练与模型评估 485
13.7　经典神经网络——AlexNet的实现 488
13.7.1　AlexNet的网络架构 488
13.7.2　数据读取 490
13.7.3　初始化权值和偏置 491
13.7.4　卷积和池化 491
13.7.5　局部响应归一化层 492
13.7.6　构建卷积层 492
13.7.7　实现全连接层和Dropout层 493
13.7.8　实现Readout层 494
13.7.9　参数训练与模型评估 494
13.8　本章小结 495
13.9　请你思考 496
参考资料 496
第14章　循环递归RNN，序列建模套路深 498
14.1　你可能不具备的一种思维 499
14.2　标准神经网络的缺陷所在 501
14.3　RNN简史 502
14.3.1　Hopfield网络 503
14.3.2　Jordan递归神经网络 504
14.3.3　Elman递归神经网络 505
14.3.4　RNN的应用领域 506
14.4　RNN的理论基础 506
14.4.1　Elman递归神经网络 506
14.4.2　循环神经网络的生物学机理 508
14.5　RNN的结构 509
14.6　循环神经网络的训练 512
14.6.1　问题建模 512
14.6.2　确定优化目标函数 513
14.6.3　参数求解 513
14.7　基于RNN的TensorFlow实战——正弦序列预测 514
14.7.1　生成数据 516
14.7.2　定义权值和偏置 517
14.7.3　前向传播 519
14.7.4　定义损失函数 522
14.7.5　参数训练与模型评估 522
14.8　本章小结 524
14.9　请你思考 524
参考资料 525
第15章　LSTM长短记，长序依赖可追忆 526
15.1　遗忘是好事还是坏事 527
15.2　施密德胡伯是何人 527
15.3　为什么需要LSTM 529
15.4　拆解LSTM 530
15.4.1　传统RNN的问题所在 530
15.4.2　改造的神经元 531
15.5　LSTM的前向计算 533
15.5.1　遗忘门 534
15.5.2　输入门 535
15.5.3　候选门 536
15.5.4　输出门 537
15.6　LSTM的训练流程 539
15.7　自然语言处理的一个假设 540
15.8　词向量表示方法 542
15.8.1　独热编码表示 543
15.8.2　分布式表示 545
15.8.3　词嵌入表示 547
15.9　自然语言处理的统计模型 549
15.9.1　NGram模型 549
15.9.2　基于神经网络的语言模型 550
15.9.3　基于循环神经网络的语言模型 553
15.9.4　LSTM语言模型的正则化 556
15.10　基于Penn Tree Bank的自然语言处理实战 560
15.10.1　下载及准备PTB数据集 561
15.10.2　导入基本包 562
15.10.3　定义相关的参数 562
15.10.4　语言模型的实现 563
15.10.5　训练并返回perplexity值 573
15.10.6　定义主函数并运行 575
15.10.7　运行结果 578
15.11　本章小结 579
15.12　请你思考 580
参考资料 580
第16章　卷积网络虽动人，胶囊网络更传“神” 583
16.1　从神经元到神经胶囊 584
16.2　卷积神经网络面临的挑战 584
16.3　神经胶囊的提出 588
16.4　神经胶囊理论初探 591
16.4.1　神经胶囊的生物学基础 591
16.4.2　神经胶囊网络的哲学基础 592
16.5　神经胶囊的实例化参数 594
16.6　神经胶囊的工作流程 598
16.6.1　神经胶囊向量的计算 598
16.6.2　动态路由的工作机理 600
16.6.3　判断多数字存在性的边缘损失函数 606
16.6.4　胶囊神经网络的结构 607
16.7　CapsNet的验证与实验 614
16.7.1　重构和预测效果 614
16.7.2　胶囊输出向量的维度表征意义 616
16.7.3　重叠图像的分割 617
16.8　神经胶囊网络的TensorFlow实现 618
16.8.1　导入基本包及读取数据集 619
16.8.2　图像输入 619
16.8.3　卷积层Conv1的实现 619
16.8.4　PrimaryCaps层的实现 620
16.8.5　全连接层 622
16.8.6　路由协议算法 628
16.8.7　估计实体出现的概率 630
16.8.8　损失函数的实现 631
16.8.9　额外设置 639
16.8.10　训练和评估 640
16.8.11　运行结果 643
16.9　本章小结 644
16.10　请你思考 645
16.11　深度学习美在何处 646
参考资料 647
后记 648
索引 651