本书结合实际应用介绍神经网络和深度学习等技术领域相关信息,从结构上重点介绍了前馈型神经网络、反馈型神经网络,以及自组织竞争型神经网络,并针对当下深度学习中比较重要的网络进行了详细介绍,包括卷积神经网络、循环(递归)神经网络、深度信念网络、生成对抗网络,以及深度强化学习。本书不仅能让读者对当前神经网络和深度学习技术有体系的认知,更能让读者在人工智能领域进行一些深入思考。
本书紧密结合一线工程师的研究成果,是对当前神经网络和深度学习的完整性原理介绍和实践分析。
刘凡平,硕士,毕业于中国科学技术大学,专注于大数据分析、搜索引擎、机器学习和深度学习研究,现任职于百度(中国)有限公司,曾出版《大数据搜索引擎原理分析及编程》《大数据时代的算法》,是执着于将互联网技术演绎为艺术的完美追求者。
前言
本书结合实际应用介绍神经网络和深度学习等技术领域相关信息,从结构上重点介绍了前馈型神经网络、反馈型神经网络,以及自组织竞争型神经网络,并针对当下深度学习中比较重要的网络进行了详细介绍,包括卷积神经网络、循环(递归)神经网络、深度信念网络、生成对抗网络,以及深度强化学习。本书不仅能让读者对当前神经网络和深度学习技术有体系的认知,更能让读者在人工智能领域进行一些深入思考。
读者对象
? 对神经网络、深度学习以及人工智能有兴趣的读者;
? 对算法以及机器学习领域有兴趣的读者;
? 互联网行业不同层次的从业者;
? 软件工程或计算机相关专业的在校学生。
本书特色
书中内容紧密结合当前一线工程师工作研究成果,是对当前神经网络和深度学习的完整性原理介绍和实践分析。本书充分利用了最新技术发展的应用成果,不仅结合原理分析,还结合案例进行辅助理解。
本书介绍的相关深度学习技术广泛应用于各个领域,可以在自然语言处理、计算机视觉、文本分析等领域中应用,在当前甚至未来三到五年,都具有实际意义。
本书结构
本书按照由浅入深、循序渐进的顺序对神经网络和深度学习的内容进行介绍。全书共分为三篇,分别从基础、进阶、高阶三个层次逐步展开,总共12章,各章的主要内容如下。
第1章阐述了在当前时代背景下,神经网络和人工智能的发展历程,针对未来人工智能极可能改变的领域进行了深入介绍,并介绍了深度学习与机器学习的关系,以及深度学习与人工智能的关系。
第2章介绍了神经网络和深度学习的数学基础,从向量、矩阵、导数、数值计算、概率分布、参数估计等方面进行了详细介绍,为学习后续内容奠定基础。
第3章重点介绍了机器学习的基础内容,神经网络和深度学习都属于机器学习中的内容,包括拟合问题、交叉检验、产生式与判别式模型等,有助于加强对神经网络和深度学习的理解。
第4章介绍了神经网络的基础,包括神经网络中常见的学习方法以及神经网络的优化方法,阐述了常见的神经网络类型以及深度学习中的网络类型,并介绍了深度学习与多层神经网络的关系。
第5章重点介绍了前馈型神经网络,它是神经网络中极为重要的一种网络类型。本章从单层感知器开始,逐步深入介绍了BP神经网络以及径向基函数神经网络,重点介绍了反向传播算法。
第6章详细介绍了反馈型神经网络,它是一种带联想记忆的神经网络。本章重点介绍了Hopfiled神经网络、Elman神经网络以及递归神经网络。对于递归神经网络还进行了更为深入的介绍,包括其反向传播算法以及各类改进的结构。
第7章重点介绍了自组织竞争型神经网络,从传统的系统聚类法、基于划分的聚类算法、基于密度的聚类算法、基于层次的聚类算法开始,详细介绍了自组织竞争型神经网络中的典型代表——自组织映射网络,还介绍了自适应共振理论以及对偶传播网络。
第8章介绍了卷积神经网络,卷积神经网络是目前图像处理中比较优秀的神经网络。本章重点介绍了卷积神经网络中的卷积、卷积核等重要基础概念,详细阐述了卷积神经网络中各层的工作原理,并介绍了常见的间距神经网络结构。
第9章介绍了循环神经网络,循环神经网络与递归神经网络有一定的相似性。本章介绍了一般的循环神经网络,包括单向循环神经网络、双向循环神经网络以及深度循环神经网络。重点介绍了长短时记忆网络。
第10章介绍了深度信念网络,深度信念网络是由受限玻尔兹曼机组成的网络结构。本章重点介绍了受限玻尔兹曼机的逻辑结构和工作原理,并介绍了深度信念网络的训练过程。
第11章介绍了生成对抗网络,生成对抗网络是未来会有较大突破的网络结构之一。本章从一般的生成对抗网络入手进行介绍,然后介绍了各类改进版本,包括DCGAN、CGAN、WGAN等,并对生成对抗网络的未来做了一定猜想。
第12章介绍了深度强化学习,深度强化学习是一种有别于传统的有监督学习和无监督学习的学习方式。本章重点介绍了强化学习的工作原理、马尔科夫决策过程等,并结合强化学习的各类算法进行了详细的介绍。
上述章节中,郭武彪完成了第6章内容的编写,陈相礼完成了第9章内容的编写,杨华完成了第11章内容的编写以及本书格式校验,其余章节内容由刘凡平完成编写,并对本书内容进行了校验。
由于时间仓促及编者水平有限,书中难免存在错误和不足之处,恳请广大读者多多理解,并批评指正,也可以通过邮箱(liufanping@iveely.com)联系我们。
致谢
本书的内容基本都来自我们的工作经验,感谢曹杨、黄诚,正是你们的支持和鼓励,以及工作中的栽培和肯定,才能使得我们(陈相礼、郭武彪、杨华、刘凡平)有能力和勇气写出这本书。还有那些曾经一起学习和共事的朋友,你们给予我们很多无私的帮助,使得我们在和你们相处的过程中能够快速地成长,感谢一路上有你们的陪伴,正是有了你们,沿途的风景才格外的美丽。
衷心感谢我们的家人,感谢你们在过去的时间里对我们的理解和支持,为我们营造了一个良好的写作环境,并鼓励我们坚持认真写作,使得本书能够顺利完成。
本书编写过程中还得到了很多朋友的支持和帮助,限于篇幅,虽然不能一一对你们表示感谢,但是对你们同样心怀感激。
最后,感谢这个时代,给予每一个有理想的人,赋予实现人生价值的机会!
第二页 马尔科夫链 翻译过来是 马尔可夫链 最近邻居发 应为 K最近邻算法
第五页 围棋冠军李世乭 应为 李世石
矩阵乘积表示错误,[5 3] 不是 【5 2】, 等于号后边是 3, 8。
与20页方程组表示不符
离线时间应该是离散时间
即S到C的过程。图上为C’t到Ct吧?
ft的输出非,即1。