迁移学习导论
  • 推荐0
  • 收藏0
  • 浏览312

迁移学习导论

王晋东 (作者) 

  • 丛  书:人工智能探索与实践
  • 书  号:978-7-121-41089-5
  • 出版日期:2021-05-20
  • 页  数:296
  • 开  本:16(170*240)
  • 出版状态:上市销售
  • 维护人:刘皎
纸质版 ¥109.00
迁移学习作为机器学习和人工智能领域的重要方法,在计算机视觉、自然语言处理、语音识别等领域都得到了广泛的应用。本书的编写目的是帮助迁移学习及机器学习相关领域的初学者快速入门。全书主要分为背景与概念、方法与技术、扩展与探索及应用与展望四大部分。除此之外,本书还配有相关的代码、数据和论文资料,最大限度地降低初学者的学习和使用门槛。
本书适合对迁移学习感兴趣的读者阅读,也可以作为相关课程的配套教材。
迁移学习路线图,业内大咖好评力荐
机器学习作为人工智能领域的重要分支,在近几年取得了飞速的发展。机器学习使计算机能够从大量的训练数据和经验中学习,并将此能力应用于未知的问题和环境。迁移学习是机器学习的一种重要学习范式,旨在研究如何让已有的算法、模型、参数能够快速适用到新的问题中。
随着人工智能和机器学习的发展,迁移学习的原理、算法、模型也经历了井喷式的大发展,相关的研究工作如汗牛充栋。在海量的资料面前,这一领域的研究者、特别是初学者,难以发掘最有启发性的、本质的内容,就好比雾里看花、水中望月一般。迁移学习领域迫切需要一本能够由浅入深、由表及里阐述已有研究工作的读物,以帮助领域研究人员快速建立起这一学科的知识体系。因此,笔者在2018年开源了《迁移学习简明手册》,初衷便是希望用通俗易懂的内容帮助读者快速入门这一领域——这成为本书的缘起之一。
2020年,新冠肺炎疫情打乱了每个人的工作和学习计划,也带给我们更多的思考。在此期间,适逢杨强教授《迁移学习》专著出版,笔者得以从中学习更多知识、并做了更深入的思考和总结。在出版社的邀请与帮助下,笔者启动了写书计划,写作过程几乎耗尽了笔者2020年绝大多数的周末和公共假期。
本书建立在笔者近几年在中国科学院大学开设的普适计算课程相关课件以及笔者前期开源的《迁移学习简明手册》的基础上,重点考虑如何从学生入门的角度循序渐进地引入迁移学习的相关概念、问题、方法和应用。更重要的是,和其他参考书着重介绍某种方法不同,本书不再侧重阐述某类特定的方法或某篇特定的论文,而是试图从学生学习的视角,归纳、总结不同类型的迁移学习方法,并结合笔者自己的理解和实践,总结成相关的文字材料。笔者希望这种“讲课”而非“学术报告”的方式能够让更多有志于迁移学习的同学更快地了解此领域,并将其应用于解决自己的问题。
当然,与国内外诸多专家学者相比,笔者深感自己能力之不足。书中如有错误和疏忽之处,恳请广大读者批评指正。
作者
2021年3月

目录

第一部分背景与概念· · · · · · · · · · · · · · · · · · · · · · · · · 1
第1 章绪论· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3
1.1 迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3
1.2 相关研究领域· · · · · · · · · · · · · · · · · · · · · · · · · · · · 6
1.3 迁移学习的必要性· · · · · · · · · · · · · · · · · · · · · · · · · 8
1.4 迁移学习的研究领域· · · · · · · · · · · · · · · · · · · · · · · · 11
1.5 迁移学习的应用· · · · · · · · · · · · · · · · · · · · · · · · · · 14
1.6 学术会议和工业界中的迁移学习· · · · · · · · · · · · · · · · · · 18
第2 章从机器学习到迁移学习· · · · · · · · · · · · · · · · · · · 21
2.1 机器学习及基本概念· · · · · · · · · · · · · · · · · · · · · · · · 21
2.2 结构风险最小化· · · · · · · · · · · · · · · · · · · · · · · · · · 22
2.3 数据的概率分布· · · · · · · · · · · · · · · · · · · · · · · · · · 23
2.4 概念与符号· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 25
2.5 迁移学习的问题定义· · · · · · · · · · · · · · · · · · · · · · · · 26
XI
迁移学习导论
第3 章迁移学习基本问题· · · · · · · · · · · · · · · · · · · · · · 29
3.1 何处迁移· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 30
3.2 何时迁移· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 32
3.3 如何迁移· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 32
3.4 失败的迁移:负迁移· · · · · · · · · · · · · · · · · · · · · · · · 33
3.5 完整的迁移学习过程· · · · · · · · · · · · · · · · · · · · · · · · 35
第二部分方法与技术· · · · · · · · · · · · · · · · · · · · · · · · · 37
第4 章迁移学习方法总览· · · · · · · · · · · · · · · · · · · · · · 39
4.1 迁移学习总体思路· · · · · · · · · · · · · · · · · · · · · · · · · 39
4.2 分布差异的度量· · · · · · · · · · · · · · · · · · · · · · · · · · 40
4.3 迁移学习统一表征· · · · · · · · · · · · · · · · · · · · · · · · · 45
4.4 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 48
4.5 迁移学习理论· · · · · · · · · · · · · · · · · · · · · · · · · · · · 53
第5 章样本权重迁移法· · · · · · · · · · · · · · · · · · · · · · · 59
5.1 问题定义· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 59
5.2 基于样本选择的方法· · · · · · · · · · · · · · · · · · · · · · · · 61
5.3 基于权重自适应的方法· · · · · · · · · · · · · · · · · · · · · · · 64
5.4 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 66
5.5 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 68
第6 章统计特征变换迁移法· · · · · · · · · · · · · · · · · · · · 69
6.1 问题定义· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 69
6.2 最大均值差异法· · · · · · · · · · · · · · · · · · · · · · · · · · 70
6.3 度量学习法· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 78
6.4 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81
6.5 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 84
XII
目录
第7 章几何特征变换迁移法· · · · · · · · · · · · · · · · · · · · 85
7.1 问题定义· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 85
7.2 子空间变换法· · · · · · · · · · · · · · · · · · · · · · · · · · · · 86
7.3 流形学习法· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 87
7.4 最优传输法· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 91
7.5 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 94
7.6 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 97
第8 章预训练方法· · · · · · · · · · · · · · · · · · · · · · · · · · 99
8.1 深度网络的可迁移性· · · · · · · · · · · · · · · · · · · · · · · · 99
8.2 预训练–微调· · · · · · · · · · · · · · · · · · · · · · · · · · · · 102
8.3 预训练方法的有效性分析· · · · · · · · · · · · · · · · · · · · · · 105
8.4 自适应的预训练方法· · · · · · · · · · · · · · · · · · · · · · · · 106
8.5 重新思考预训练模型的使用· · · · · · · · · · · · · · · · · · · · 108
8.6 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 110
8.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113
第9 章深度迁移学习· · · · · · · · · · · · · · · · · · · · · · · · 115
9.1 总体思路· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 116
9.2 深度迁移学习的网络结构· · · · · · · · · · · · · · · · · · · · · · 117
9.3 数据分布自适应的深度迁移学习方法· · · · · · · · · · · · · · · · 120
9.4 结构自适应的深度迁移学习方法· · · · · · · · · · · · · · · · · · 122
9.5 知识蒸馏· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 125
9.6 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 127
9.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 133
第10 章对抗迁移学习· · · · · · · · · · · · · · · · · · · · · · · · 135
10.1 生成对抗网络· · · · · · · · · · · · · · · · · · · · · · · · · · · 135
10.2 对抗迁移学习基本思路· · · · · · · · · · · · · · · · · · · · · · 136
XIII
迁移学习导论
10.3 数据分布自适应的对抗迁移方法· · · · · · · · · · · · · · · · · 137
10.4 基于信息解耦的对抗迁移方法· · · · · · · · · · · · · · · · · · · 140
10.5 基于数据生成的对抗迁移方法· · · · · · · · · · · · · · · · · · · 141
10.6 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142
10.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 145
第11 章迁移学习热门研究问题· · · · · · · · · · · · · · · · · · 147
11.1 类别不均衡的迁移学习· · · · · · · · · · · · · · · · · · · · · · 148
11.2 多源迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 150
11.3 开放集迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · 153
11.4 时间序列的迁移学习· · · · · · · · · · · · · · · · · · · · · · · 154
11.5 联邦迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 158
11.6 基于因果关系的迁移学习· · · · · · · · · · · · · · · · · · · · · 161
11.7 自动迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 168
11.8 在线迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 171
第三部分扩展与探索· · · · · · · · · · · · · · · · · · · · · · · · · 175
第12 章领域泛化· · · · · · · · · · · · · · · · · · · · · · · · · · 177
12.1 领域泛化问题· · · · · · · · · · · · · · · · · · · · · · · · · · · 177
12.2 基于数据分布自适应的方法· · · · · · · · · · · · · · · · · · · · 181
12.3 基于解耦的方法· · · · · · · · · · · · · · · · · · · · · · · · · · 184
12.4 基于集成模型的方法· · · · · · · · · · · · · · · · · · · · · · · 186
12.5 基于数据生成的方法· · · · · · · · · · · · · · · · · · · · · · · 187
12.6 基于元学习的方法· · · · · · · · · · · · · · · · · · · · · · · · · 190
12.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 191
第13 章元学习· · · · · · · · · · · · · · · · · · · · · · · · · · · · 193
13.1 元学习简介· · · · · · · · · · · · · · · · · · · · · · · · · · · · 193
13.2 基于模型的元学习方法· · · · · · · · · · · · · · · · · · · · · · 196
XIV
目录
13.3 基于度量的元学习方法· · · · · · · · · · · · · · · · · · · · · · 198
13.4 基于优化的元学习方法· · · · · · · · · · · · · · · · · · · · · · 199
13.5 元学习的应用与挑战· · · · · · · · · · · · · · · · · · · · · · · 201
13.6 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 202
第14 章迁移学习模型选择· · · · · · · · · · · · · · · · · · · · · 205
14.1 模型选择· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 205
14.2 基于密度估计的模型选择· · · · · · · · · · · · · · · · · · · · · 206
14.3 迁移交叉验证· · · · · · · · · · · · · · · · · · · · · · · · · · · 207
14.4 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 208
第四部分应用与展望· · · · · · · · · · · · · · · · · · · · · · · · · 209
第15 章迁移学习的应用· · · · · · · · · · · · · · · · · · · · · · 211
15.1 计算机视觉· · · · · · · · · · · · · · · · · · · · · · · · · · · · 212
15.2 自然语言处理· · · · · · · · · · · · · · · · · · · · · · · · · · · 214
15.3 语音识别与合成· · · · · · · · · · · · · · · · · · · · · · · · · · 216
15.4 普适计算与人机交互· · · · · · · · · · · · · · · · · · · · · · · 218
15.5 医疗健康领域· · · · · · · · · · · · · · · · · · · · · · · · · · · 220
15.6 其他应用· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 223
15.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 225
第16 章迁移学习前沿· · · · · · · · · · · · · · · · · · · · · · · · 227
16.1 融合人类经验的迁移· · · · · · · · · · · · · · · · · · · · · · · 227
16.2 迁移强化学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 228
16.3 迁移学习的可解释性· · · · · · · · · · · · · · · · · · · · · · · 228
16.4 迁移学习系统· · · · · · · · · · · · · · · · · · · · · · · · · · · 229
附录A· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 231
A.1 常用度量准则· · · · · · · · · · · · · · · · · · · · · · · · · · · 231
XV
迁移学习导论
A.2 迁移学习常用数据集· · · · · · · · · · · · · · · · · · · · · · · · 235
A.3 本书相关资源· · · · · · · · · · · · · · · · · · · · · · · · · · · 238
参考文献· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 241

读者评论

相关博文

同系列书

  • 集成学习:基础与算法

    Zhi-Hua Zhou (作者) 李楠 (译者)

    集成学习方法是一类先进的机器学习方法,这类方法训练多个学习器并将它们结合起来解决一个问题,在实践中获得了巨大成功。<br>全书分为三部分。第一部分主要介绍集成学...

    ¥89.00
  • 迁移学习导论

    王晋东 (作者)

    迁移学习作为机器学习和人工智能领域的重要方法,在计算机视觉、自然语言处理、语音识别等领域都得到了广泛的应用。本书的编写目的是帮助迁移学习及机器学习相关领域的初学...

    ¥109.00

相关图书

Kubernetes权威指南:从Docker到Kubernetes实践全接触(第5版)

龚正 吴治辉 闫健勇 (作者)

Kubernetes是由谷歌开源的容器集群管理系统,为容器化应用提供了资源调度、部署运行、服务发现、扩缩容等一整套功能。Kubernetes也是将“一切以服务(...

 

OpenCV 4机器学习算法原理与编程实战

朱斌 (作者)

本书主要面向OpenCV领域的研究与开发人员,采用原理结合实战的方式,介绍OpenCV 4的机器学习算法模块与深度神经网络模块中的核心算法原理与C++编程实战。...

 

深度学习500问

谈继勇 (作者)

本书系统地描述了深度学习的基本理论算法及应用。全书共14章,第1~3章论述了数学基础、机器学习基础和深度学习基础;第4~7章介绍了一些经典网络及计算机视觉领域中...

¥109.00

人工智能工程化:应用落地与中台构建

蒋彪 (作者)

人工智能深刻影响着人类发展,本书将带领读者从工程化的角度了解人工智能。<br>本书第1章和第2章简单介绍了人工智能的基本概念及其常见算法。第3章和第4章从工程化...

¥79.00

语音识别原理与应用

洪青阳 (作者)

本书从语音信号、特征提取等基础内容出发,逐层深入到动态时间规整、隐马尔科夫模型、GMM-HMM、DNN等经典算法模型,帮助读者系统了解语音识别技术的基础知识,最...

¥128.00

Python极简讲义:一本书入门数据分析与机器学习

张玉宏 (作者)

本书以图文并茂的方式介绍了Python的基础内容,并深入浅出地介绍了数据分析和机器学习领域的相关入门知识。 第1章至第5章以极简方式讲解了Python的常用语...

¥89.60