迁移学习导论
  • 推荐0
  • 收藏1
  • 浏览743

迁移学习导论

王晋东 (作者) 

  • 丛  书:人工智能探索与实践
  • 书  号:978-7-121-41089-5
  • 出版日期:2021-05-20
  • 页  数:296
  • 开  本:16(170*240)
  • 出版状态:上市销售
  • 维护人:刘皎
纸质版 ¥109.00
迁移学习作为机器学习和人工智能领域的重要方法,在计算机视觉、自然语言处理、语音识别等领域都得到了广泛的应用。本书的编写目的是帮助迁移学习及机器学习相关领域的初学者快速入门。全书主要分为背景与概念、方法与技术、扩展与探索及应用与展望四大部分。除此之外,本书还配有相关的代码、数据和论文资料,最大限度地降低初学者的学习和使用门槛。
本书适合对迁移学习感兴趣的读者阅读,也可以作为相关课程的配套教材。
迁移学习路线图,业内大咖好评力荐
机器学习作为人工智能领域的重要分支,在近几年取得了飞速的发展。机器学习使计算机能够从大量的训练数据和经验中学习,并将此能力应用于未知的问题和环境。迁移学习是机器学习的一种重要学习范式,旨在研究如何让已有的算法、模型、参数能够快速适用到新的问题中。
随着人工智能和机器学习的发展,迁移学习的原理、算法、模型也经历了井喷式的大发展,相关的研究工作如汗牛充栋。在海量的资料面前,这一领域的研究者、特别是初学者,难以发掘最有启发性的、本质的内容,就好比雾里看花、水中望月一般。迁移学习领域迫切需要一本能够由浅入深、由表及里阐述已有研究工作的读物,以帮助领域研究人员快速建立起这一学科的知识体系。因此,笔者在2018年开源了《迁移学习简明手册》,初衷便是希望用通俗易懂的内容帮助读者快速入门这一领域——这成为本书的缘起之一。
2020年,新冠肺炎疫情打乱了每个人的工作和学习计划,也带给我们更多的思考。在此期间,适逢杨强教授《迁移学习》专著出版,笔者得以从中学习更多知识、并做了更深入的思考和总结。在出版社的邀请与帮助下,笔者启动了写书计划,写作过程几乎耗尽了笔者2020年绝大多数的周末和公共假期。
本书建立在笔者近几年在中国科学院大学开设的普适计算课程相关课件以及笔者前期开源的《迁移学习简明手册》的基础上,重点考虑如何从学生入门的角度循序渐进地引入迁移学习的相关概念、问题、方法和应用。更重要的是,和其他参考书着重介绍某种方法不同,本书不再侧重阐述某类特定的方法或某篇特定的论文,而是试图从学生学习的视角,归纳、总结不同类型的迁移学习方法,并结合笔者自己的理解和实践,总结成相关的文字材料。笔者希望这种“讲课”而非“学术报告”的方式能够让更多有志于迁移学习的同学更快地了解此领域,并将其应用于解决自己的问题。
当然,与国内外诸多专家学者相比,笔者深感自己能力之不足。书中如有错误和疏忽之处,恳请广大读者批评指正。
作者
2021年3月

目录

第一部分背景与概念· · · · · · · · · · · · · · · · · · · · · · · · · 1
第1 章绪论· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3
1.1 迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3
1.2 相关研究领域· · · · · · · · · · · · · · · · · · · · · · · · · · · · 6
1.3 迁移学习的必要性· · · · · · · · · · · · · · · · · · · · · · · · · 8
1.4 迁移学习的研究领域· · · · · · · · · · · · · · · · · · · · · · · · 11
1.5 迁移学习的应用· · · · · · · · · · · · · · · · · · · · · · · · · · 14
1.6 学术会议和工业界中的迁移学习· · · · · · · · · · · · · · · · · · 18
第2 章从机器学习到迁移学习· · · · · · · · · · · · · · · · · · · 21
2.1 机器学习及基本概念· · · · · · · · · · · · · · · · · · · · · · · · 21
2.2 结构风险最小化· · · · · · · · · · · · · · · · · · · · · · · · · · 22
2.3 数据的概率分布· · · · · · · · · · · · · · · · · · · · · · · · · · 23
2.4 概念与符号· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 25
2.5 迁移学习的问题定义· · · · · · · · · · · · · · · · · · · · · · · · 26
XI
迁移学习导论
第3 章迁移学习基本问题· · · · · · · · · · · · · · · · · · · · · · 29
3.1 何处迁移· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 30
3.2 何时迁移· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 32
3.3 如何迁移· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 32
3.4 失败的迁移:负迁移· · · · · · · · · · · · · · · · · · · · · · · · 33
3.5 完整的迁移学习过程· · · · · · · · · · · · · · · · · · · · · · · · 35
第二部分方法与技术· · · · · · · · · · · · · · · · · · · · · · · · · 37
第4 章迁移学习方法总览· · · · · · · · · · · · · · · · · · · · · · 39
4.1 迁移学习总体思路· · · · · · · · · · · · · · · · · · · · · · · · · 39
4.2 分布差异的度量· · · · · · · · · · · · · · · · · · · · · · · · · · 40
4.3 迁移学习统一表征· · · · · · · · · · · · · · · · · · · · · · · · · 45
4.4 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 48
4.5 迁移学习理论· · · · · · · · · · · · · · · · · · · · · · · · · · · · 53
第5 章样本权重迁移法· · · · · · · · · · · · · · · · · · · · · · · 59
5.1 问题定义· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 59
5.2 基于样本选择的方法· · · · · · · · · · · · · · · · · · · · · · · · 61
5.3 基于权重自适应的方法· · · · · · · · · · · · · · · · · · · · · · · 64
5.4 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 66
5.5 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 68
第6 章统计特征变换迁移法· · · · · · · · · · · · · · · · · · · · 69
6.1 问题定义· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 69
6.2 最大均值差异法· · · · · · · · · · · · · · · · · · · · · · · · · · 70
6.3 度量学习法· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 78
6.4 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81
6.5 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 84
XII
目录
第7 章几何特征变换迁移法· · · · · · · · · · · · · · · · · · · · 85
7.1 问题定义· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 85
7.2 子空间变换法· · · · · · · · · · · · · · · · · · · · · · · · · · · · 86
7.3 流形学习法· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 87
7.4 最优传输法· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 91
7.5 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 94
7.6 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 97
第8 章预训练方法· · · · · · · · · · · · · · · · · · · · · · · · · · 99
8.1 深度网络的可迁移性· · · · · · · · · · · · · · · · · · · · · · · · 99
8.2 预训练–微调· · · · · · · · · · · · · · · · · · · · · · · · · · · · 102
8.3 预训练方法的有效性分析· · · · · · · · · · · · · · · · · · · · · · 105
8.4 自适应的预训练方法· · · · · · · · · · · · · · · · · · · · · · · · 106
8.5 重新思考预训练模型的使用· · · · · · · · · · · · · · · · · · · · 108
8.6 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 110
8.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113
第9 章深度迁移学习· · · · · · · · · · · · · · · · · · · · · · · · 115
9.1 总体思路· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 116
9.2 深度迁移学习的网络结构· · · · · · · · · · · · · · · · · · · · · · 117
9.3 数据分布自适应的深度迁移学习方法· · · · · · · · · · · · · · · · 120
9.4 结构自适应的深度迁移学习方法· · · · · · · · · · · · · · · · · · 122
9.5 知识蒸馏· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 125
9.6 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 127
9.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 133
第10 章对抗迁移学习· · · · · · · · · · · · · · · · · · · · · · · · 135
10.1 生成对抗网络· · · · · · · · · · · · · · · · · · · · · · · · · · · 135
10.2 对抗迁移学习基本思路· · · · · · · · · · · · · · · · · · · · · · 136
XIII
迁移学习导论
10.3 数据分布自适应的对抗迁移方法· · · · · · · · · · · · · · · · · 137
10.4 基于信息解耦的对抗迁移方法· · · · · · · · · · · · · · · · · · · 140
10.5 基于数据生成的对抗迁移方法· · · · · · · · · · · · · · · · · · · 141
10.6 上手实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142
10.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 145
第11 章迁移学习热门研究问题· · · · · · · · · · · · · · · · · · 147
11.1 类别不均衡的迁移学习· · · · · · · · · · · · · · · · · · · · · · 148
11.2 多源迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 150
11.3 开放集迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · 153
11.4 时间序列的迁移学习· · · · · · · · · · · · · · · · · · · · · · · 154
11.5 联邦迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 158
11.6 基于因果关系的迁移学习· · · · · · · · · · · · · · · · · · · · · 161
11.7 自动迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 168
11.8 在线迁移学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 171
第三部分扩展与探索· · · · · · · · · · · · · · · · · · · · · · · · · 175
第12 章领域泛化· · · · · · · · · · · · · · · · · · · · · · · · · · 177
12.1 领域泛化问题· · · · · · · · · · · · · · · · · · · · · · · · · · · 177
12.2 基于数据分布自适应的方法· · · · · · · · · · · · · · · · · · · · 181
12.3 基于解耦的方法· · · · · · · · · · · · · · · · · · · · · · · · · · 184
12.4 基于集成模型的方法· · · · · · · · · · · · · · · · · · · · · · · 186
12.5 基于数据生成的方法· · · · · · · · · · · · · · · · · · · · · · · 187
12.6 基于元学习的方法· · · · · · · · · · · · · · · · · · · · · · · · · 190
12.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 191
第13 章元学习· · · · · · · · · · · · · · · · · · · · · · · · · · · · 193
13.1 元学习简介· · · · · · · · · · · · · · · · · · · · · · · · · · · · 193
13.2 基于模型的元学习方法· · · · · · · · · · · · · · · · · · · · · · 196
XIV
目录
13.3 基于度量的元学习方法· · · · · · · · · · · · · · · · · · · · · · 198
13.4 基于优化的元学习方法· · · · · · · · · · · · · · · · · · · · · · 199
13.5 元学习的应用与挑战· · · · · · · · · · · · · · · · · · · · · · · 201
13.6 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 202
第14 章迁移学习模型选择· · · · · · · · · · · · · · · · · · · · · 205
14.1 模型选择· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 205
14.2 基于密度估计的模型选择· · · · · · · · · · · · · · · · · · · · · 206
14.3 迁移交叉验证· · · · · · · · · · · · · · · · · · · · · · · · · · · 207
14.4 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 208
第四部分应用与展望· · · · · · · · · · · · · · · · · · · · · · · · · 209
第15 章迁移学习的应用· · · · · · · · · · · · · · · · · · · · · · 211
15.1 计算机视觉· · · · · · · · · · · · · · · · · · · · · · · · · · · · 212
15.2 自然语言处理· · · · · · · · · · · · · · · · · · · · · · · · · · · 214
15.3 语音识别与合成· · · · · · · · · · · · · · · · · · · · · · · · · · 216
15.4 普适计算与人机交互· · · · · · · · · · · · · · · · · · · · · · · 218
15.5 医疗健康领域· · · · · · · · · · · · · · · · · · · · · · · · · · · 220
15.6 其他应用· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 223
15.7 小结· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 225
第16 章迁移学习前沿· · · · · · · · · · · · · · · · · · · · · · · · 227
16.1 融合人类经验的迁移· · · · · · · · · · · · · · · · · · · · · · · 227
16.2 迁移强化学习· · · · · · · · · · · · · · · · · · · · · · · · · · · 228
16.3 迁移学习的可解释性· · · · · · · · · · · · · · · · · · · · · · · 228
16.4 迁移学习系统· · · · · · · · · · · · · · · · · · · · · · · · · · · 229
附录A· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 231
A.1 常用度量准则· · · · · · · · · · · · · · · · · · · · · · · · · · · 231
XV
迁移学习导论
A.2 迁移学习常用数据集· · · · · · · · · · · · · · · · · · · · · · · · 235
A.3 本书相关资源· · · · · · · · · · · · · · · · · · · · · · · · · · · 238
参考文献· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 241

读者评论

相关博文

同系列书

  • 集成学习:基础与算法

    Zhi-Hua Zhou (作者) 李楠 (译者)

    集成学习方法是一类先进的机器学习方法,这类方法训练多个学习器并将它们结合起来解决一个问题,在实践中获得了巨大成功。<br>全书分为三部分。第一部分主要介绍集成学...

    ¥89.00
  • 迁移学习导论

    王晋东 (作者)

    迁移学习作为机器学习和人工智能领域的重要方法,在计算机视觉、自然语言处理、语音识别等领域都得到了广泛的应用。本书的编写目的是帮助迁移学习及机器学习相关领域的初学...

    ¥109.00

相关图书

AI魔法绘画:用Stable Diffusion挑战无限可能

陈然 (作者)

本书以实际操作为导向,详细讲解基于Stable Diffusion进行AI绘画的完整学习路线,包括绘画技巧、图片生成、提示词编写、ControlNet插件、模型...

 

一本书读懂ChatGPT

魏进锋 等 编著 (作者)

本书以通俗易懂的语言对ChatGPT进行全面讲解。 本书分为10章。 第1章对ChatGPT及ChatGPT的创造者OpenAI进行初步讲解。 第2章讲解...

 

可解释人工智能导论

杨强 范力欣 朱军 陈一昕 张拳石 朱松纯 陶大程 崔鹏 周少华 刘琦 黄萱菁 张永锋 (作者)

本书全面介绍可解释人工智能的基础知识、理论方法和行业应用。全书分为三部分,共11 章。第一部分为第1 章,揭示基于数据驱动的人工智能系统决策机制,提出一种基于人...

 

隐私计算

陈凯 杨强 (作者)

在大数据和人工智能时代,如何在享受新技术带来的便利性的同时保护自己的隐私,是一个重要的问题。本书系统讲解了隐私计算的基础技术和实践案例,全书共有11 章,按层次...

 

知识图谱与认知智能:基本原理、关键技术、应用场景与解决方案

吴睿 (作者)

认知的高度决定了你创造价值的高度,包括你对世界的认知及世界对你的认知。知识图谱与认知智能技术的发展,既孕育了圈层变更的机会,也带来了人、机器、企业如何协同与博弈...

 

实用推荐系统

Kim Falk (作者) 李源 朱罡罡 温睿 (译者)

要构建一个实用的“智能”推荐系统,不仅需要有好的算法,还需要了解接收推荐的用户。本书分为两部分,第一部分侧重于基础架构,主要介绍推荐系统的工作原理,展示如何创建...

¥119.00