《因果推断与机器学习(修订版)》是一本理论扎实,同时联系实际应用的图书。全书系统地介绍了因果推断的基本知识、基于机器学习的因果推断方法和基于因果推断的机器学习方法及其在一些重要领域的应用。
《因果推断与机器学习(修订版)》共分6 章。第1 章从结构因果模型和潜在结果框架出发,介绍因果推断的基本概念和方法。第2 章介绍近年统计和机器学习文献中出现的一些重要的基于机器学习的因果推断方法。第3 章介绍能够提高机器学习模型的泛化能力的因果表征学习。第4 章介绍因果机器学习如何提高机器学习模型的可解释性与公平性。第5 章介绍因果机器学习在推荐系统和学习排序中的应用。第6 章是对全书的一个总结和对未来的展望。
《因果推断与机器学习(修订版)》对结合因果推断和机器学习的理论与实践进行了介绍。并在第1 版的基础上对一些陈旧的内容做了更新。通过阅读本书,读者不仅可以掌握因果机器学习的基础理论,还可对本书中提到的论文代码进行钻研,从而在实践中加深对因果机器学习的理解。
《因果推断与机器学习(修订版)》适合对因果推断和机器学习感兴趣的高校学生、教师阅读,也适合相关行业的工程师、数据科学家和研究员阅读。
因果推断和机器学习的理论与实际应用相结合;华人学者刘欢(ACM Fellow)联合业界和学界多位因果机器学习专家倾力打造。
郭若城,伦敦字节跳动人工智能实验室机器学习研究员。研究重点为因果推断和可置信的机器学习在推荐系统、搜索排序和图数据中的应用。曾获美国亚利桑那州立大学杰出计算机科学博士生奖项。
程璐,美国伊利诺伊芝加哥分校计算机系助理教授,于2022年获美国亚利桑那州立大学(ASU)计算机科学专业博士学位,师从刘欢教授。研究方向包括社会负责任的人工智能,具体为人工智能的公平性、可解释性、隐私保护、可泛化性、对社会的公益性、因果机器学习,以及社会计算。
刘昊,美国加州理工学院在读计算机专业博士生,本科毕业于南京大学匡亚明学院,研究方向为可置信的机器学习、因果机器学习。
刘欢,美国亚利桑那州立大学计算机科学与工程学院教授,ACM Fellow、AAAI Fellow、AAAS Fellow、IEEE Fellow。研究重点是开发人工智能、数据挖掘、机器学习和社会计算的计算方法,并设计高效的算法有效地解决了从基础研究、特征选择、社会媒体挖掘到现实世界应用的问题。
随着大数据时代的来临,机器学习技术突飞猛进,并且在人类社会中扮演着越来越重要的角色。例如,你可能已经习惯了每天使用谷歌、百度、必应等搜索引擎查找信息,或者享受电商网站和视频网站的推荐系统所带来的便利,抑或利用谷歌、百度等网站提供的机器翻译软件学习外语。这些应用都离不开机器学习模型的支持。但机器学习模型,尤其是当下流行的深度学习模型,面临着域外泛化、可解释性、公平性等挑战。例如,利用深度学习模型做图像分类时可能会根据图片中的沙漠背景立刻判断图像中会出现骆驼,这是因为它不会意识到“沙漠背景”和“骆驼出现”之间只存在相关性。也就是说,“沙漠背景”并不是“骆出现”的原因。而认识到这一点对人类来说并不难。因此,为了实现通用人工智
能,机器学习算法需要具备判断特征和标签间是否存在因果关系的能力。
另外,机器学习中对因果关系的研究也一直扮演着重要的角色。例如,在流行病学中,孟德尔随机化揭示了基因对患病概率的影响,其本质是一种基于工具变量的因果推断方法。在研究疫苗的有效率时,双盲实验扮演着不可替代的角色,这是因为双盲实验可以衡量疫苗对免疫力的因果效应。而近几年出现了众多利用机器学习方法解决因果推断问题的研究,这是因为机器学习模型不仅可以有效地处理复杂的输入数据(如图像、文字和网络数据),还能够学习到原因和结果间复杂的非线性关系。
如今,因果机器学习的研究在学术界可谓百花齐放。从利用机器学习模型解决因果推断问题到将因果关系添加到机器学习模型中,都会涉及因果机器学习。而在业界,无论是像谷歌、BAT①这样的大公司,以及像Zalando(总部位于德国柏林的大型网络电子商城,其主要产品是服装和鞋类)这样的中型公司,还是像causaLens(一家英国无代码因果AI 产品开发商)这样的创业公司,因果机器学习都在解决业务问题中扮演着重要的角色。这意味着业界对因果机器学习人才的需求正处于一个上升期。例如,2022 年的就业市场对这类人才的需求就是一个证明。但是,目前高校开设的课程中很少有同时涉及因果推断和机器学习的。这是因为因果推断被认为是统计学、经济学、流行病学的课程,而机器学习主要出现在计算机科学和数据科学的教学大纲中。因此,希望本书的出现可以帮助那些想要系统学习因果机器学习,并在将来从事相关工作的读者。
为了帮助读者建立连接因果推断和机器学习这两个重要领域所需要的知识体系,本书对内容做了精心规划,并在第1 版基础上对一些陈旧的内容做了更新。为了照顾没有因果推断基础的读者,第1 章解答了在学习因果推断之初读者可能面临的问题。例如,潜在结果框架和结构因果模型两种基础理论框架到底有什么区别?因果推断的经典方法有哪些?它们分别适用于什么场景?在此基础上,第2 章介绍了前沿的、利用机器学习模型来解决因果推断问题的具有代表性的方法,希望那些想要解决因果效应估测、政策评估、智能营销增益模型(uplift modeling)这些因果推断问题的读者能够从中获益。第3、4 章中讨论的域外泛化、可解释性和公平性问题都在近几年受到学界和业界的大量关注。它们体现了基于相关性的机器学习模型的局限性。而基于因果性的因果机器学习方法对于克服这些局限性十分有效。这部分知识可以回答在机器学习领域工作的读者的一个问题:为什么因果性对于机器学习的研究和实践非常重要?第5 章介绍基于因果的推荐系统和学习排序方法,以帮助对这些领域感兴趣的读者打下坚实的基础,并在相关的科研和实践中做到游刃有余。第6 章是对全书主要内容的总结。我们基于在因果机器学习研究、教学和实践中积累的知识和经验撰写了这本 《因果推断与机器学习》,旨在探索如何构建一个容易被读者接受的因果机器学习知识体系,为培养因果机器学习的跨学科人才做一份贡献。
由于作者的能力和精力有限,本书难免会出现一些纰漏,欢迎广大读者批评、指正。希望每一位读者都能在阅读本书的过程中有所收获。无论读者是对因果推断的基础知识进行了补充,还是对因果机器学习的前沿方向有了一些了解,对我们来讲都是莫大的荣幸。
本书在写作、校对和出版的过程中,得到了国内外众多专家学者和出版人员的大力支持与帮助。在此,我们对那些为本书做出贡献的朋友表达诚挚的谢意。
感谢为本书撰写推荐语的多位专家学者,他们是(排名不分先后):吉林大学人工智能学院院长常毅教授、美国弗吉尼亚大学张爱东教授、美国领英公司工程总监洪亮劼博士。
感谢对本书的写作提供巨大帮助的各位老师和同学,他们是(排名不分先后):亚利桑那州立大学数据挖掘与机器学习实验室(DMML)全体成员、Meta AI 人工智能科学家张鹏川博士、微软雷蒙德研究院资深首席研究员Emre Kiciman 博士、弗吉尼亚大学李骏东助理教授和博士生马菁、加州理工学院岳一松副教授、约翰霍普金斯大学Angie Liu 助理教授。
感谢正在阅读本书的你。
感谢为本书付出努力的电子工业出版社编辑李利健及她的同事。
衷心感谢我们的亲人和挚友。没有你们一路的支持、陪伴和理解,我们无法完成对因果机器学习的探索和本书的写作。
提示:本书正文中提及见“链接1”“链接2”等时,可根据本书封底的“读者服务”提示获取链接文件。
作 者