王喆的机器学习笔记 .
AI，推荐系统，计算广告、机器学习领域最新进展，也欢迎探程序员职业发展、副业，投资理财的话题。

随着大模型的革命滚滚而来，搜广推行业本身也经历了从增量式大发展到存量式精细优化的过程。
相信所有搜广推的同行们都在关心一个问题：推荐系统的破局点在哪？
王喆老师在新书《深度学习推荐系统2.0》中抛砖引玉，给出了线索：“算法、工程和大模型的协同创新”。

本书第一版《深度学习推荐系统》作为深受读者好评的畅销书，豆瓣评分高达9.3分！有网友评论说：“看到第五章就认定是一本好书，而不只是技术书！”

如今，距第一版出版五年过去了，深度学习推荐系统的技术架构经历了更为深刻的演化，王喆老师也对书中的内容进行了大量更新改进，同时希望能够用诸多业界案例给你启发。
而第二版也不负大家所望，同样收获了读者众多好评，豆瓣评分高达9.0！

如果你想紧跟时代潮流，深入了解深度学习与大模型在推荐系统中的应用，那么这本备受读者认可的《深度学习推荐系统 2.0（全彩）》绝对是你的不二之选。

推荐系统知识体系的更新

大模型的革命如火如荼，其对推荐系统的影响也不可谓不深刻。
然而时至今日，业界主流的推荐系统仍然是深度学习推荐系统的框架，因此本书希望坚定传递一个理念——踏踏实实做精做细每个推荐系统模块，更新自己的知识框架，而不是盲目追求好听的故事，这才是我们真正的技术护城河。
在这本新书中，作者更新了推荐模型的演进框架，把经典的保留，把过时的删去，把新的有影响力的工作整合。形成了新的推荐模型演进框架图。

深度学习推荐模型演进框架图
在上一版的基础上，作者也继续查漏补缺，把之前未涉及到的，或者近些年新出现的重要的推荐系统技术加入进来，形成更为系统化的推荐系统知识体系。
比如加入了对于iOS生态体系至关重要的联邦学习框架；
在Embedding部分更新了GNN的最新进展；
补充了对推荐系统Debias解决方案的介绍；
在模型评估部分，新增了最近流行的推荐系统模拟器的介绍；
为强调工程和算法的协同创新，增加了边缘计算推荐系统方案等等。
作者的目标就是一个，让读者能够跟随自己一起查漏补缺，把自己的推荐系统知识框架构建的更完整，处在推荐系统业界的前沿位置。

新书中新增的模块和方案

大模型和AIGC对推荐系统的影响

在深度学习推荐系统的框架之上，大模型和AIGC对于推荐系统的影响是毋庸置疑的。
在不盲目追求热点的同时，《深度学习推荐系统2.0》一书希望实事求是的讨论大模型和AIGC对推荐系统产生的实质性影响，以及在推荐系统领域的落地方案。
具体来说，本书把大模型和AIGC在推荐系统的应用上分为了三个层次：

01

理解这个世界

大模型的知识与推荐系统的知识是“完美互补”的关系。
大模型的知识是开放的、多模态的，它从开放世界学习到的外部知识将给推荐系统带来大量的“新鲜血液”；与此同时，传统推荐模型对推荐系统内部的用户行为信息利用的更充分，更深刻。把大模型学习到的“世界知识”传递给推荐系统，是二者结合的最好方式。
如下图所示，大模型分别通过Token和Embedding的方式传递知识，通过更好地理解这个世界来影响着推荐系统。

LLM向推荐系统传输知识的两种方式

02

成为这个世界

以Meta GR为例，推荐系统的从业者们从生成式模型的角度重新思考推荐问题。 Transformer based的大模型架构正成为推荐模型的新范式，并从排序模型逐渐扩散到召回、粗排甚至一体化推荐模型等众多推荐系统模块。大模型正逐渐成为“推荐系统世界”的新架构。

03
创造一个新世界
OpenAI Sora的口号是“成为世界的模拟器”。
相比用大模型的技术改造现有的推荐系统技术模块，作者更主张的是跳出现有技术框架的束缚，从更广阔的角度想一想大模型和AIGC对推荐场景的更大影响在哪里。
作者的答案是个性化推荐内容的生成。从已经日趋成熟的广告创意生成、短视频生成；到未来有更大想象力的推荐内容完全基于用户反馈生成。本书对AIGC技术在推荐系统中的应用进行了全面的探讨。

Sora的模型架构（引用自张俊林老师对Sora的逆向解读）

2.0版为读者考虑的小改进

为了给读者更好的体验，这次2.0版的新书还在下面几个方面进行了改进：
逐一更正了第一版中读者提出的将近200处错误。
为了控制篇幅考虑，没有加入更多的代码（复制开源项目代码是比较典型的偷懒占篇幅的做法），但应第一版读者增加更多实践内容的要求，增加了由作者主导的开源推荐系统项目SparrowRecsys的介绍。GitHub - wzhe06/SparrowRecSys: A Deep Learning Recommender System
为了控制篇幅，控制书价，2.0版采用了更大的印刷纸张。在大幅增加内容的同时，把全书厚度控制在300页，售价也仅有小幅提升。
对全书图片进行了重绘，提高印刷质量，且全书彩印。
与此同时，还要跟有心购买的读者提个醒，由于2.0版增加了更多内容，但篇幅没有大幅增加。所以对已有内容进行了精简和合并。比如原有的“前深度学习时代的推荐模型”章节合并入了原第三章。同时，很多技术方案没有更多篇幅特别深入讨论技术细节。如果有需要刨根问底的读者，最好结合原论文来读。

总的来说，大家更合适把这本书当作推荐系统领域的一棵知识树，作者来保证知识的新颖性和全面性，而不是一篇篇深入探讨某一个知识点的学术论文集合。

共勉和感悟

大模型时代对搜索、广告、推荐（下文简称“搜广推”）行业的工程师们提出了新的挑战，特别是在新的行业环境下，公司与公司之间、团队与团队之间、个人与个人之间都面临着更大的竞争压力。
也许所有读者也特别关心如何处理好这些压力，化挑战为机遇，从竞争中脱颖而出。作者在书中给出的三个建议是：
技术上“拥抱变化”。我们要坚信的是，“搜广推”仍然是互联网的第一变现途径，这个行业的容量仍然足够大，天花板足够高。我们应该做的是在已有的“搜广推”技术优势之上，深入思考如何把大模型的技术趋势融入已有的推荐系统框架中，而不是放弃自己已有的技术优势，完全切换到全新的赛道，在0基础之上和刚毕业的同行们竞争。
视野上“高屋建瓴”。推荐系统发展到今天，各模块的技术积累已经非常深厚，但模块的优化空间已经非常小了。在深度学习推荐系统2.0 时代，进一步的优化机会存在于模块之间，存在于系统整体之上，因此我们才有了COLD、EdgeRec 等一批工程和算法协同优化的优秀方案。笔者始终相信，一个优秀的推荐系统方案肯定是兼顾工程效率和算法效果的全局性优化方案。从工程师素质的角度来看，联合优化的思路对我们提出了更高的要求，在对推荐系统架构和新技术趋势了然于胸的基础上，我们必须在视野上高屋建瓴，打通思维的“任督二脉”，把各个模块串联起来思考。只有这样，才能找到新的技术增长点。
主观上增强自己的“软实力”。随着职业经历越来越丰厚，作者越来越意识到“软实力”才是保持职场优势的关键。面对不确定性高的项目时的勇气，面对阶段性挫折时的韧性，面对技术转型时的决心，面对项目压力时的毅力，这些重要的品质才是一生最宝贵的财富。从另一个层面讲，工作的真正目的就是提升自己的软实力，让你成为一个更加优秀的人。当我们成为一个更优秀的人时，我们不仅能在技术问题上更加得心应手，相信即使转到其他领域，在其他职业方向上，也能取得成功。
希望《深度学习推荐系统2.0》这本书可以帮助我们在大模型时代中找到推荐系统的破局之道，在这场技术革命中抢占先机！