《大语言模型应用指南:以ChatGPT为起点,从入门到精通的AI实践教程(全彩)》是一本对人工智能小白读者非常友好的大语言模型应用指南,有两大特点:一是以通俗易懂的方式解释复杂概念,通过实例和案例讲解大语言模型的工作原理和工作流程、基本使用方法,包括大语言模型常用的三种交互格式、提示工程、工作记忆与长短期记忆,以及外部工具等,使读者能够全面了解和掌握这一先进技术的应用和二次开发;二是紧跟当前大语言模型技术的更新动态,介绍GPTs的创建,以GPT-4V和Gemini为例讲述多模态模型的应用,还包括无梯度优化、自主Agent系统、大语言模型微调、RAG框架微调、大语言模型安全技术等。
无论是学术研究者、工程师,还是对大语言模型感兴趣的普通读者,都可以通过本书获得大语言模型的前沿研究成果、技术进展和应用案例,从而更好地应用大语言模型解决实际问题。
大语言模型的应用与二次开发|探索智能前沿,驾驭模型力量,对人工智能或编程技术小白读者友好|技术点包含提示工程、长短期记忆、GPTs、Agent系统、微调与安全技术、GPT-4V与Gemini、尺度定律与压缩即智能等
万俊,南京大学计算数学专业本硕;现任中国香港瑞银软件工程师;OPPO前高级数据挖掘工程师 ;蚂蚁集团前高级机器学习、数据工程师 ;Udacity前机器学习和深度学习资深讲师;曾多次在各类数据竞赛中获奖(Kaggle Kesci Data Castle);已发表CCF A类论文一篇,EI论文一篇,神经网络测试专利一个 ;LeetCode专栏作家,著有“Enlighten AI”专栏。
前言
2022年11月30日,OpenAI发布了ChatGPT—— 一个基于生成式预训练Transformer(Generative Pre-trained Transformer,GPT)技术的语言模型。一经发布,ChatGPT就在市场上引起了强烈反响,月活跃用户数在接下来的两个月迅速突破一亿,打破了互联网行业的用户增长纪录,成为史上增长最快的消费者应用[ 2023年,Meta旗下的社交产品Threads成功打破了ChatGPT创下的用户增长纪录。然而,笔者认为,Threads能够实现这一成就部分得益于Meta平台的巨大流量,而ChatGPT是一个纯粹的工具。从这个角度来看,ChatGPT的用户增长纪录可能更具含金量。]。
虽然ChatGPT只是一个语言模型,但通过适当的引导和互动,它可以被用于创作诗歌、编写文案、分析数据,甚至编写和调试代码。人类从ChatGPT中似乎看到了实现通用人工智能(General Artificial Intelligence,AGI)的一丝希望。
为什么撰写本书
ChatGPT的出现只是一个起点,在之后的时间里,先后出现了GPT-4、Alpaca、Bard、ChatGLM、LLaMA、Claude等大语言模型,可谓百花齐放。预计未来会有越来越多的大语言模型问世,供消费者使用,这让我们既兴奋又焦虑。
兴奋的是,我们可能正在开启和经历着人类历史上的第四次工业革命。
焦虑的是,此类大语言模型的推广将极大地改变各行各业,特别是泛内容产业的规则、生态和格局。
未来,大语言模型极有可能发展到与当前计算机操作系统的地位相当,因此,应用大语言模型可以说是每个人不可或缺的技能。本书将帮助大家更好地理解和使用大语言模型,即使你对人工智能技术或编程技术一窍不通,也不用担心。本书将用通俗易懂的语言和例子,讲述大语言模型的基本原理、基础使用方法和进阶开发技巧。
本书主要内容
本书的读者对象是大语言模型的使用者和应用开发者,全书共分为4篇。
第1篇讲述机器学习、神经网络的基本概念,自然语言处理的发展历程,以及大语言模型的基本原理。鉴于本书的重点在于大语言模型的应用和二次开发,因此本书将不涉及大语言模型的训练细节。然而,我们仍强烈建议读者熟悉每个关键术语的含义,并了解大语言模型的工作流程,以更好地理解后面的内容。
第2篇讲述大语言模型的基础应用技巧。首先,介绍大语言模型常用的3种交互格式。随后,深入讲解提示工程、工作记忆与长短期记忆,以及外部工具等与大语言模型使用相关的概念。最后,对大语言模型生态系统中的关键参与者——ChatGPT的接口与扩展功能进行详解。
第3篇讲述大语言模型的进阶应用技巧。首先,介绍如何将大语言模型应用于无梯度优化,从而拓宽大语言模型的应用领域。随后,详细讨论各类基于大语言模型的自主Agent系统,以及微调的基本原理。最后,介绍与大语言模型相关的安全技术。
第4篇讲述大语言模型的未来。一方面,探讨大语言模型的生态系统和前景,简要介绍多模态大语言模型和相关的提示工程。另一方面,深入解析大语言模型的尺度定律,并尝试从无损压缩的角度来解析大语言模型具备智能的原因,最后以图灵机与大语言模型的联系作为全书的结尾。
致谢
首先,我要特别感谢我的爱人吴琨,她给予了我无尽的精神鼓励,在我遇到挑战或疑惑时,是她的鼓励和信任给予我力量和灵感。她的支持不仅是对我的个人成长的肯定,也是对我的专业追求的认可。其次,我要感谢我的朋友,包括刘师齐、武洪凯、周杰和张驰。在ChatGPT刚问世的半年多的时间里,我们一直保持协作,探索大语言模型在各种商业场景中的应用。在这段合作经历中,我们积累了许多宝贵的经验,对大语言模型的应用开发也有了更深刻的理解和认识。
我还要由衷感谢电子工业出版社为出版本书提供了机会,非常感激他们对这本书的认可和兴趣。
由于笔者的理解和时间有限,且本书涉及的理论和技术内容繁多,书中的不妥和错误之处在所难免,欢迎各位读者讨论、批评和指正。
谨以此书献给我的父亲。
万俊
2024年3月