《从零进阶!数据分析的统计基础(第2 版)》共7 章,分别讲解了数据分析的步骤和方法、描述性统计分析、数理统计基础、抽样估计、假设检验、方差分析、 相关与回归分析。本书使用简单的语言介绍了这些数据分析基本方法的核心思想和涉及的统计学、概率论等方面的理论内容,并使用图示的方法详细介绍了使用Excel 2013 进行简单的描述性统计分析和使用SPSS 进行相关的数据分析的过程与结果分析。
《从零进阶!数据分析的统计基础(第2 版)》适合需要提升自身数据分析理论和实践能力的职场新人;在市场营销、金融、财务、人力资源管理中需要数据分析的人士,从事咨询、研究、分析等的专业人士。也可以作为数据分析师职业培训的教材,普通高等院校非统计专业数据分析的选修教材。
经管之家主编,写给专业数据分析师的丛书,畅销书升级版
经管之家(www.jg.com.cn):原人大经济论坛,于2003年成立,致力于推动经管学科的进步,传播优秀教育资源,目前已经发展成为国内最大的经济、管理、金融、统计类的在线教育和咨询网站,也是国内最活跃和最具影响力的经管类网络社区。经管之家从2006年起在国内最早开展数据分析培训,累计培训学员数万人。在大数据的趋势背景下,创新“CDA数据分析师”品牌,致力于为社会各界数据分析爱好者提供最优质、最科学、最系统的数据分析教育。截至2016年3月已成功举办40多期系统培训,培训学员达3千余名;CDA认证考试已成功举办三届,报考人数上千人;中国数据分析师俱乐部(CDA CLUB),每周线下免费沙龙活动,已举力40多期,累积会员2千余名;中国数据分析师行业峰会(CDA Summit),一年两届,参会人数皆达2千余名,在大数据领域影响力超前。“CDA数据分析师”队伍在业界不断壮大,对数据分析人才产业起到了巨大的推动作用。
曹正凤,统计学博士,经管之家(原人大经济论坛)大数据中心总工程师,经管之家(原人大经济论坛)CDA大数据分析师培训负责人,北京博宇通达科技有限公司技术总监。致力于大数据分析前沿领域研究,主持人大经济论坛基于Hadoop架构的论坛主题推荐系统项目,参与国家社科基金项目《基于大数据整合的空气质量测度方法研究》,发表多篇论文,且发表的EI核心收录论文受到多次检索。
序言:这是一个用数据说话的时代
在CDA(注册数据分析师)Level I 级教材付诸印刷之际,关于数据分析这个职业及其价值的报道就有很多,比如,下面两条报道就充分体现了在大数据时代下,数据分析的价值。这在以前是从来没有过的。
LinkedIn 的最新投票结果显示,“统计分析和数据挖掘”是2014 年最大的求职法宝。LinkedIn对全球超过3.3 亿用户的工作经历和技能进行分析,公布2014 年最受雇主喜欢、最炙手可热的25项技能,其中位列榜首的是统计分析和数据挖掘。
麦肯锡公司的一份研究预测称,到2018 年,在“具有深入分析能力的人才”方面,美国可能面临着14 万到19 万人的缺口,而“可以利用大数据分析来做出有效决策的经理和分析师”缺口则会达到150 万人。
早在2010 年2 月,肯尼斯?库克尔在《经济学人》上发表了一份关于管理信息的特别报告——《数据,无所不在的数据》,文中写道:“世界上有着无法想象的巨量数字信息,并以极快的速度增长……从经济界到科学界,从政府部门到艺术领域,很多地方都已感受到了这种巨量信息的影响。”
2011 年,麦肯锡发布了《大数据:下一个具有创新力、竞争力与生产力的前沿领域》,使人们在这篇文章里认识到了数据的力量,于是,一夜之间,面向数据分析市场的新产品、新技术、新服务、新业态正在不断涌现。从个人、企业到国家层面,都把数据作为一种重要的战略资产,逐渐认识到了数据的价值,不同程度地渗透到每个行业领域和部门,大大提升了企业的经营利润,推动了经济的发展。
这是一个用数据说话的时代,也是一个依靠数据竞争的时代。目前世界500 强企业中,有90%以上都建立了数据分析部门。IBM、微软、Google 等知名公司都积极投资数据业务,建立数据部门,培养数据分析团队。各国政府和越来越多的企业意识到数据和信息已经成为企业的智力资产和资源,数据的分析和处理能力正在成为日益倚重的技术手段。
作为一个数学和统计学的强国,数据分析、数据挖掘和大数据价值挖掘行业在我国仍属于朝阳行业,数据分析人才仍然比较稀缺。各行各业在平常工作中积累的各种各样的数据分析问题仍然没有得到及时有效地解决,有些问题,还是关乎本行业发展的至关重要的问题。数据积累越来越多,期待解决分析的数据问题也越来越多,人们逐渐习惯的使用数据作为决策的重要参考依据。据艾瑞的研究报告,未来与数据分析相关的就业岗位会在1000 万左右,而目前来说国内合格的数据分析师不足5 万左右,建立一个科学有效的数据分析师培训体系迫在眉睫。
在这样一个用数据说话的时代,积累了丰富的数据分析培训经验的人大经济论坛承担起使命,几番调查研究,几番反复推演论证,在2013 年,这个大数据的“元年”,CDA 注册数据分析师应运而生!
2003 年,人大经济论坛依托中国人民大学成立,在金融、管理、统计领域已积淀11 个年头,在国内享有良好声誉。
2006 年,人大经济论坛数据分析培训中心设立,至今经历8 个春秋,建立了大陆、台湾一线师资团队,培养人才已达3 万余人。
2013 年,“中国数据挖掘与数据分析俱乐部CDMC”在人大经济论坛旗下成立,2014 年改名为“中国数据分析师俱乐部CDA”。来自政府、金融、电信、零售、电商、互联网、教育等行业人士加入会员,成功举办了数十场行业聚会。紧接着,积累了数据分析培训丰富经验的人大经济论坛在国内展开CDA 数据分析师系统培训和认证考试,成功见证了1000 余名数据分析师的成长。
2015 年,人大经济论坛将提供高水平、多层次的数据分析培训服务,以在行业积累 多年的影响力,吸引更好更多的优秀师资,瞄准行业内重要的数据分析问题和难点,攻坚突破,建立更加规范的行业培训体系,引领数据分析培训行业向规范化、有效化和前瞻化方向发展,为数据分析培训做出应有的贡献。
其实,数学(含统计)和英语一样重要,都是人们不可或缺的重要技能。既然英语全民这么重视,数学及其数据分析的技能更加需求于方方面面,更应被做大做强。让我们共同期待人大经济论坛办成另一个数据的“新东方”!
覃智勇
2015 年1 月1 日
前 言
本书第1 版自2015 年2 月出版后,在市场上获得了强烈的反响,当月在当当网的新书热卖榜中排名第二,半年内销售近万册,至2016 年1 月已经印刷了5 次,共发行近两万册,图书被收录进百度百科。
如此巨大的市场销量和好评,引起笔者的深思,除本书构思巧妙、内容翔实、文法流畅等主观因素外,宏观的市场环境也是不容忽视的。2015 年,中国经济由原来的爆发式增长进入到略显低迷的新常态,无论是企业还是商家都感受到了压力,钱不再像以前那样好赚了。如何实现经济增长,如何让企业存活下去,这就需要深挖企业内部的痛点和洞察外部客户的特点。深挖和洞察的过程就是数据分析的过程,数据分析时代在中国悄然到来了。
随着数据分析师的价值凸显,有越来越多先知先觉的人们纷纷转行加入到数据分析师的大军中。而统计学是数据分析师们必修的课程之一,“从零进阶!数据分析的统计基础”的本意就是让更多的人能从零基础快速进阶到数据分析领域,并且重点讲述数据分析师们必须具备的概率和统计的关键知识点。而经管之家(原人大经济论坛)适时地推出本书,使其得到了很好的市场回馈。正所谓天时地利人和,造就了一本好书。
为了和市场的发展紧密结合,以及更好地适应读者的需求,本书进行了改版。本次改版继续坚持从零进阶,强化数据分析基础理论,和市场接轨等核心理念,继续使用“三国武将”这个大家都耳熟能详的业务背景知识。根据学员的需求和市场的实际情况,作者还对本书内容进行了如下调整。
(1)进一步精练数据分析的理论基础,去除了一些不必要的数学公式。由于数据分析涉及概率论、微积分、数理统计的很多内容,但有些内容又不用全部学会,这让初学者很难找出哪些是需要学习的内容,哪些是不需要学习的内容。因此在编写本书第1 版时,将很多数据分析师不需要知道的知识点都省略了,比如省略了统计量服从某个分布的证明过程,省略了抽样平均误差的证明过程。
这样做的目的是为了让数据分析师们能更快地进入这个领域,更好地洞察数据。在编写本书的第2版时,继续沿用此思想,去掉了一些数据分析师不必要知道的公式,增加了更多的数据分析思想的内容。
(2)将原来的第3 章抽样估计分解成数理统计基础和抽样估计两章,这样做的目的是考虑到原来的第3 章涉及的理论内容太多,并且比较枯燥,将其分成两部分,一来可以在每一部分增加更多的公式解读内容,也可以补充更多的案例进来;二来降低了阅读难度,使读者能在学习知识的同时,获得更多的成就感,从而更加有兴趣学习。
(3)对试验数据进行了更多的数据分析,增加了对读者数据分析思维的培养。尤其是第2 章的描述性数据分析过程,进行了更深入的数据分析过程剖析,主要宗旨在于让读者更快地进入到数据分析行业的队伍中来。当然,这也使得第2 版中的三国武将数据和第1 版中的数据存在一些差异。
当然,仅就本书而言,读者并不会学到数据分析师所需要的全部知识,这需要几年的循序渐进学习,但我希望读者看过本书后,能快速具有数据分析师所需要的最基本的统计学知识,能快速地进入到数据分析的行业,从而具备一个数据分析师应具备的最起码的知识,在工作中能说内行话,而不是说行外话。
在本书改版之际,作者衷心感谢经管之家(原人大经济论坛)和CDA 课程研发团队多年来始终不渝的关心与鼎力支持,感谢关继杰,感谢广大读者给予我的理解与感受,感谢电子工业出版社多年来的密切合作与支持。没有这一切,本书不可能取得这么好的成果,我永远感谢曾经帮助和支持过我的相识的和不相识的同志和朋友。由于作者水平有限,本书肯定会有不少缺点和不足,热切期望得到专家和读者的批评指正。
曹正凤
2016 年3 月于北京