胸有成竹:数据分析的SPSS和SAS EG进阶(第2版)
  • 推荐0
  • 收藏0
  • 浏览993

胸有成竹:数据分析的SPSS和SAS EG进阶(第2版)

赵坚毅 (作者) 

  • 丛  书:CDA数据分析师系列丛书
  • 书  号:978-7-121-28531-8
  • 出版日期:2016-05-18
  • 页  数:296
  • 开  本:16(185*235)
  • 出版状态:上市销售
  • 维护人:张慧敏
《胸有成竹!数据分析的SPSS和SAS EG进阶(第2版)》共5 章,涉及使用SPSS Statistics 和SAS EG 做商业数据分析的主要分析方法。其中,第1章的主要内容为数据分析方法概述;第2 章至第4 章的主要内容为横截面数据分析方法;第5 章的主要内容为时间序列分析方法。每章都根据所涉及的知识点的不同,选取了实用的案例,并为读者准备了相应的思考和练习题。
《胸有成竹!数据分析的SPSS和SAS EG进阶(第2版)》是一本面向商业数据分析初学者的教材,从具体的商业数据分析案例入手,使读者掌握数据分析的目的、理念、思路与分析步骤。本书力图淡化技术,对于方法的介绍也尽量避免涉及过多的数学内容,和高等数学相关的内容只在线形回归和主成分分析这两节中涉及到,而且都辅以图形作形象的展现。因此本书的读者只需要具有高中水平的数学基础即可。
经管之家主编,写给专业数据分析师的丛书,畅销书升级版
经管之家(www.jg.com.cn):原人大经济论坛,于2003年成立,致力于推动经管学科的进步,传播优秀教育资源,目前已经发展成为国内最大的经济、管理、金融、统计类的在线教育和咨询网站,也是国内最活跃和最具影响力的经管类网络社区。经管之家从2006年起在国内最早开展数据分析培训,累计培训学员数万人。在大数据的趋势背景下,创新“CDA数据分析师”品牌,致力于为社会各界数据分析爱好者提供最优质、最科学、最系统的数据分析教育。截至2016年3月已成功举办40多期系统培训,培训学员达3千余名;CDA认证考试已成功举办三届,报考人数上千人。中国数据分析师俱乐部(CDA CLUB),每周线下免费沙龙活动,已举力40多期,累积会员2千余名;中国数据分析师行业峰会(CDA Summit),一年两届,参会人数皆达2千余名,在大数据领域影响力超前。“CDA数据分析师”队伍在业界不断壮大,对数据分析人才产业起到了巨大的推动作用。

常国珍,北京大学商学博士,法学硕士。曾就职于亚信科技BOC部门、方正国际金融事业部、德勤管理咨询信息技术系统咨询部。SAS公司资深讲师,Oracle大数据讲师,多家金融信息部门和金融高科技公司数据挖掘技术顾问。从事征信数据集市与信用风险建模、客户价值提升等数据挖掘项目。擅长基于个体行为分析的价值发现和信用建模。研究方向为宏微观接合研究,兴趣点在于宏观环境变化对微观主体行为的经济后果分析及价值投资。

赵仁乾,北京邮电大学管理科学与工程硕士,现就职于北京电信规划设计院,从事移动、联通集团及各省分公司市场、业务、财务规划,经济评价及运营咨询。重点研究方向包括离网用户挖掘、市场细分与精准营销、移动网络价值区域分析、潜在价值客户挖掘等。

曾珂,华中师范大学管理科学与工程硕士,现就职于经管之家CDA数据分析研究院,从事互联网、电子商务方向数据分析与数据挖掘的研究,CDA数据分析师的教学工作,研究方向为网络文本挖掘、电商市场细分与客户细分、潜在价值客户挖掘、互联网大数据挖掘等。
序言:这是一个用数据说话的时代
在CDA(注册数据分析师)Level I 级教材付诸印刷之际,关于数据分析这个职业及其价值的报道就有很多。比如,下面两条报道就充分体现了在大数据时代下,数据分析的价值。这在以前是从来没有过的。
LinkedIn 的最新投票结果显示,‘统计分析和数据挖掘’是2014 年最大的求职法宝。LinkedIn对全球超过3.3 亿用户的工作经历和技能进行分析,公布2014 年最受雇主喜欢、最炙手可热的25项技能,其中位列榜首的是统计分析和数据挖掘。
麦肯锡公司的一份研究预测称,到2018 年,在“具有深入分析能力的人才”方面,美国可能面临着14 万到19 万人的缺口,而“可以利用大数据分析来做出有效决策的经理和分析师” 缺口则会达到150 万人。数据科学家将成为2015 年最热门的职业。
早在2010 年2 月,肯尼斯?库克尔在《经济学人》上发表了一份关于管理信息的特别报告——《数据,无所不在的数据》,文中写道:“世界上有着无法想象的巨量数字信息,并以极快的速度增长……从经济界到科学界,从政府部门到艺术领域,很多地方都已感受到了这种巨量信息的影响。”2011 年,麦肯锡发布了《大数据:下一个具有创新力、竞争力与生产力的前沿领域》,使人们在这篇文章里认识到了数据的力量。于是,一夜之间,面向数据分析市场的新产品、新技术、新服务、新业态正在不断涌现。从个人、企业到国家层面,都把数据作为一种重要的战略资产,逐渐认识到了数据的价值,不同程度地渗透到每个行业领域和部门,大大提升了企业的经营利润,推动了经济的发展。
这是一个用数据说话的时代,也是一个依靠数据竞争的时代。目前世界500 强企业中,有90%以上都建立了数据分析部门。IBM、微软、Google 等知名公司都积极投资数据业务,建立数据部门,培养数据分析团队。各国政府和越来越多的企业意识到数据和信息已经成为企业的智力资产和资源,数据的分析和处理能力正在成为日益倚重的技术手段。
作为一个数学和统计学的强国,数据分析、数据挖掘和大数据价值挖掘行业在我国仍属于朝阳行业,数据分析人才仍然比较稀缺。各行各业在平常工作中积累的各种各样的数据分析问题仍然没有得到及时有效的解决,有些问题,还是关乎本行业发展的至关重要的问题。数据积累越来越多,期待解决分析的数据问题也越来越多,人们逐渐习惯使用数据作为决策的重要参考依据。据艾瑞的研究报告,未来与数据分析相关的就业岗位会在1000 万人左右,而目前来说国内合格的数据分析师不足5 万人,建立一个科学有效的数据分析师培训体系迫在眉睫。
在这样一个用数据说话的时代,积累了丰富的数据分析培训经验的经管之家承担起使命,几番调查研究,几番反复推演论证,在2013 年,这个大数据的“元年”,CDA 注册数据分析师应运而生!
2003 年,经管之家(原人大经济论坛)依托中国人民大学成立,在金融、管理、统计领域已积淀11 个年头,在国内享有良好声誉。
2006 年,经管之家数据分析培训中心设立,至今经历8 个春秋,建立了大陆、台湾一线师资团队,培养人才已达3 万余人。
2013 年,“中国数据挖掘与数据分析俱乐部CDMC”在经管之家旗下成立,2014 年改名为“CDA数据分析师俱乐部”。来自政府、金融、电信、零售、电商、互联网、教育等行业人士加入会员,成功举办了数十场行业聚会。紧接着,积累了数据分析培训丰富经验的经管之家在国内展开CDA 数据分析师系统培训和认证考试,成功见证了数千名数据分析师的成长。
2015 年,经管之家将继续提供高水平、多层次的数据分析培训服务,以在行业积累多年的影响力,吸引更好更多的优秀师资,瞄准行业内重要的数据分析问题和难点,攻坚突破,建立更加规范的行业培训体系,引领数据分析培训行业向规范化、有效化和前瞻化方向发展,为数据分析培训做出应有的贡献。
其实,数学(含统计)和英语一样重要,都是人们不可或缺的重要技能。既然英语全民这么重视,数学及其数据分析的技能更加需求于方方面面,更应被做大做强。让我们共同期待经管之家办成另一个数据分析的“新东方”!
前言
感谢您选择“CDA 数据分析师”LevelⅠ学习系列丛书”之《胸有成竹!数据分析的SPSS 和SASEG 进阶(第2 版)》。
该丛书按照数据分析师规范化学习体系而定,对于一名初学者,应该先掌握必要的概率、统计理论基础,包括描述性分析、推断性分析、参数估计、假设检验、方差分析、回归分析等内容,这在第一本书《从零进阶!数据分析的统计基础(第2 版)》中进行了专业详细的讲解。其次,数据分析需要按照标准流程进行,即数据的获取、储存、整理、清洗、归约等系列数据处理技术,这在《如虎添翼!数据处理的SPSS 和SAS EG 实现(第2 版)》中利用统计软件和编程技术进行了操作过程的详解。最后,经过处理的数据需要根据业务问题,利用相关方法进行建模分析,得出结果,结果检验,绘制图表并解读数据,这在《胸有成竹!数据分析的SPSS 和SAS EG 进阶(第2 版)》中进行了详细的讲解和操作分析。
CDA 数据分析师丛书整体风格是“理论>技术>应用”的一个学习过程,最终目的在于商业业务应用、职场数据分析,为欲从事于数据分析领域的各界人士提供了一个规范化数据分析师的学习体系。
读者对象
本书是一本面向商业数据分析初学者的教材,从具体的商业数据分析案例入手,使读者掌握数据分析的目的、理念、思路与分析步骤。本书力图淡化技术,对于方法的介绍也尽量避免涉及过多的数学内容,和高等数学相关的内容只在线形回归和主成分分析这两节中涉及到,而且都辅以图形作形象的展现。因此本书的读者只需要具有高中水平的数学基础即可。但是本书强调每种方法的假设、适用条件和与商业数据分析主题的匹配。实践教学中,发现业务经验丰富和有较好商业模式理解的学员,在学习数据分析有更好的效果,这主要原因可能是因为这类学员有较强的思辨能力、分析能力、学习目的性和质量意识,而不是简单的模仿和套用数学公式。
本书以SPSS Statistics(以下简称SPSS) 和SAS Enterprise Guide(以下简称SAS EG)为演示软件,但是操作方法可以方便的转换为其他统计软件,同时也是学习SAS 编程的捷径。
工具介绍
SPSS 作为一个入门级数据分析软件,是每个从业者必会的。其可视化界面可以很好的展现数据分析的流程。但是SPSS 的功能毕竟有限,尤其在数据清洗和整理方面更是捉襟见肘,因此需要和SAS EG 结合使用。SAS EG 是一个以项目为导向的Windows 应用软件,它被用于实现对SAS 系统大多数分析能力的快速访问。它通常会被统计专家、业务分析员以及 SAS 程序员使用。利用SAS 多平台的强大能力,SAS EG 能够使用户访问本地或SAS 服务器上的数据、管理数据、编写基本报表和汇总,做基本和复杂的数据分析,运用最高质量的SAS 图形能力,最后将结果输出或发送到SAS服务器或其他基于服务器或Windows 的应用中。在SAS EG 中进行的工作也可以容易地被其他的EG使用者分享。通过生成SAS 代码,大多数在SAS EG 中进行的工作也可以被EG 外部的SAS 使用者共享。
SAS EG 面向企业中数据轻度使用客户,它的同类产品是SPSS。而与R、Stata 和Eviews 等科研教学类软件有明显不同。SAS EG 基本继承了SAS Base 的所有功能,可以方便地调用其他模块的程序。可以说在商业数据分析领域,SAS EG 是SAS Base 的升级换代产品。SAS EG 和SPSS 类似,都是可以直接使用鼠标点击操作的,这降低了使用人员的入门难度,而且记录脚本可以便于使用者学习SAS 语言。它的文档管理功能是目前统计软件中最强大的。其中的流程图使单次分析过程一目了然,这与SPSS 等有明显差别。SPSS 较难记录分析过程,而SAS EG 可以将分析过程记录下来,便于使用者反复使用和组织内部共享分析文档。在统计方法方面,SAS EG 菜单中实现的统计方法少而精炼,满足90%以上的商业分析需求,而且其拓展性强大,可以调用SAS 其他模块的过程,可以实现SPSS 无法很好实现的时间序列和面板数据分析。在和其他软件衔接方面,SAS EG 以SAS Base为基础,而SAS Base 在某些公司作为ETL 工具,可见SAS 具有强大的数据管理功能,可以和企业内部数据库做透明访问。
目前各大金融机构、国有企业和著名外企,尤其是咨询公司都在使用SAS 产品。SAS Base 是面向数据处理程序员的,入门难度较大,只在专门的数据分析部门使用。而SAS EG 的用户多为业务部门的工作人员,入门难度较低。在公司内部培训的过程中,发现公司数据分析人员和业务人员对学习SAS EG 有较大兴趣,部门领导也倾向于让员工多学习SAS EG 的课程。而且SAS 公司也逐步将其部分产品免费化,其中University-Edition 就是一个有益的尝试,其操作方式和SAS EG 类似。相信在统计技能大众化的今天,SAS EG 有着巨大的发展潜力。
当前R 和Python 等开源软件方兴未艾,但是这类软件学习曲线缓慢,使很多初学者的热情在进入数据分析的核心领域之前就已经消逝殆尽。真正商业数据分析的目的是为了业务的分析需求,构造稳健的数据挖掘模型。数据挖掘产品的质量是通过对分析流程的严格掌控而得以保障的。SAS EG产品正是针对分析流程设计的,这对于数据分析初学者大有裨益。而开源软件在这方面基本上没有支持,而要求其使用者具有丰富的实战经验。因此使用SAS EG 这个产品作为演示工具,无论将来读者使用何种分析工具,都可以通过本书的学习获得分析流程的经验。
阅读指南
本书包括5 章,涉及使用SPSS 和SAS EG 做数据分析的主要分析方法。其中,第1 章为数据分析方法概述,第2 章至第4 章为横截面数据分析方法。第5 章为时间序列分析方法。每章都根据所涉及的知识点的不同,选取了实用的案例,并为读者准备了相应的思考和 练习题。
详细的章节内容如下。
第1 章 数据分析方法概述
数据分析的目的是使工作更有效率、资源分配更合理、对事物的发展脉络更为清晰或是提高对未来预测的准确性。阅读本章可以使读者在具体接触数据分析之前,了解整个数据分析的脉络,明确将要学习的内容。
第2 章 描述数据特征
数据统计指标描述是数据分析的重点,对数据的直觉也是通过对数据的探索建立起来的。数据可视化则是将统计指标转换成图形和图表。通过本章的学习,读者可以掌握完成一份市场分析报告的基本技能。
第3 章 描述性数据分析方法
该部分是上一章的自然延伸,是大数据背景之下描述类数据分析方法的主要手段。分别针对变量过多和观测样本过多这两个问题,进行变量和观测这两个维度的信息压缩。通过本章的学习,可以完成客户画像、因素分析、客户感知图等较高质量的分析报告。
第4 章 预测性数据分析方法
传统意义上的数据分析建模特指预测性数据分析。在完成本章的学习之后,对于横截面数据分析方法就算结束了。通过本章的学习,可以构造精细的精准营销、流失预警和信用评级等分类模型。
第5 章 时间序列
本章主要介绍两种单变量时间序列分析方法。分别是趋势分解法和基于动态差分方程的ARIMA法。对于非统计学背景的读者,只要学会分析软件提供的图表就可以掌握该分析方法,满足一般的商业指标预测需要。
为方便读者学习, 本书提供了书中实例的源文件下载, 请读者进入经管之家
(http://bbs.pinggu.org/),注册后搜索“CDA 教材源文件”关键词下载相应的源文件。
本书特点
本书作为市场上第一本使用SPSS 和SAS EG 面向商业数据分析的书籍,和其他统计软件图书有
很大的不同,文体结构新颖,案例贴近实际,讲解深入透彻。主要表现在以下几方面:
场景式设置
本书从实际电信、银行等商业案例中进行精心归纳、提炼出各类数据分析的运用场景,方便读者搜寻与实际工作相似的问题。
开创式结构
本书案例中的“解决方案”环节是对问题的思路解说,结合“操作方法”环节中的步 骤让人更容易理解。“原理分析”环节则主要解释所使用代码的工作原理或者详细解释思路。“知识扩 展”环节包括与案例相关的知识点的补充,可拓展读者的视野,同时也有利于理解案例本身的解决思路。
启发式描述
本书注重培养读者解决问题的思路,以最朴实的思维方式结合启发式的描述,帮助读者发现规律、总结规律和运用规律,从而启发读者快速找出问题的解决方法。
学习方法
俗话说打把势全凭架势,像不像,三分样。只有对分析的流程熟悉了,才能实现从模仿到灵活运用的提升。在产品质量管理方面,对流程的掌控是成功的关键,在数据分析当中,流程同样是重中之重。数据分析是一个先后衔接的过程,一个步骤的失误会带来完全错误的结果。一个分析的流程大致包括抽样、数据清洗、数据转换、建模和模型评估这几个步骤。如果抽样中的取数逻辑不正确,就有可能使因果关系倒置,得到完全相反的结论。数据转换方法如果选择不正确,模型就难以得到预期的结果。而且,数据分析是一个反复试错的过程,每一步都要求有详细的记录和操作说明,否则分析人员很可能迷失方向。
学习数据分析最好的方法就是动手做一遍,本书语言通俗但高度凝炼,很少有公式,这会让读者产生麻痹大意的思想,如果不动手做一遍,很难体会到书中表述的思想。本书按照相关商业数据分析主题提供了相应的演练用数据,也同时给出了相关方面的参考资料,供学员学习。
售后服务
本书读者可以在经管之家的“数据挖掘与商业智能(http://bbs.pinggu.org/forum-133-1.html)” 版块就书中的问题进行提问,也欢迎大家就自己遇到的业务问题和大家讨论。同时,也可以向作者发邮件,作者邮箱为guozhen.c@gmail.com。
致谢
本书由经管之家策划,常国珍和赵仁乾负责编写和完成统稿。
丛书从策划到出版,倾注了电子工业出版社计算机图书分社张慧敏、石倩、王静、张童等多位编辑的心血,特在此表示衷心的感谢!
为保证丛书的质量,使其更贴近读者,我们组织了经管之家的多位版主和高级会员参与了本书的预读工作,他们是种法辉、丁亚军、关继杰、殷子涵。感谢各位预读员的辛勤、耐心与细致,使得本丛书能以更加完善的面目与各位读者见面,特别感谢覃智勇圆满地组织了本次预读工作和审校工作。
尽管作者们对书中的案例精益求精,但疏漏仍然在所难免,如果您发现书中的错误或某个案例有更好的解决方案,敬请登录社区网站向作者反馈,我们将尽快在社区中给出回复,且在本书再次印刷时修正。
再次感谢您的支持!

目录

第1 章 数据分析方法概述 1
1.1 数据分析概述 .. 2
1.1.1 数据分析过程 2
1.1.2 数据分析的商业驱动 3
1.2 数据分析与挖掘方法分类介绍 . 5
1.2.1 描述性——无监督的学习 . 7
1.2.2 预测性——有监督的学习 .. 10
1.3 数据分析的方法论 . 12
1.3.1 数据挖掘的项目管理方法论:CRISP-DM 13
1.3.2 数据整理与建模的方法论:SEMMA .. 14
1.3.3 SAS EG 和SPSS 任务菜单编排与SEMMA 之间的关系. 16
第2 章 描述数据特征 .. 19
2.1 认识数据类型 20
2.2 单变量描述统计方法 21
2.2.1 分类变量的描述 21
2.2.2 连续变量的描述 22
2.3 创建频数报表 35
2.4 生成汇总统计量 .. 38
2.5 用汇总表任务生成汇总报表 41
2.6 绘制条形图 . 46
2.7 绘制地图 .. 53
2.8 使用SPSS 进行描述统计 .. 55
2.8.1 频率过程 .. 56
2.8.2 描述过程 .. 57
2.8.3 探索过程 .. 58
2.8.4 P-P 图与Q-Q 图 58
2.9 使用SPSS 绘制统计图形 .. 60
2.9.1 作图方法 .. 60
2.9.2 饼图、柱图与条图 .. 64
2.9.3 线图、高低图和双轴图 70
2.9.4 散点图 73
第3 章 描述性数据分析/挖掘方法 . 75
3.1 客户细分方法介绍 . 76
3.1.1 客户细分的意义 76
3.1.2 根据客户利润贡献进行划分 . 77
3.1.3 根据个人或公司的生命历程进行划分 78
3.1.4 根据客户的产品偏好进行划分 79
3.1.5 根据客户交易/消费行为进行划分 . 80
3.1.6 根据客户的多维行为属性细分 81
3.1.7 展现客户/产品结构的战略细分 .. 81
3.1.8 客户细分:综合运用 . 82
3.2 连续变量间关系探索与变量约减 . 82
3.2.1 多元统计基础 . 82
3.2.2 多元变量压缩的思路 . 87
3.2.3 主成分分析 .. 89
3.2.4 因子分析 . 103
3.2.5 对应分析 . 112
3.2.6 最优尺度分析 .. 119
3.2.7 多维尺度分析 .. 124
3.3 聚类分析 133
3.3.1 基本逻辑 . 134
3.3.2 系统聚类 . 135
3.3.3 快速聚类 . 146
3.3.4 两步聚类 . 155
第4 章 预测性数据分析方法 .. 161
4.1 假设检验概念 . 162
4.1.1 统计推断基本概念 164
4.1.2 变量分布的图形探索 .. 165
4.1.3 均值的置信区间 . 167
4.1.4 假设检验基础 .. 168
4.1.5 T 检验 . 169
4.2 构造对连续变量的预测模型 . 174
4.2.1 方差分析(ANOVA) 174
4.2.2 线性回归 . 190
4.2.3 线性回归的模型诊断 .. 203
4.2.4 线性回归的全流程 211
4.3 构造对二分类变量的预测模型 217
4.3.1 分类变量之间的相关性检验 .. 217
4.3.2 逻辑回归 . 224
第5 章 时间序列 .. 240
5.1 时间序列的趋势分解法 241
5.1.1 趋势分解法简介 . 241
5.2.2 使用SAS EG 进行时间序列趋势分解 .. 242
5.2.3 使用SPSS 进行时间序列趋势分解 244
5.2 平稳时间序列(ARMA)模型设定与识别 . 245
5.2.1 平稳时间序列定义 245
5.2.2 平稳时间序列模型建模 . 246
5.2.3 ARMA 的模型设定与识别 .. 247
5.3 非平稳时间序列(ARIMA)模型设定与识别 .. 250
5.4 SAS EG 时间序列建模步骤 .. 252
5.5 SPSS 时间序列建模步骤 . 258
5.5.1 SPSS 构造ARIMA 模型使用的任务菜单 .. 258
5.5.2 “定义日期”任务 .. 260
5.5.3 “序列图”任务 261
5.5.4 “自相关”任务 262
5.5.5 “创建模型”任务 .. 263
5.5.6 “使用模型”任务 .. 267
5.5.7 其他内容 . 267
附录A 数据说明 .. 271
附录B CDA 数据分析师致力于最好的数据分析人才建设 .. 278
参考文献 282

读者评论

同系列书

相关图书

实用推荐系统

Kim Falk (作者) 李源 朱罡罡 温睿 (译者)

要构建一个实用的“智能”推荐系统,不仅需要有好的算法,还需要了解接收推荐的用户。本书分为两部分,第一部分侧重于基础架构,主要介绍推荐系统的工作原理,展示如何创建...

¥119.00

集成学习:基础与算法

Zhi-Hua Zhou (作者) 李楠 (译者)

集成学习方法是一类先进的机器学习方法,这类方法训练多个学习器并将它们结合起来解决一个问题,在实践中获得了巨大成功。<br>全书分为三部分。第一部分主要介绍集成学...

¥89.00

深度学习核心技术与实践

邓澍军 (作者)

本书主要介绍深度学习的核心算法,以及在计算机视觉、语音识别、自然语言处理中的相关应用。本书的作者们都是业界第一线的深度学习从业者,所以书中所写内容和业界联系紧密...

¥79.00

Java微服务实战

赵计刚 (作者)

本书分为三部分:基础框架篇(1~6章)、服务框架篇(7~10章)、监控部署篇(11~13章),由浅入深来讲解微服务的相关技术。基础框架篇从微服务架构的基本概念与...

¥39.00

深度学习入门之PyTorch

廖星宇 (作者)

深度学习如今已经成为了科技领域最炙手可热的技术,在本书中,我们将帮助你入门深度学习的领域。本书将从人工智能的介绍入手,了解机器学习和深度学习的基础理论,并学习如...

¥49.00

套路!机器学习:北美数据科学家的私房课

林荟 (作者)

数据科学家目前是北美最热门的职业之一,平均年薪突破10万美元。但数据科学并不是一个低门槛的行业,除了对数学、统计、计算机等相关领域的技术要求以外,还要相关应用领...

¥68.00