深入浅出数据分析
  • 推荐1
  • 收藏7
  • 浏览7.8K

深入浅出数据分析

李芳 (作者)  李芳 (译者)

  • 书  号:978-7-121-18477-2
  • 出版日期:2012-11-12
  • 页  数:488
  • 开  本:16(203*235)
  • 出版状态:上市销售
  • 原书名: Head First Data Analysis
  • 原书号:9780596153939
  • 维护人:刘皎
《深入浅出数据分析》以类似“章回小说”的活泼形式,生动地向读者展现优秀的数据分析人员应知应会的技术:数据分析基本步骤、实验方法、最优化方法、假设检验方法、贝叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、相关数据库、数据整理技巧;正文之后,意犹未尽地以三篇附录介绍数据分析十大要务、R工具及ToolPak工具,在充分展现目标知识以外,为读者搭建了走向深入研究的桥梁。
译者序
2010年2月,春节将至,我向博文视点的某个邮箱寄出了一封请求参加翻译任何一本图书的邮件。很快,有人
回信了,内容简单明了:请下载并试译第1章1~17页内容。落款是博文视点编辑徐定翔。于是我试译,寄出,然后
等待。春节过去了,一切都从节日的慵懒中苏醒过来——包括我的试译结果——它来了:通过。合作事项很快商定,
工作就这样开始了。
如今已是2010年8月,稿件已如期交付,按照出版惯例,我可以占用一点篇幅,谈谈这本书。
正如O’Reilly出版社的Head First系列的其他图书那样,本书在语言组织、排版设计方面非常有特色,用“新颖”
二字形容毫不为过,用“周到”二字形容也十分妥当。
其构思跌宕起伏,其行文妙趣横生,无论读者是职场老手,还是业界新人;无论是字斟句酌,还是信手翻阅,
相信都能跟着文字在职场中走上几回,体味数据分析领域的乐趣与挑战。一本技术图书,在传道授业之外,又为读
者送上了章回小说的精彩。
这些设计巧妙的“章回”生动地向读者展现了数据分析基本步骤、实验方法、最优化方法、假设检验方法、贝
叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、相关数据库、数据整理技巧,此后意犹未尽,
又以3篇附录介绍数据分析十大要务、R工具及ToolPak工具,在尽情展现目标知识以外,为读者搭建了走向深入研究
的桥梁。
与我们司空见惯的很多书籍不一样,本书更愿意引导读者进行思考,而不愿向读者灌输现成的条条框框去禁锢
读者的想象空间。在本书点到即止的启发下,读者很有可能跃跃欲试,急不可待地要把目光投向更宽、更深的知识
领域,发掘更多的数据分析知识,以便早日成为数据分析达人。
文章字里行间流露出作者传道授业的热忱,以下仅举两例:
一是设法克服术语的障碍。这一点,英语使用者恐怕比中文使用者体会更深,层出不穷的英语术语甚至让以英
语为母语的读者感到厌倦和头痛,作者深知这一点,于是尽量用浅显的语言表述,解除英语读者的心头之患;至于
中文,感谢祖国语言的优秀特性,倘若作为译者的我没有在这里帮倒忙,术语方面的问题甚至可以忽略不计了(为
方便读者审评,部分术语翻译对照表可在此下载:http://images.china-pub.com/ebook195001-200000/197047/shuyu.pdf)。
二是设法实现理论与实践的转化。理论如何向实践转化,一向是学习者的难题。然而本书精心构思的“章回”
体裁,却让理论知识与实际操作水乳交融,职场气息扑面而来,除了谈分析,作者也谈经济、谈局势、谈心理、谈
做人,涉猎广泛,面面俱到。
能够理解,作者希望这本书成为读者书架上的常备手册,在读者走进数据分析领域之初,或是遇到从业疑难时,
提供力所能及的帮助。我也如此希望。
最后,请容我借本序致谢:
感谢博文视点。
感谢徐定翔编辑对我的信任和指教。
感谢家人对我的理解和支持。
李芳
2010年8月
I
序言
如何使用本书
序言
本节回答一个热门问题:“作者为什么非要把
这些东西写进一本讲数据分析的书里?”
真难以相信,他们竟
把这些东西写进讲数
据分析的书里了。
序言 I
如何使用本书
II 深入浅出数据分析
谁适合阅读本书?
谁该和本书说拜拜?
请先回答几个问题:
请先回答几个问题:
如果以上问题全部回答“对!”——这本书适合你。
只要有一个问题回答“对!”——你与本书无缘。
[营销部捎话——只要有信用卡
就可以买书哦。]
你喜欢笑语喧哗的晚宴甚于枯燥、无聊的学术演讲,对
吗?
3
你想学习、理解和记忆如何创建靓丽的图形、试验假设
条件、进行回归分析或整理混乱的数据,对吗?
2
2 你从未用过Microsoft Excel或OpenOffice calc,对吗?
你觉得,数据中隐含了无穷的智慧,只要有合适的工
具,就能利用这些智慧,对吗?
1
你是一个经验老道的数据分析师,正在调查数据分析
领域最前沿的课题,对吗?
1
你惧怕尝试新事物,宁可上山打虎也不愿标新立异,对
吗?你认为要是用拟人的手法叙述控制组和目标函数,
技术书籍就难免有失严肃,对吗?
3
序言
序言 III
“这怎么能是一本严肃的数据分析图书呢?”
“这些图都是用来干嘛的?”
“我真能这样学数据分析吗?”
你的大脑渴望新事物。大脑总是不停地搜索、探查、等待不同寻常的事
物,它天生如此,这正是你活力的来源。
那么,大脑怎么对待你所碰到的常规、普通、一般的事情呢?——
它会竭尽全力阻止这些事情,以免干扰自己真正的工作——记录重要事
项。大脑不会费力保存这些琐事;这些琐事从来不会成功地闯过“明显
不重要事项”的关卡。
你的大脑如何知道哪件事重要?假想有一天你出门旅行,迎面扑来一
只吊睛白额大虎,你的头脑和身体会有什么反应?
神经元发动……情绪激动……化学物质激增
于是,你的大脑知道——
这事绝对重要!记住!
但,想像你是呆在家里,或者是呆在图书馆里,也就是说,是在一个安
全、温暖、没有老虎的地方。
你正在复习迎考,要不然就是在努力弄明白一些艰深的技术,你的老板
认为花个把星期就能搞定,顶多十天。
唯一的问题是:你的大脑想好好帮你一把,它试图保证不让
这种“明显不重要”的内容去破坏珍稀的资源,这些珍稀的资源
最好用来保存真正“重大”的事情,像老虎啊,像火灾险情啊,
像你绝不该在大学生网站Facebook的网页上贴上那些聚会照片啊。
没有什么便当的办法可以告诉大脑“喂,大脑,我对你感激之至,
可惜啊,不管这本书多无聊,也不管我的情感地动仪如何纹丝不
动,我真的希望你把这些材料都记住。”
我们了解你在想什么
我们了解你的大脑在想什么
你的大脑觉得这很
重要。
你的大脑觉得这
不值一提。
行啊。
才不过490页而已,
这些枯燥、无聊、
烦人的内容。
既然要学习,怎样才能学会呢?首先,你得搞懂, 然后,切勿遗忘;一字一句硬塞不是
办法。根据最新的认知科学、神经生物学及教育心理学研究结果,学习远不仅仅是读书认
字。Head First 知道怎么让你的脑筋动起来。
下面是部分深入浅出(Head First)教学原则:
将知识图形化。图形比单调的文字好记得多,可以提高学习效率(记忆学习
和转移学习的学习效率最多能提高89%);图形还能让知识更容易理解,相
比将文字放在页脚和下一页,将文字放在相关图形当中或图形周围,学习者
成功解决相关问题的可能性将成倍增长。
采用对话式的个性化风格。最近的研究表明,要是回避一本正经的语气,代之以对话般的风
格,以第一人称平易近人地给学生上课,学生的课后测验成绩最多可提高40%。多讲几个故
事,少来一点高谈阔论,语气宜随和。别太郑重其事。想想看,一局笑语喧哗的晚宴和一场
演讲,哪一样更让你惦记?
引导读者深入思考:换句话说,除非读者主动调动自己的神经元,否则脑
袋里不会发生什么大变化。只有激发读者的兴趣,引起读者的好奇,刺激
读者的灵感,读者才能解决问题,得出结论,获得新知识。为此,讲授者
要设计各种难题、练习,提出引人深思的提问,还要多让读者做一些让
左右脑半球和多种感官都动起来的活动。
牢牢吸引读者的注意力。大家都有这样的体验——“我是真想学,但看
完第一页就晕了”。大脑注意的是不同寻常的、有趣的、奇怪的、引人注意的、
出人意料的事情。学习一种新颖艰深的技术不一定非得枯燥不可,如果它不是
这样乏味,大脑会学得更快。
影响读者的情感。现已知道,人的记忆能力在很大程度上取决于要记忆的
内容对情感的影响。我们关心什么,就会记住什么;我们对什么事有感
觉,就会记住什么。这里讲的情感并非天灾人祸给人带来的撕心裂肺的
伤痛情感,而是惊讶、好奇、感觉有趣、想追根究底之类的情感,以及
在猜对一个字谜、在学会别人感觉难以学会的事情或是在意识到自己懂
的东西居然比工程部那位开口闭口“我比你有技术”的张三还多时,油
然而生的“我是老大”的感觉。
我们认为该系列图书的读者都是学习者。
IV 深入浅出数据分析
如何使用本书
序言
序言 V
元认知:对思考的思考
怎样才能让我的大
脑记住这些资料呢?
如果真想学东西,而且想学得更快更深入,就要关注自己如何集中注意
力。要思考自己的思考方式;研究自己的研究方式。
大多数人在成长过程中都不曾学习元认知和学习理论方面的知识。人们
期望我们学知识,但极少有人教我们如何学。
但想象得到,捧着本书的你,的确想学习数据分析知识,同时可能不
想花费太多时间。要想利用在本书中读到的知识,就得记住读过的知识,为
此必须理解这些知识。为了淋漓尽致地发挥本书或任何书本或学习经验的作
用,请管好你的大脑,请管好大脑对待本书的态度。
诀窍在于让大脑把正在学习的新资料当做“正经大事”——对幸福至
关重要的大事,像老虎一样重要的大事。若非如此,你就会陷入一场持久
战:你竭力要记住新知识,大脑却竭力要把这些新知识踢出去。
既然如此,如何让大脑像对待吃人的老虎一样对待数据分析知识呢?
有两种办法,一种缓慢而乏味,一种迅速而有效。慢办法是简单记
忆。你显然明白,只要不停地把同样的东西往大脑里灌,即使是最乏味的知识,也
能学会、记牢。只要重复灌的次数足够多,大脑就会想:“这些东西给他的感觉并不
重要,但他不停地看这些相同的东西,一遍,一遍,再一遍。因此我猜这些东西肯定
很重要。”
快办法是做一切增进大脑活动的事,尤其是不同类型的大脑活动。上一页讲了很
多这样的活动,事实证明,这些活动全都能促使大脑以有利于己的方式工作。例如,
研究表明,将文字放在文字所描述的图片当中(相反的做法是将文字放在页面中的其
他位置,如注释位置或正文位置),会促使大脑努力搞清楚文字和图片之间的关系,
进而发动更多神经元。更多神经元发动 = 更有机会让大脑明白某件事值得注意,可能
还值得记住。
对话式的写作风格对此很有帮助。人们在与人对话时注意力会更集中,原因是别人
期待他们有所表现。令人惊讶的是,大脑不一定会在意“对话”是在人和书之间进行!
反之,要是写作风格了无新意,乏味枯燥,大脑的感觉就和在挤满消极听众的屋子里
听演讲没什么两样:没必要保持清醒。
不过,图形和对话式风格只是起步……
如何使用本书
VI 深入浅出数据分析
我们的做法
我们使用丰富的图片,这是因为,大脑追逐图像,而非文字。在大脑的活动中,一张
图片胜过千言万语。当同时使用图片和文字进行说明时,我们将文字填写在图片当中,当
文字出现在它所描述的事物当中时,大脑的工作更有效率;相反,若将说明性文字放在注
释或其他正文当中,则无此效果。
我们使用反复论述法,即以不同的方式、通过不同的媒介对同一主题进行反复描述,
给读者营造丰富的感受,目的是让这些主题有更多机会印在大脑的多个区域。
我们以出人意料的方式叙述概念和使用图片,因为,大脑追逐新鲜事物;我们在图片
和创意中或多或少加入了一些情感性的内容,因为,大脑关注情感的生物化学反应。让人
有所感触的东西更可能让人记住,即使这点感触不过是一丝幽默、一丝惊讶或一丝兴趣。
我们使用个性化的对话式写作风格,因为,当大脑认为你是在进行对话而不是在消极
地听报告时,就会调整到注意力更集中的状态。即使在读书时,大脑也是这个习惯。
我们安排了80多个活动,因为,相比读书,在做事时,大脑经过调整,能学会和记住
更多东西。我们安排的练习有难度,但不会让人束手无策,这正是大多数人愿意做的练习。
我们使用多种教学风格,因为,有的人可能喜欢一步一步按顺序来,有的人可能喜欢
先看懂大图,还有一些人可能只想看看例子。我们将以多种方式反复讲述相同的主题,不
管读者的个人爱好如何,他们都将因此受益匪浅。
我们安排了让左右脑半球分别负责的内容,因为,大脑开动部位越多,就学得越多,
记得越多,注意力更持久。由于一侧大脑工作往往意味着另一侧大脑得到休息,左右半脑
的分工合作使得长时间学习的学习效率得到提高。
我们还安排了一些场景和练习,在场景中展现不同的观点,因为,当大脑被迫进行评
估和判断时,会调整到深入学习状态。
我们在练习中安排了一些难点,即提出一些无法简单回答的问题。因为,你的大脑在
不得不处理某件事情时,会调整到学习和记忆状态。开动脑筋吧,“光看别人做运动无法
让自己体态健美”。别担心,我们尽力保证,你努力学习的都是该学的,你不会为了对付
一个费解的例子或为了分析一段用词过于晦涩或行文过于简练的段落而多用一个脑细胞。
我们以人物为例,把人物安排在场景、实例、图片等内容中。至于原因嘛,因为你是
人群中的一员啊,你的大脑对人比对事更关注。
序言
序言 VII
我们的工作到此为止,剩下的就看你的了。从下面这
些提示出发,顺从大脑的判断,看看哪些对你有用,哪些
对你没用,尝试一下新事物吧。
6 大量喝水。
充沛的体液会让大脑处于最佳工作状态,脱水(早
在感到口渴前就会发生)则会让认知功能下降。
9 勤加练习!
学会数据分析的唯一办法就是勤加练习,这正是本
书的要求。数据分析是一门技术,精于此道的唯一
办法就是大量实践。本书将给你带来大量实践机
会:每一章中都有一个等待你解决的问题,千万别
跳过这些问题不看——大量学习都发生在解决问题
的过程中。我们为每一个问题提供了答案,要是卡
了壳(有些细微之处很容易给人带来麻烦),别不
敢看!不过,请尽量先解决问题再看答案,务必让
你的办法行之有效,然后才继续看书中的下一部分
内容。
8 找到感觉。
大脑需要知道事情是否重要。让自己融入各种场
景,为照片设想旁注,就连抱怨一个并不好笑的玩
笑,也比什么感觉都没有强。
7 聆听大脑的声音。
留意你的大脑是否超负荷工作。若你发现自己开始
心不在焉,或者刚刚读过的东西转眼忘记,就该休
息。一旦过了某个学习点,哪怕拼命塞,也无法提
高学习效率,反而有可能影响学习。
5 开口大声讨论。
说话会刺激大脑的其他部分。如果你正在努力理解
一些知识,或者正在努力增加以后记住这些知识的
概率,请大声说出这些知识。还有一种更好的做法,
试着向别人大声解释这些知识。你会学得更快,可
能还会发现一些阅读时不曾发现的名堂。
4 请将下面这段话作为最后一段床头阅读文字,或起
码作为最后一段高深的床头阅读文字。
有一部分学习过程(尤其是短暂记忆转变为长期记
忆的过程)发生在放下书本之后,大脑需要有自己
的时间进行更多处理。如果在这段处理时间内学新
东西,将会丢失一些刚学会的东西。
3 阅读“世上没有傻问题”部分。
世上没有傻问题。这些问题并非可看可不看,这是
核心内容的组成部分!请勿忽略。
把这张图剪下来,贴在
冰箱上。
你的任务:征服大脑
2 自己做练习,自己记笔记。
我们安排了练习和笔记,但是,要是我们替你完成,
就像让别人替你锻炼身体一样;只动眼不动手也不
可取,要动动笔。大量证据证明,学习时的身体动
作能提高学习效率。
忌死读。停一停,想一想,碰到书中的提问时,别直
接翻看答案;想象真的有人在问你这个问题。强迫自
己的大脑想得越深,学会、记住的概率就越大。
慢1 慢读。理解的内容越多,要记忆的内容越少。
如何使用本书
VIII 深入浅出数据分析
自述
本书是经验之谈,并非参考书籍,我们故意抽掉了会妨碍讲述书中相关知识的东
西。本书对你已经见识过和学习过的知识作了一些假设,因此第一次通读本书的时候,
需要从头读起。
本书并非软件工具指导书。
许多以“数据分析”为题的图书都是顺着Excel函数表把认为和数据分析有关的部分
一路讲下去,然后针对每个函数给几个实例。但《深入浅出数据分析》讲的是如何成为
数据分析师,尽管你在本书中会学到相当多的软件工具,但它们不过是手段而已,目的
是学习如何进行出色的数据分析。
我们希望你懂得如何使用基本的电子表格公式。
用过电子表格的SUM求和公式吗?要是没用过,你可能先要突击一下才能开始学习
本书。尽管许多章节根本不要求使用电子表格,但其他有此要求的章节却假定你会使用
各种公式。要是熟悉SUM工具,那么你基础不错。
本书超越统计学。
本书充满统计知识,作为数据分析师,你应该尽量多掌握一些统计知识,读完《深
入浅出数据分析》之后,最好再读一读《深入浅出统计学》(Head First Statistics)。不
过,数据分析不仅涵盖统计学,还牵涉许多其他领域,本书中选用的非统计题材主要用
于讲解来源于现实生活的具体、实用的数据分析经验。
活动并非可做可不做。
练习和活动不是点缀,而是本书的核心组成部分。这些练习和活动有的是为了帮助
记忆,有的是为了帮助加深理解,还有的是为了帮助应用所学知识,切勿忽略。
序言
序言 IX
反复论述是刻意而重要的安排。
深入浅出系列图书有一个明显特色:我们希望你真正掌握学到的知识,我们希望
你在看完本书的同时就记住学到的知识。大多数参考书都不把记忆和回忆当做一个目
标,但本书的目标是学会,所以,常常会看到同一概念多次出现。
本书意犹未尽。
我们乐于看到你在书籍合作网站上找到更多实用而有趣的资料,下列网站可为你
提供这些资料:
http://www.headfirstlabs.com/books/hfda/.
“动动脑”练习没有答案。
有一些“动动脑”练习没有标准答案;另有一些练习可以参考“动动脑”活动的
学习经验部分判断自己的答案是否正确,以及在什么情况下会正确。部分“动动脑”
练习给出了提示,为你指明正确方向。
如何使用本书
X 深入浅出数据分析
Eric Heilman,美国乔治敦大学沃尔什外交学院优秀毕业生,国际经济学学位。在哥伦比亚特区读大学期间,
曾在美国国务院和白宫国家经济委员会工作。他在芝加哥大学完成经济学毕业论文,目前在位于美国马里兰州贝塞
斯达(Bethesda)的乔治敦大学预备学校任统计分析和数学教师。
Bill Mietelski,软件工程师,三度担任深入浅出(Head First)技术顾问。他急不可待地想给自己的高尔夫技
术做个数据分析,好在球场上一领风骚。
Anthony Rose,在数据分析领域从业近十年,目前任Support Analytics公司总裁、数据分析及图表顾
问。Anthony拥有财务与管理专业工商管理硕士学位,他对数据分析的热爱由此开始。工作之余,他常常出现在马
里兰州哥伦比亚市的高尔夫球场上,陶醉在好书中,品味着美味的葡萄酒,或者和年幼的女儿们及迷人的妻子一起
消磨时光。
技术顾问:
Bill Mietelski
Tony Rose
Eric Heilman
技术顾问组
技术顾问组
序言
序言 XI
致谢
Brett McLaughlin
我的编辑:
Brian Sawyer,一位不可思议的编辑。和Brian一起工作就像和舞蹈
家共舞,各种各样重要的工作纷至沓来,虽令人不十分理解,看上去却很
不错,让人干得兴高采烈。我们的合作振奋人心,他的支持、反馈和创意
是无价之宝。
O’Reilly团队:
Brett McLaughlin一开始就看到了这个项目的前途,引领项目走
过艰难岁月,始终如一地支持项目。Brett孜孜不倦地强调你对深入浅出
(Head First)书籍的体验,让人备受鼓舞。 他运筹帷幄。
Karen Shaner提供后勤支持,在剑桥寒冷的清晨给我们带来很多快
乐。Brittany Smith贡献了一些非常棒的图形元素,供我们反复使用。
给我启示的睿智者:
本书有大量出色的创意,许多创意在以“数据分析”为题的书籍
中颇不常见,但这些创意很少是我个人的独创。我从Dietrich Doerner、
Gerd Gigerenzer、Richards Heuer、Edward Tufte等超级智星的的作品中汲
取了大量经验。把他们的作品统统读一遍吧!“反查”(anti-resume)这个
创意出自Nassim Taleb的《黑天鹅》(真希望他出第二部,带来更多创意);
Richards Heuer好心地给我回信讨论本书,还给我出了很多有用的主意。
朋友与同事:
感谢Lou Barr为本书提供知识产权、职业道德、逻辑学及美学支
持;Vezen Wu给我讲解关系模型;Aron Edidin在我大学求学期间曾赞助
我学习一门超棒的情报分析课;我的牌友Paul、Brewster、Matt、Jon和
Jason给我上了关于均衡使用启发法和最优化决策法的昂贵一课。
离开这些人我没法活:
技术顾问组工作出色,他们揪出成堆的错误,提出大量建议,给予
我巨大支持。在本书撰写过程中,我对一位心思缜密的统计师——我的
朋友Blair Christian依赖甚深,书中每一页都能看到他的影子。谢谢你
为我做的一切,Blair。
我的家人Michael Sr.、Elizabeth、Sara、Gary和Marie给了我巨
大的支持,尤其要感谢我的妻子Julia的坚定支持,她是我的一切。谢谢
我的全家!
Brian Sawyer
Blair与Niko Christian
Julia Burch

目录

目录
xi
细分目录及各章引子
大脑对待数据分析的态度。一边是你努力想学会一些知识,一边是你
的大脑忙着开小差。你的大脑在想:“最好把位置留给更重要的事,
像该离哪些野生动物远点啊,像光着身子滑雪是不是个坏点子啊。”
既然如此,你该如何引诱你的大脑意识到,懂得数据分析是你安身立
命的根本?
序言
谁适合阅读本书? II
我们了解你在想什么 III
元认知 V
征服大脑 VII
自述 VIII
技术顾问组 X
致谢 XI
总目录
序言 I
1 数据分析引言:分解数据 1
2 实验:检验你的理论 37
3 最优化:寻找最大值 75
4 数据图形化:图形让你更精明 111
5 假设检验:假设并非如此 139
6 贝叶斯统计:穿越第一关 169
7 主观概率:信念数字化 191
8 启发法:凭人类的天性作分析 225
9 直方图:数字的形状 251
10 回归:预测 279
11 误差:合理误差 315
12 相关数据库:你能关联吗? 359
13 整理数据:井然有序 385
附录A 尾声:正文未及的十大要诀 417
附录B 安装R:启动R! 427
附录C 安装Excel分析工具:ToolPak 431
目录
xii
Acme化妆品公司需要你出力 2
首席执行官希望数据分析师帮他提高销量 3
数据分析就是仔细推敲证据 4
确定问题 5
客户将帮助你确定问题 6
Acme公司首席执行官给了你一些反馈 8
把问题和数据分解为更小的组块 9
现在再来看看了解到的情况 10
评估组块 13
分析从你介入的那一刻开始 14
提出建议 15
报告写好了 16
首席执行官欣赏你的工作 17
一则新闻 18
首席执行官确信的观点让你误入歧途 20
你对外界的假设和你确信的观点就是你的心智模型 21
统计模型取决于心智模型 22
心智模型应当包括你不了解的因素 25
首席执行官承认自己有所不知 26
Acme给你发来了一长串原始数据 28
深入挖掘数据 31
泛美批发公司确认了你的印象 32
回顾你的工作 35
你的分析让客户作出了英明的决策 36
1分解数据数据分析引言
数据无处不在。如今,不管是不是自称数据分析师,人人都得处理堆积
如山的数据。熟谙一切数据分析技术方法的分析者会比其他人技高一筹:
他们知道如何处理所有的数据材料,如何将原始数据转变成推进现实工
作的妙策,如何分解和构建复杂的问题和数据集,进而牢牢把握工作中
的各种问题的要害。
确定分解评估决策
目录
xiii
检验你的理论
你能向别人揭示自己坚信的信念吗?正在进行实证检验?做个好实验吧,再
没有什么办法能像一个好实验那样,既能解决问题又能揭示事物的真正运行
规律。一个好实验往往能让你摆脱对观察数据的无限依赖,能帮助你理清因
果联系;可靠的实证数据将让你的分析判断更有说服力。
实验2
咖啡业的寒冬到了! 38
星巴仕董事会将在三个月内召开 39
星巴仕调查表 41
务必使用比较法 42
比较是破解观察数据的法宝 43
价值感是导致销售收入下滑的原因吗? 44
一位典型客户的想法 46
观察分析法充满混杂因素 47
店址可能对分析结果有哪些影响 48
拆分数据块,管理混杂因素 50
情况比预料的更糟! 53
你需要做一个实验,指出哪种策略最有效 54
星巴仕首席执行官已经急不可待 55
星巴仕降价了 56
一个月后…… 57
以控制组为基准 58
避免解雇123 61
让我们重新做一次实验 62
一个月后… 63
实验照样会毁于混杂因素 64
精心选择分组,避免混杂因素 65
随机选择相似组 67
随机访谈 68
准备就绪,开始实验 71
结果在此 72
星巴仕找到了与经验吻合的销售策略 73
经济衰退
其他分店
Starbuzz
SoHo区各分店
人们的钱少了
人们认为星巴仕缺乏价值
星巴仕销量下降
人们依然富有
星巴仕咖啡依然
有价值
星巴仕销量依然
强劲
认真
目录
xiv
现在是浴盆玩具游戏时间 76
你能控制的变量受到约束条件的限制 79
决策变量是你能控制的因素 79
你碰到了一个最优化问题 80
借助目标函数发现目标 81
你的目标函数 82
列出有其他约束条件的产品组合 83
在同一张图形里绘制多种约束条件 84
合理的选择都出现在可行区域里 85
新约束条件改变了可行区域 87
用电子表格实现最优化 90
Solver一气呵成解决最优化问题 94
利润跌穿地板 97
你的模型只是描述了你规定的情况 98
按照分析目标校正假设 99
提防负相关变量 103
新方案立竿见影 108
你的假设立足于不断变化的实际情况 109
3 寻找最大值最优化
有些东西人人都想多多益善。为此我们上下求索。要是能用数字表示我
们不断追求的东西——利润、钱、效率、速度等,实现更高目标的机会
就在眼前。有一种数据分析工具能够帮助我们调整决策变量,找出解决
方案和优化点,使我们最大限度地达到目标。本章将使用这样一种工具,
并通过强大的电子表格软件包Solver来实现这个工具。
0
100
200
300
400
500
100 200 300 400 500
Ducks
Fish



橡皮鱼
目录
xv
0 10 20 30 40
0 40 80
Home Page #1
TimeOnSite
Revenue
0 20 40 60 80
0 40 80
Home Page #1
Pageviews
Revenue
0 5 10 20 30
0 40 80
Home Page #1
ReturnVisits
Revenue
0 10 20 30 40
0 40 80
Home Page #2
TimeOnSite
Revenue
0 20 40 60 80
0 40 80
Home Page #2
Pageviews
Revenue
0 5 10 20 30
0 40 80
Home Page #2
ReturnVisits
Revenue
0 10 20 30 40
0 40 80
Home Page #3
TimeOnSite
Revenue
0 20 40 60 80
0 40 80
Home Page #3
Pageviews
Revenue
0 5 10 20 30
0 40 80
Home Page #3
ReturnVisits
Revenue
图形让你更精明
数据表远非你所需。你的数据庞杂晦涩,各种变量让你目不暇接,应付堆积
如山的电子表格不只令人厌倦不堪,而且确实浪费时间。相反,与仅仅使用
电子表格不同,一幅用纸不多、栩栩如生的清晰图像,却能让你摆脱“一叶
障目,不见泰山”的烦恼。
数据图形化4
新军队需要优化网站 112
结果面世,信息设计师出局 113
前一位信息设计师提交的三份信息图 114
这些图形隐含哪些数据? 115
体现数据! 116
这是前一位设计师主动提供的意见 117
数据太多绝不会成为你的问题 118
让数据变美观也不是你要解决的问题 119
数据图形化的根本在于正确比较 120
你的图形已经比打入冷宫的图形更有用 123
使用散点图探索原因 124
最优秀的图形都是多元图形 125
同时展示多张图形,体现更多变量 126
图形很棒,但网站掌门人仍不满意 130
优秀的图形设计有助于思考的原因 131
实验设计师出声了 132
实验设计师们有自己的假设 135
客户欣赏你的工作 136
订单从四面八方滚滚而来! 137
主页1
浏览时间页面浏览次数回头率



主页1 主页1
主页2 主页2 主页2
主页3 主页3 主页3
























浏览时间页面浏览次数回头率
浏览时间页面浏览次数回头率
目录
xvi
给我来块“皮肤”…… 140
我们何时开始生产新手机皮肤? 141
PodPhone不希望别人看透他们的下一步行动 142
我们得知的全部信息 143
电肤的分析与数据相符吗? 144
电肤得到了机密《战略备忘录》 145
变量之间可以正相关,也可以负相关 146
现实世界中的各种原因呈网络关系,而非线性关系 149
假设几个PodPhone备选方案 150
用手头的资料进行假设检验 151
假设检验的核心是证伪 152
借助诊断性找出否定性最小的假设 160
无法一一剔除所有假设,但可以判定哪个假设最强 163
你刚刚收到一条图片短信…… 164
即将上市! 167
5 假设并非如此假设检验
世事纷纭,真假难辨。人们需要用庞杂多变的数据预测未来,然而免不了
剪不断,理还乱。正因如此,分析师不会简单听信浮于表面的解释,也不
会想当然地认可这些解释的真实性:通过数据分析的仔细推理,分析师能
够异常细致地评估大量备选答案,然后将手头的一切信息整合到各种模
型中。接下来要学的证伪法即是一种切实有效的非直觉方法。
目录
xvii
*咳,咳*
穿越第一关
数据收集工作永不停息。必须确保每一个分析过程都充分利用所搜集到的与
问题有关的数据。虽说你已学会了证伪法,处理异质数据源不在话下,可要
是碰到直接概率问题该怎么办?这就要讲到一个极其方便的分析工具,叫做
贝叶斯规则,这个规则能帮助你利用基础概率和波动数据做到明察秋毫。
贝叶斯统计6
医生带来恼人的消息 170
让我们逐条细读正确性分析 173
蜥蜴流感到底有多普遍? 174
你计算的是假阳性 175
这些术语说的都是条件概率 176
你需要算算 177
1%的人患蜥蜴流感 178
你患蜥蜴流感的几率仍然非常低 181
用简单的整数思考复杂的概率 182
搜集到新数据后,用贝叶斯规则处理基础概率 182
贝叶斯规则可以反复使用 183
第二次试验结果:阴性 184
新试验的正确性统计值有变化 185
新信息会改变你的基础概率 186
放心多了! 189
目录
xviii
7
背水投资公司需要你效力 192
分析师们相互叫阵 193
主观概率体现专家信念 198
主观概率可能表明:根本不存在真正的分歧 199
分析师们答复的主观概率 201
首席执行官不明白你在忙些什么 202
首席执行官欣赏你的工作 207
标准偏差量度分析点与平均值的偏差 208
这条新闻让你措手不及 213
贝叶斯规则是修正主观概率的好办法 217
首席执行官完全知道该怎么处理这条新信息了 223
俄罗斯股民欢欣鼓舞! 224
信念数字化
主观概率
虚拟数据未尝不可。真的。不过,这些数字必须描述你的心智状态,表
明你的信念。主观概率就是这样一种将严谨融入直觉的简便办法,具体
做法马上介绍。随着讲解的进行,你将学会如何利用标准偏差评估数据
分布,前面学过的一个更强大的分析工具也会再次登台亮相。
让我们祈求股
市上涨吧!
今天俄






出售油田消息
时间
第一次主观概率分析
?
目录
xix
8 凭人类的天性做分析
现实世界的风云变幻让分析师难以料事如神。总有一些数据可望不可及,即
使有所能及,最优化方法也往往艰深耗时。所幸,生活中的大部分实际思维
活动并非以最理性的方式展开,而是利用既不齐全也不确定的信息,凭经验
进行处理,迅速做出决策。奇就奇在这些经验确实能够奏效,因此也是进行
数据分析的重要而必要的工具。
启发法
邋遢集向市议会提交了报告 226
邋遢集确实把镇上打扫得干干净净 227
邋遢集已经计量了自己的工作效果 228
他们的任务是减少散乱垃圾量 229
计量垃圾量不可行 230
问题刁钻,回答简单 231
数据邦市的散乱垃圾结构复杂 232
无法建立和运用统一的散乱垃圾计量模型 233
启发法是从直觉走向最优化的桥梁 236
使用快省树 239
是否有更简单的方法评估邋遢集的成就? 240
固定模式都具有启发性 244
分析完毕,准备提交 246
看来你的分析打动了市议会的议员们 249
目录
xx
员工年度考评即将到来 252
伸手要钱形式多样 254
这是历年加薪记录 255
直方图体现每组数据的发生频数 262
直方图不同区间之间的缺口即数据点之间的缺口 263
安装并运行R 264
将数据加载到R程序 265
R创建了美观的直方图 266
用数据的子集绘制直方图 271
加薪谈判有回报 276
谈判要求加薪对你意味着什么? 277
9 数字的形状直方图
直方图能说明什么?数据的图形表示方法不计其数,直方图是其中出类
拔萃的一种。直方图与柱状图有些相似,能迅速而有效地汇总数据。接
下来你将用这种小巧而实用的图形量度数据的分布、差异、集中趋势等。
无论数据集多么庞大,只要画一张直方图,就能“看出”数据中的奥妙。
让我们在本章中用一个新颖、免费、无所不能的软件工具绘制直方图。
提加薪要求
不提加薪要求
目录
xxi
预测
洞悉一切,未卜先知。回归分析法力无边,只要使用得法,就能帮助你预测
某些结果值。若与控制实验同时使用,回归分析还能预测未来。商家狂热地
运用回归分析帮助自己建立模型,预测客户行为。本章即将让你看到,明智
地使用回归分析,确实能够带来巨大效益。
回归10
你打算怎么花这些钱? 280
以获取大幅度加薪为目的进行分析 283
稍等片刻……加薪计算器! 284
这个算法的玄机在于预测加薪幅度 286
用散点图比较两种变量 292
直线能为客户指明目标 294
使用平均值图形预测每个区间内的数值 297
回归线预测出人们的实际加薪幅度 298
回归线对于具有线性相关特点的数据很有用 300
你需要用一个等式进行精确预测 304
让R创建一个回归对象 306
回归方程与散点图密切相关 309
加薪计算器的算法正是回归方程 310
你的加薪计算器没有照计划行事…… 313
加薪
要求
?
目录
xxii
5 10 15 20
0 5 10 15 20 25
Payoffs for negotiators
Requested
Received
客户大为恼火 316
你的加薪预测算法做了什么? 317
客户组成 318
要求加薪25%的家伙不在模型范围内 321
如何对待想对数据范围以外的情况进行预测的客户 322
由于使用外插法而惨遭解雇的家伙冷静下来了 327
你只解决了部分问题 328
扭曲的加薪结果数据看起来是什么样子? 329
机会误差=实际结果与模型预测结果之间的偏差 330
误差对你和客户都有好处 334
机会误差访谈 335
定量地指定误差 336
用均方根误差定量表示残差分布 337
R模型知道存在均方根误差 338
R的线性模型汇总展示了均方根误差 340
分割的根本目的是管理误差 346
优秀的回归分析兼具解释功能和预测功能 350
相比原来的模型,分区模型能更好地处理误差 352
你的客户纷纷回头 357
11合理误差误差
世界错综复杂。预测有失精准并不稀奇。不过,如果在进行预测的时候
指出误差范围,你和你的客户就不仅能知道平均预测值,还能知道该误
差造成的典型偏差,指出误差可以让预测和信念更全面。通过本章讲授
的工具,你还会懂得如何控制误差及如何尽量降低误差,从而提高预测
可信度。
加薪谈判结果
要求加薪




目录
xxiii
《数据邦新闻》希望分析销量 360
这是他们保存的运营跟踪数据 361
你需要知道数据表之间的相互关系 362
数据库就是一系列相互有特定关系的数据 365
找到一条贯穿各种关系的路线,以便进行必要的比较 366
创建一份穿过这条路径的电子表格 366
通过汇总将文章数目和销量关联起来 371
看来你的散点图确实画得很好 374
复制并粘贴所有这些数据是件痛苦的事 375
用关系数据库管理关系 376
《数据邦新闻》利用你的关系图建立了一个RDBMS 377
《数据邦新闻》用SQL提取数据 379
RDBMS数据可以进行无穷无尽的比较 382
你上了封面 383
12 你能关联吗? 关系数据库
如何组织变化多端的多变量数据?一张电子数据表只有两维数据:行和
列。如果你的数据包括许多方面,则表格格式很快就会过时。在本章,
你会看出电子表格很难管理多变量数据,还能看到关系数据库管理系统
让多变量数据的存储和检索变得极其简单。
目录
xxiv
使用经过打理的
数据
5
My Data
整理和重新构建
4
Clean
Re-structure
识别数据中重复出现
的模式
3
Original
保存原始数据
1
Original My Copy
直观显示最终数
据集
2
My Data Original
刚从停业的竞争对手那儿搞到一份客户名单 386
数据分析不可告人的秘密 387
Head First猎头公司想为自己的销售团队搞到这份名单 388
清理混乱数据的根本在于准备 392
一旦组织好数据,就能修复数据 393
将#号作为分隔符 394
Excel通过分隔符将数据分成多个列 395
用SUBSTITUTE替换“^”字符 399
所有的“姓”都整理好了 400
用SUBSTITUTE替换名字模式太麻烦了 402
用嵌套文本公式处理复杂的模式 403
R能用正则表达式处理复杂的数据模式 404
用sub指令整理“名” 406
现在可以向客户交货了 407
可能尚未大功告成…… 408
为数据排序,让重复数值集中出现 409
这些数据有可能来源于某个关系数据库 412
删除重复名字 413
你创建了美观、整洁、具有唯一性的记录 414
Head First猎头公司正在一网打尽各种人才! 415
再见…… 416
13 井然有序整理数据
乱糟糟的数据毫无用处。许多数据搜集者需要花大量时间整理数据。不
整齐的数据无法进行分割、无法套用公式,甚至无法阅读,被人们视而
不见也是常事,对不对?其实,你可以做得更好。只要眼前清楚地浮现
出希望看到的数据外观,再用上一些文本处理工具,就能抽丝剥茧地整
理数据,化腐朽为神奇。
目录
xxv
正文未及的十大要诀
你已颇有收获。但数据分析这门技术不断变迁,学之不尽。由于本书篇幅有
限,尚有一些密切相关的知识未予介绍,我们将在本附录中浏览十大知识点。
附录A 尾声i
其一:统计知识大全 418
其二:Excel技巧 419
其三:耶鲁大学教授Edward Tufte(爱德华·塔夫特)的图形原则 420
其四:数据透视表 421
其五:R社区 422
其六:非线性与多元回归 423
其七:原假设-备择假设检验 424
其八:随机性 424
其九:Google Docs 425
其十:你的专业技能 426
目录
xxvi
R起步 428
ii 启动R! 附录B 安装R
强大的数据分析功能靠的是复杂的内部机制。好在只需几分钟就能安装
和启动R,本附录将介绍如何不费吹灰之力安装R。
目录
xxvii
ToolPak
Excel有一些最好的功能在默认情况下并不安装。为了执行第3章的优化和第
9章的直方图,需要激活Solver和Analysis ToolPak,Excel在默认情况下安
装了这两种扩展插件,但若非用户主动操作,这些插件不会被激活。
附录C 安装Excel分析工具iii
在Excel中安装数据分析工具 432

读者评论

  • 第177页,P(L|+) 表述与前面的P(+|L)不一致,建议纠正

    2011星光发表于 2021/8/5 6:24:00
  • 建议对比英文原版一起看。

    Bena0606发表于 2020/12/19 19:50:09
  • 运行 R 尝试加载 source(”http://headfirstlabs.com/books/hfda/hfad.R") 总是报错,

    滴水_li发表于 2020/6/22 16:56:57
    • 俺也一样

      LIONKK发表于 2020/7/2 0:06:29
    • 怎么解决

      sunny发表于 2021/1/13 17:48:43
    • 一样一样…

      YYYSK发表于 2021/12/26 17:28:14
  • Excel中安装的数据分析工具按照附录中提供的方法,路径中没有找到analysis toolpak和solver两个插件啊。求详细安装方法,感谢

    lylydia发表于 2020/6/20 17:06:18
  • 第四章P133第一问应为“网页加载快是主页3表现最佳的原因么”。。为什么这都能翻译错。。

    gemmalmh发表于 2018/10/25 12:05:51
    • 是的,我也发现存在这个错误,问得莫名其妙。

      mongirl发表于 2019/8/31 21:09:17

相关博文

推荐用户