企业数据分析流程与高级分析模型

陈晓猛

2020-07-16

随着移动互联网的快速发展,大数据技术变得越来越成熟,正在改变着人们的工作、生活与思维模式,进而对文化、技术等产生深远的影响。本文选自《数据决策:企业数据的管理、分析与应用》一书,文末可了解本书详情。


在正式介绍企业数据分析流程及高级分析之前,首先介绍一些企业里常见的数据职位,以及每个职位的人在企业中承担的责任。业务分析师(Business Analysis,BA):这类人需要了解行业,快速理解业务痛点,能够进行基础的统计数据分析类工作(某些高级一点的职位需要熟练的SQL技能)。他们通常掌握一些基础数据处理分析技能,能够做商业洞察分析类报告。高级统计分析建模师:一般数据科学家会拥有高级统计分析建模经验,熟悉一些统计或者机器学习算法,能够通过编程实现一些模型分析应用项目。高级统计分析建模师需要熟悉一些工作中用到的算法,如非监督学习、监督学习及聚类等。

数据分析流程

在企业中,经营的方方面面都需要数据分析。互联网公司由于业务变化快,需要实时且持续地通过数据分析,发现企业业务存在的问题,并提出改进的方法,帮助企业解决相应的业务问题。
企业数据分析一般需要以下几个步骤。

• 确定商业目标。

• 确定解决该问题所需要的数据、技术、能力。

• 确定用基本业务分析模型,还是用高级分析模型。

• 数据分析,包括数据准备、数据预处理、数据建模、分析数据并得出结果。

• 数据分析结果汇报。

• 解释结果,提出应用方案。其中,确定清晰的商业及业务问题,并和相关业务关键人员达成共识,是数据分析类项目成功的关键。接下来的部分属于企业中数据科学家建模、执行的环节。

高级分析

下面介绍在日常工作中常用的高级分析模型—机器学习算法模型。①监督学习:包含的算法有逻辑回归、贝叶斯法、决策树、SVM(支持向量机)。②非监督学习:包含的算法有kNN(邻近算法)、PCA(主成分分析)、K-means(K均值聚类算法)。下面重点看一下监督学习是如何工作的。

这是一个监督学习模型。企业采集相关数据,并将数据转化为特征向量,通过相应的机器学习模型(这里是监督模型)对特征向量进行训练,最终进行分类预测,得到期望的类型标签。企业中高级统计分析建模的工作,需要有专门的数据科学家来协助定义问题、建模并将结果进行呈现。一个合格的数据科学家需要哪些核心能力呢?

数据科学家需要具备的能力

要成为数据科学家,需要掌握的核心能力包括数理知识(含传统研究)、业务能力(行业领域经验)、黑客能力(在数据领域工作,尤其是数据科学家,需要通过寻找变量之间的各类关系,不断进行假设、验证,喜欢与数据打交道,能够热衷于研究数据,所以需要黑客的探索精神)等。

数据科学家需要具备的能力由此可见,数据科学家需要具备比较综合的跨学科的素质。在具体实践中,不同的算法有不同的优缺点,也有各自适应的场景。当面对不同的问题时,应该选择不同的算法模型。然而,在什么情况下选择什么算法模型,该从什么角度去思考这个问题,是值得每一位初学者深思的问题。

图书详情

《数据决策:企业数据的管理、分析与应用》

顾生宝 著

本书是作者十年数据领域实践经验的总结,系统介绍了企业的数据战略规划和企业内外部数据的应用,并在此基础上介绍了零售、快速消费品、汽车、航空、保险等行业的实战案例及作者的思考。

本书通过与企业数据相关的理论体系、行业案例、业务领域热点等,全面介绍了不同行业的企业中数据的管理、分析与应用,对企业未来的数字化转型也做了简要介绍。相信不同类型的读者都能够从本书中获得自己想要了解的部分。本书实战案例丰富,适合想在企业中更好地利用数据的企业主、管理层、业务负责人阅读,也适合从事数据和 AI相关工作,关注数据和 AI在产业中应用的读者阅读。

▼扫码了解本书详情▼

读者评论

相关博文

  • 社区使用反馈专区

    陈晓猛 2016-10-04

    尊敬的博文视点用户您好: 欢迎您访问本站,您在本站点访问过程中遇到任何问题,均可以在本页留言,我们会根据您的意见和建议,对网站进行不断的优化和改进,给您带来更好的访问体验! 同时,您被采纳的意见和建议,管理员也会赠送您相应的积分...

    陈晓猛 2016-10-04
    4021 649 3 6
  • 迎战“双12”!《Unity3D实战核心技术详解》独家预售开启!

    陈晓猛 2016-12-05

    时隔一周,让大家时刻挂念的《Unity3D实战核心技术详解》终于开放预售啦! 这本书不仅满足了很多年轻人的学习欲望,并且与实际开发相结合,能够解决工作中真实遇到的问题。预售期间优惠多多,实在不容错过! Unity 3D实战核心技术详解 ...

    陈晓猛 2016-12-05
    2512 35 0 1
  • czk 2017-07-29
    3653 26 0 1