数据中台建设与应用之路-图书

推荐0
收藏0
浏览98

数据中台建设与应用之路

书　　号：978-7-121-41665-1
出版日期：2021-08-27
页　　数：248
开　　本：16(170*240)
出版状态：上市销售
维护人：石悦

纸质版￥69.00

本书共13 章，汇集了7 位作者（来自各大互联网企业）的知识总结和经验分享。本书借助老汤姆、小风、阿北、小诺在某电商企业数据部门工作的故事，通过大量案例深入浅出地介绍了数据中台建设与应用之路。本书以Why-What-How 的思路展开，从0 到1 介绍知识点，并重点讲述How 的过程，同时结合某个场景下的具体案例，以使读者更好地理解实操过程。
每个企业都会面临各种各样的数据问题，有数据质量的问题、数据获取效率的问题、数据应用价值的问题等。本书首先介绍数据中台的建设，确保数据的质量，为企业的数据质量体系建设提供坚实的基础；然后，进行偏向深入业务的分析探索，介绍如何从数据分析角度更好地赋能业务发展；最后，介绍数据应用，解决数据获取效率的问题，并把一些分析思路和业务策略沉淀为数据产品，从而更好地将数据应用于业务。本书结合各大互联网企业的实际项目案例，让读者真正掌握数据产品经理这个新兴职业的必备技能和核心能力。

以讲故事的形式讲述数据产品经理的日常工作

为什么写本书
我在写完《数据产品经理修炼手册：从零基础到大数据产品实践》后，一直想对它进行迭代和升级。数据产品经理是一个新兴的职业，其知识体系在几年之后或多或少会有一些变化，但是由于我工作繁忙，很难抽出时间来专注地打磨，因此这个想法
就被搁置了。
公众号“一个数据人的自留地”的不断壮大和发展让我有了一个契机。随着更多的数据人加入该公众号的创作者队伍中，我们成立了创作者联盟。创作者联盟是一个由一群爱分享的人组成的联盟，其成员都是来自各大互联网企业的数据人，有数据产品负责人、数据分析师，还有算法工程师等。突然有一天，我就在想，是不是可以组织创作者联盟的成员一起为数据行业贡献一本好书，这样也能进一步迭代《数据产品经理修炼手册：从零基础到大数据产品实践》的体系。我的这个想法和创作者联盟的6 位成员的想法不谋而合，就这样，我组建了一个写书小分队。
然而，组织多人写书会面临很多问题：每个人的写作风格不同、工作节奏不同、写作思路不同。如何协调好多人协同完成一本书的写作是我在这个过程中面临的最大挑战。为了统一大家的写作风格，我们构建了本书的故事背景，并用讲故事的方式把整本书串联起来。大家的写作思路不同，我们就一起讨论，最终决定以方法论结合实例的方式把“干货”呈现给读者。无论是在内容上，还是在时间上，写本书都比预期要难得多。为了保证本书内容的质量，每位作者在写完自己负责的那部分内容后都要进行交叉阅读，并给予反馈，同时改进本书的内容。
经历一年的打磨，本书终于和大家见面了。我深知写一本能够让所有读者都满意的书是不可能的，如果读者在阅读过程中有问题和想法，那么请读者给予我们反馈。
本书的结构和内容
本书是用讲故事的方法来讲述的，在电商企业的故事背景下，老汤姆、小风、阿北、小诺等人物的经历串联了本书。本书从困扰数据人的三大数据问题出发，从数据中台、数据分析、数据应用3 个方面分别阐述如何建设数据和应用数据。数据中台篇讲述了通过开发一系列数据工具（元数据中心、数据指标中心、数仓模型中心、数据资产中心、数据服务中心），来解决企业在发展过程中，由于数据的激增与业务的扩大而出现的统计口径不一致、重复开发、指标开发需求响应慢、数据质量低、数据成本高等问题，从而规范数据供应链的各个环节，以一种标准的、安全的、统一的、共享的、服务化的方式支撑前端的数据应用。
数据分析篇从宏观（业务和数据）、中观（工作内容和合作）和微观（3 种分析场景实操）3 个维度介绍与数据分析相关的知识点，旨在帮读者建立系统的能力模型，
为做好业务分析、培养专业素养打好基础。数据应用篇主要介绍数据应用层的建设，即数据在业务中的实际应用，包括BI系统的建设、标签体系和用户画像的建设、电商反作弊和个性化推荐的应用，帮助企业实现降本提效的商业目标。
编写分工
本书主要由7 位作者参与撰写，具体的编写分工如下：第1 章由梁旭鹏编写，第2～6 章由林泽丰编写，第7 章和第8 章由许秋贵编写，第9 章由黄为伟、陈勃编写，第10 章由陈丽媛编写，第11～13 章由陈斌编写。
致谢
非常感谢和我一起合作的创作者在百忙之中抽出时间，无私地把自己的工作经验分享出来，并一遍遍地打磨本书。同时，感谢王开碧、艾华丰，以及公众号“一个数据人的自留地”创作者联盟的成员，他们对本书提出了宝贵的意见。感谢电子工业出版社的石悦编辑，他在与我完成《数据产品经理修炼手册：从零基础到大数据产品实践》的出版后，又支持我们完成了本书的编写，对本书的结构和写作提出很多宝贵的意见。
感谢“一个数据人的自留地”公众号的所有读者，他们的关注让针对数据人的写作和分享这条路越走越远。
随着5G 的普及，我们会逐步进入物联网时代。区别于现在的移动互联网，物联网可以实现万物互联，数据量将远远超过以往的任何时候，数据的价值也会被无限放大，未来是数据人最好的时代。人生是一场长跑，希望本书能够陪伴各位读者成长。

第1 章那些困扰我们的数据问题 ??????????????????????????????????????????????????????????1
1.1 数据质量的问题 ....................................................................................... 1
1.2 数据获取效率的问题 ............................................................................... 5
1.3 数据应用价值的问题 ............................................................................... 8
数据中台篇
第2 章元数据中心 ?????????????????????????????????????????????????????????????????????????? 15
2.1 元数据中心概述 ..................................................................................... 16
2.2 元数据中心的核心功能 ......................................................................... 17
2.2.1 数据整合 ..................................................................................... 17
2.2.2 数据管理 ..................................................................................... 19
2.2.3 数据地图 ..................................................................................... 25
第3 章数据指标中心 ??????????????????????????????????????????????????????????????????????? 29
3.1 数据指标中心概述 ................................................................................. 30
3.2 数据指标中心的设计思路 ..................................................................... 30
3.2.1 定义指标并将其归集到对应的主题域 ....................................... 30
3.2.2 拆分原子指标与派生指标 .......................................................... 31
3.2.3 定义原子指标与派生指标的生产逻辑 ....................................... 32
3.2.4 通过指标管理平台对指标进行规范生产 ................................... 33
第4 章数仓模型中心 ??????????????????????????????????????????????????????????????????????? 37
4.1 数仓模型中心概述 ................................................................................. 38
4.2 数仓模型中心的设计思路 ..................................................................... 39
4.2.1 控制数据源 ................................................................................. 39
4.2.2 划分主题域 ................................................................................. 39
4.2.3 构建一致性维度 ......................................................................... 41
4.2.4 构建总线矩阵 ............................................................................. 42
4.2.5 数仓分层建设 ............................................................................. 42
4.2.6 数仓效果评估 ............................................................................. 43
第5 章数据资产中心 ??????????????????????????????????????????????????????????????????????? 47
5.1 数据资产中心概述 ................................................................................. 48
5.2 数据资产中心的治理流程 ..................................................................... 49
5.2.1 数据资产定级 ............................................................................. 49
5.2.2 数据资产质量治理 ..................................................................... 52
5.2.3 数据资产成本治理 ..................................................................... 56
第6 章数据服务中心 ??????????????????????????????????????????????????????????????????????? 61
6.1 数据服务中心概述 ................................................................................. 62
6.2 数据服务中心的设计思路 ..................................................................... 62
6.2.1 将数据写入查询库 ..................................................................... 62
6.2.2 搭建元数据模型 ......................................................................... 63
6.2.3 按主题归类 ................................................................................. 65
6.2.4 缓存优化 ..................................................................................... 65
6.2.5 数据接口化 ................................................................................. 67
6.2.6 构建API 集市 ............................................................................. 68
6.2.7 统一数据服务 ............................................................................. 68
数据分析篇
第7 章数据分析理论 ??????????????????????????????????????????????????????????????????????? 73
7.1 业务和数据 ............................................................................................ 73
7.1.1 业务和数据的闭环 ..................................................................... 74
7.1.2 不同岗位的职责边界与合作 ...................................................... 75
7.1.3 数据、信息和知识 ..................................................................... 75
7.1.4 业务策略的闭环 ......................................................................... 77
7.1.5 人人都会数据分析的趋势 .......................................................... 78
7.2 数据分析师的全貌 ................................................................................. 79
7.2.1 数据分析的定义与流程 .............................................................. 79
7.2.2 数据分析的3 种场景 .................................................................. 82
7.2.3 数据分析师的核心能力 .............................................................. 84
7.2.4 数据分析师的职业素养 .............................................................. 85
7.2.5 数据分析师的工作内容 .............................................................. 86
7.2.6 数据分析师的考核 ..................................................................... 86
7.3 数据分析团队的组织架构及其对应的工作模式 ................................... 88
7.3.1 数据分析团队的组织架构 .......................................................... 88
7.3.2 不同组织架构的工作模式 .......................................................... 89
7.4 数据分析师的工作方式 ......................................................................... 90
7.4.1 工作象限图 ................................................................................. 91
7.4.2 1+N 的工作内容 ......................................................................... 91
7.4.3 与业务方的合作模式 .................................................................. 92
7.4.4 有关工作方式常见问题的解法思考 ........................................... 94
第8 章数据分析实操 ??????????????????????????????????????????????????????????????????????? 97
8.1 预测性分析 ............................................................................................ 97
8.1.1 预测性分析的目的 ..................................................................... 98
8.1.2 分析思路与方法 ......................................................................... 99
8.1.3 预测性分析案例 ......................................................................... 99
8.2 描述性分析 .......................................................................................... 101
8.2.1 描述性分析的目的 ................................................................... 101
8.2.2 分析思路与方法 ....................................................................... 102
8.2.3 描述性分析案例 ....................................................................... 103
8.3 诊断性分析 .......................................................................................... 104
8.3.1 诊断性分析的目的 ................................................................... 105
8.3.2 分析思路与方法 ....................................................................... 105
8.4 数据分析报告 ...................................................................................... 110
8.4.1 数据分析报告的定位 ................................................................ 110
8.4.2 预测性分析报告的结构 ............................................................ 111
8.4.3 描述性分析报告的结构 ............................................................ 111
8.4.4 诊断性分析报告的结构 ............................................................ 112
数据应用篇
第9 章 BI 系统 ??????????????????????????????????????????????????????????????????????????????? 117
9.1 让人头疼的看板需求 ........................................................................... 117
9.2 BI 系统介绍 ......................................................................................... 119
9.2.1 什么是BI 系统 ......................................................................... 119
9.2.2 BI 系统有哪些 .......................................................................... 119
9.2.3 BI 系统的相关人员................................................................... 120
9.2.4 BI 系统的特点 .......................................................................... 121
9.3 BI 系统的关键技术 .............................................................................. 122
9.4 BI 系统实践 ......................................................................................... 124
9.4.1 数据接入 ................................................................................... 125
9.4.2 数据集加工 ............................................................................... 127
9.4.3 数据集权限控制 ....................................................................... 129
9.4.4 可视化报表配置 ....................................................................... 130
9.4.5 可视化结果展示 ....................................................................... 136
9.4.6 数据分析OLAP ........................................................................ 137
9.4.7 如何衡量BI 系统是否成功 ...................................................... 142
第10 章用户画像 ?????????????????????????????????????????????????????????????????????????? 143
10.1 用户画像的全貌 ................................................................................. 143
10.1.1 初识用户画像 ......................................................................... 144
10.1.2 基本概念 ................................................................................. 145
10.1.3 用户画像体系建设 .................................................................. 146
10.1.4 人员配合流程 ......................................................................... 149
10.2 用户画像的需求 ................................................................................. 150
10.2.1 对内需求盘点 ......................................................................... 151
10.2.2 对外竞品调研 ......................................................................... 156
10.3 用户画像的规划 ................................................................................. 158
10.3.1 用户画像的业务架构 .............................................................. 158
10.3.2 用户画像的产品架构 .............................................................. 159
10.3.3 用户画像的版本计划 .............................................................. 162
10.3.4 用户画像的项目执行计划 ...................................................... 163
10.4 用户ID 体系 ...................................................................................... 164
10.4.1 方法 ........................................................................................ 164
10.4.2 实施过程 ................................................................................. 166
10.5 标签体系 ............................................................................................ 167
10.5.1 标签分类 ................................................................................. 168
10.5.2 标签分级 ................................................................................. 175
10.6 用户画像系统..................................................................................... 177
10.6.1 概述 ........................................................................................ 177
10.6.2 首页 ........................................................................................ 178
10.6.3 洞察 ........................................................................................ 179
10.6.4 标签广场 ................................................................................. 180
10.6.5 人群 ........................................................................................ 181
10.6.6 系统管理 ................................................................................. 183
10.6.7 总结 ........................................................................................ 183
10.7 用户画像的应用 ................................................................................. 183
第11 章电商反作弊体系 ????????????????????????????????????????????????????????????????? 189
11.1 “网络黑产”的现状 ......................................................................... 189
11.1.1 “网络黑产薅羊毛”事件 ...................................................... 189
11.1.2 “网络黑产”的类型 .............................................................. 190
11.1.3 电商“薅羊毛”场景 .............................................................. 191
11.1.4 “网络黑产”的发展趋势 ...................................................... 192
11.1.5 “网络黑产”的作弊工具 ...................................................... 192
11.2 “网络黑产”的防控方案 .................................................................. 194
11.2.1 活动的损失评估...................................................................... 194
11.2.2 反“网络黑产”作弊案例 ...................................................... 194
第12 章内容个性化推荐 ????????????????????????????????????????????????????????????????? 201
12.1 资讯的内容处理 ................................................................................. 201
12.1.1 资讯的内容来源 ..................................................................... 202
12.1.2 资讯的分类体系 ..................................................................... 203
12.1.3 常见的分类问题及内容分类原则 ........................................... 205
12.1.4 分类体系的构建 ..................................................................... 206
12.1.5 内容的标注与机器学习 .......................................................... 208
12.2 资讯用户的画像和特征 ..................................................................... 209
12.2.1 资讯用户的画像 ..................................................................... 209
12.2.2 资讯用户的特征 ..................................................................... 209
12.3 资讯的推荐算法 ................................................................................. 211
12.3.1 资讯的信息抽取 ..................................................................... 211
12.3.2 资讯的分词方法 ..................................................................... 212
12.3.3 资讯的过滤排重 ..................................................................... 213
12.3.4 资讯的召回模型 ..................................................................... 214
12.3.5 资讯的算法排序 ..................................................................... 216
12.4 资讯的重排策略及案例 ..................................................................... 216
12.4.1 常见的重排策略及策略的目标 ............................................... 216
12.4.2 资讯的重排策略案例 .............................................................. 217
第13 章电商个性化推送 ????????????????????????????????????????????????????????????????? 221
13.1 push 的衡量 ........................................................................................ 222
13.1.1 push 的目标与本质 ................................................................. 222
13.1.2 push 的衡量指标 ..................................................................... 222
13.2 push 的优化方向 ................................................................................ 223
13.2.1 效率高 .................................................................................... 223
13.2.2 算法准 .................................................................................... 224
13.2.3 推荐好 .................................................................................... 226
13.2.4 展示靓 .................................................................................... 227
13.3 push 的推荐案例 ................................................................................ 228
13.3.1 新用户推荐方案 ..................................................................... 228
13.3.2 推荐的效果评测 ..................................................................... 232

全部展开

图书分类

高可靠系统构建指南：服务稳定性建设与技术债务治理

特色专题

帮助

数据中台建设与应用之路

目录

读者评论