全书分为三部分:一、从数据的产生、采集、计算、消费、数据端到端的角度介绍大数据技术起源、发展、关键技术点和未来趋势、业界最新产品,以及学术界最新研究方向和成果。二、介绍大数据电信领域业务,理解数据的使用方式,以及大数据的真正价值。对大数据的业务理解和构建帮助很大。三、用成功的案例介绍大数据使用经验。总的来说,一本从架构、业务、大数据实际案例深入浅出介绍大数据和Hadoop技术的书。
从真正的一个大数据企业架构对技术抽丝剥茧。关键技术讲透,明白技术的来龙去脉,掌握技术的发展趋势。是真正的实践经验,不停留在纸面上的知识,无论是有工作经验的人和初入门的读者非常有帮助和启发。
朱洁 ,2008年加入华为,具有8年大数据研发管理经验,现任华为大数据服务首席规划师。专注于大数据服务平台建设、规划和实践应用,同时参与多项企业级大数据项目解决方案的规划、设计和实施工作,在深化大数据行业落地方面有诸多实践经验,对解读大数据垂直行业的技术创新与开发有诸多独到的见解和心得。
罗华霖,2002年加入华为,华为大数据首席规划师,主导完成华为大数据平台DataSight
和华为电信大数据解决方案SmartCare技术规划和架构设计,支持电信运营商数字化战略转型,完成浙江移动、上海联通、沙特STC等200+电信大数据解决方案项目落地。曾任华为软交换首席设计师,华为大型电信大数据解决方案SmartCare首席架构师。
前 言
大数据这几年真的很火,于是有越来越多的人开始学习大数据技术。很多人会误以为大数据是一门技术,其实不然,大数据更多的是一门市场宣传语言,也可以理解为一种思考方式。从技术角度来看,大数据是一系列技术的组合,所以真正全面掌握大数据技术也是一件很困难的事情。编写这本书的初衷就是总结这些年的工作和学习经验,希望可以分享给更多人,同时对自己而言也是一个提高、总结和升华的过程。
总的来说,本书围绕一个通用技术栈来组织章节,主要聚焦大数据平台的一些知识。主要分为三部分。
第一部分:第1~3章,主要讲述大数据的本质、运营商大数据的架构和一些基本的业务知识。
第1章:阐述大数据的本质和面临的挑战。
第2章:概述大数据架构及背后的驱动因素,以及未来发展的趋势。
第3章:介绍运营商领域的业务,让读者对大数据能做什么有一个直观的感受。
第二部分:第4~11章,围绕大数据平台技术栈来阐述数据获取、处理、分析和应用平台涉及的技术。
第4章:介绍数据获取涉及的探针、爬虫、日志采集、数据分发中间件等技术。
第5章:介绍流式数据处理引擎、CEP、流式应用。
第6章:介绍交互式分析技术、MPP DB、热门的SQL on Hadoop技术。
第7章:介绍批处理技术、Spark,以及大规模机器学习的BSP技术等。
第8章:探讨机器学习、深度学习相关技术。
第9章:统一资源管理是趋势,本章介绍资源管理的核心技术和算法。
第10章:存储是基础,本章介绍存储的关键技术。
第11章:探讨大数据技术怎么云化,以及关键技术是什么。
第三部分:第12章,技术和文化息息相关,技术影响文化,文化影响技术。
第12章:介绍大数据开发文化、开源、DevOps,探讨理念和文化对技术的冲击。
由于编者水平有限,书中疏漏之处在所难免,敬请谅解。
最后以乔布斯的经典名句结尾:Stay hungry,Stay foolish。
朱 洁