Spark:大数据集群计算的生产实践
  • 推荐0
  • 收藏2
  • 浏览383

Spark:大数据集群计算的生产实践

李刚 (作者)  李刚 (译者)

  • 书  号:978-7-121-31364-6
  • 出版日期:2017-05-24
  • 页  数:220
  • 开  本:16(185*235)
  • 出版状态:上市销售
  • 原书名: Spark: Big Data Cluster Computing in Production
  • 原书号:9781119254010
  • 维护人:许艳
纸质版 ¥65.00

相关图书

Hadoop金融大数据分析

Rajiv Tiwari (作者) 王小宁 (译者)

在互联网+时代,数据是炙手可热的重要资源,网络使用基础的提升,数据流量增大,用户需求多样化和多变对架构设计提出严峻考验,而Hadoop为快速响应用户需求提供了重...

¥39.00

Spark GraphX实战

【美】Michael S. Malak(迈克尔 S. 马拉克) 【美】Robin East(罗宾 伊斯特) (作者) 时金魁 黄光远 (译者)

《Spark GraphX实战》是一本Spark GraphX入门书籍。前5章为基础内容,即使读者对Spark、GraphX、Scala不熟悉,也能快速上手;后...

¥49.00

图解Spark:核心技术与案例实战

郭景瞻 (作者)

本书以Spark 2.0 版本为基础进行编写,全面介绍了Spark 核心及其生态圈组件技术。主要内<br>容包括Spark 生态圈、实战环境搭建、编程模型和内部...

¥99.00

写给大忙人的Hadoop 2

(美)Douglas Eadline(道格拉斯·伊德理恩) (作者) 卢涛 (译者)

本书首先介绍了Hadoop的背景知识,包括Hadoop 2和YARN的工作原理和对Hadoop 1的改进,然后将数据湖与传统存储比较。第2章到第8章,分别介绍了...

¥69.00

Spark MLlib机器学习:算法、源码及实战详解

黄美灵 (作者)

本书以Spark 1.4.1版本源码为切入点,全面并且深入地解析Spark MLlib模块,着力于探索分布式机器学习的底层实现。<br> 本书循序渐进,首...

¥79.00

Hadoop 2.X HDFS源码剖析

徐鹏 (作者)

HDFS是运行在通用硬件上的分布式文件系统,本书详细介绍了HDFS体系结构、基本概念、通信协议及主要流程,具体包括Hadoop RPC框架的使用及实现、文件系统...

¥88.00
本书针对spark从验证性环境迁移到实际生产环境时会遇到的各种问题给出了实际的帮助,涵盖了开发及维护生产级Spark应用的各种方法、组件与有用实践。全书分为6章,第1 ~ 2章帮助读者深入理解Spark的内部机制以及它们在生产流程中的含义;第3章和第5章阐述了针对配置参数的法则和权衡方案,用来调优Spark,改善性能,获得高可用性和容错性;第4章专门讨论Spark应用中的安全问题;第6章则全面介绍生产流,以及把一个应用迁移到一个生产工作流中时所需要的各种组件,同时对Spark生态系统进行了梳理。
针对spark从验证性环境迁移到实际生产环境时会遇到的各种问题给出实际的帮助
通过内存管理、分区、shuffle等技术提升性能
管理资源、组织存储、做好监控
引言
Apache Spark 一个易于掌握的、面向大规模计算的分布式计算框架。它又被称为“计算网格”或者“计算框架”——考虑到Spark 使开发人员能够便捷地获得大量数据且进行分析,这些说法也是正确的。
Apache Spark 由Matei Zaharia 2009 年在加州大学伯克利分校创建,一开始把它作为一个研究项目,后来在2010 年捐给开源社区。2013 年,Spark 作为一个孵化项目加入Apache 软件基金会,并于2014 年成为顶级项目(TLP),一直发展到现在。
本书面向的读者
如果你拿起这本书,我们认为你应该对Spark 非常感兴趣。本书面向的读者群体是开发人员、Spark 应用的项目经理,以及那些准备考虑将开发的Spark 应用程序迁移到生产环境的系统管理员(或者DevOps)。
涵盖的内容
本书涵盖了开发及维护生产级Spark 应用的各种方法论、组件与最佳实践。也就是说,我们假设你已经有一个或者打算开发一个Spark 应用,并且具备Spark 的一些基础知识。
内容结构
本书分为6 章,旨在传授给读者以下知识:
? 深入理解Spark 的内部机制以及它们在生产流程中的含义。
? 一组针对配置参数的法则和权衡方案,用来调优Spark 以获得高可用性和容错性。
? 全面了解生产流,以及把一个应用迁移到一个生产工作流中时所需要的各种组件。
读者需要具备的知识
作为读者,你应该具备基本的Spark 开发及使用的知识。本书不会讲述入门级内容。市面上有许多关于Spark 入门的书籍、论坛及各类资源,如果你对某部分的知识点有所缺失,可以阅读相关主题的资料以便更好地理解本书所表达的内容。本书示例的源代码可从Wiley 网站上下载:( www.wiley.com/go/sparkbigdataclustercomputing。)
格式的约定
为帮助你了解本书的内容及主线,在本书用了一些格式约定。
注意 这个样例表示注意事项、小提示、暗示、技巧,或者当前讨论的旁白。
? 当介绍一些新的术语和重要的词时,会采用黑体(中文)或者加粗(英文)。
? 在文本里显示代码时会使用代码体, 譬如: persistence.properties。
源码
学习本书中的示例时,你可以选择手动输入所有代码,或使用本书所配套的源
码文件。所有的源码均可从www.wiley.com 下载。对于本书,下载页面在
www.wiley.com/go/sparkbigdataclustercomputing 的“Download Code”
标签页上。
可以在www.wiley.com 上通过英文版的ISBN(978-1-119-25401-0)来搜索本
书。
你也可以在https://github.com/backstopmedia/sparkbook 上找到
这些文件。
下载完代码,随便用哪种解压工具解压即可。
读者服务
轻松注册成为博文视点社区用户(www.broadview.com.cn),扫码直达本书页面。
? 提交勘误:您对书中内容的修改意见可在 提交勘误 处提交,若被采纳,将获赠博文视点社区积分(在您购买电子书时,积分可用来抵扣相应金额)。
? 交流互动:在页面下方 读者评论 处留下您的疑问或观点,与我们和其他读者一同学习交流。
页面入口:http://www.broadview.com.cn/31364

目录

第1 章 成功运行Spark job / 1
安装所需组件 / 2
原生安装Spark Standalone 集群 /3
分布式计算的发展史/ 3
步入云时代 /5
理解资源管理/6
使用各种类型的存储格式 /9
文本文件/11
Sequence 文件/13
Avro 文件/ 13
Parquet 文件 /13
监控和度量的意义/ 14
Spark UI/ 14
Spark Standalone UI/ 17
Metrics REST API / 17
Metrics System / 18
外部监控工具 / 18
总结 /19
第2 章 集群管理 /21
背景知识/ 23
Spark 组件 / 26
Driver / 27
workers 与executors /28
配置 / 30
Spark Standalone/33
架构 / 34
单节点设置场景 / 34
多节点设置 / 36
YARN / 36
架构 / 38
动态资源分配 /41
场景 /43
Mesos/ 45
安装/46
架构 / 47
动态资源分配/ 49
基本安装场景 / 50
比较 / 52
总结 /56
第3 章 性能调优 /59
Spark 执行模型/ 60
分区 /62
控制并行度/62
分区器/64
shuffle 数据 /65
shuffle 与数据分区 / 67
算子与shuffle / 70
shuffle 并不总是坏事 /75
序列化 / 75
Kryo 注册器 / 77
Spark 缓存 / 77
SparkSQL 缓存 / 81
内存管理 /82
垃圾回收 / 83
共享变量 / 84
广播变量 / 85
累加器 /87
数据局部性 / 90
总结 / 91
第4 章 安全/ 93
架构/ 94
Security Manager/ 94
设定配置 / 95
ACL / 97
配置 / 97
提交job / 98
Web UI/ 99
网络安全 / 107
加密/ 108
事件日志 /113
Kerberos/114
Apache Sentry./114
总结 /115
第5 章 容错或job 执行/ 117
Spark job 的生命周期 /118
Spark master /119
Spark driver/ 122
Spark worker /124
job 生命周期 /124
job 调度 /125
应用程序内部调度 / 125
用外部工具进行调度 / 133
容错 /135
内部容错与外部容错 / 136
SLA/ 137
RDD / 138
Batch vs Streaming / 145
测试策略 / 148
推荐配置/ 155
总结 / 158
第6 章 超越Spark /159
数据仓库 /159
SparkSQL CLI/161
Thrift JDBC/ODBC 服务器 / 162
Hive on Spark/ 162
机器学习 / 164
DataFrame / 165
MLlib 和ML / 167
Mahout on Spark / 174
Hivemall On Spark/ 175
外部的框架 / 176
Spark Package / 177
XGBoost/ 179
spark-jobserver / 179
未来的工作 /182
与参数服务器集成 / 184
深度学习 / 192
Spark 在企业中的应用 / 200
用Spark 及Kafka 收集用户活动日志 / 200
用Spark 做实时推荐/ 202
Twitter Bots 的实时分类 / 204
总结 / 205

读者评论

  • 感谢反馈,我们以后引进图书时会考量这方面的问题。

    许艳发表于 2017/8/17 16:18:52
  • 这本书基础多案例少啊

    jiang17发表于 2017/6/23 21:42:17

相关博文

  • Spark的那些外部框架

    Spark的那些外部框架

    管理员账号 2017-06-15

    小编说:Spark社区提供了大量的框架和库。其规模及数量都还在不断增加。本文我们将介绍不包含在Spark 核心源代码库的各种外部框架。Spark试图解决的问题涵盖的面很广,跨越了很多不同领域,使用这些框架能帮助降低初始开发成本,充分利...

    管理员账号 2017-06-15
    74 0 0 0
  • Spark与深度学习框架——H2O、deeplearning4j、SparkNet

    Spark与深度学习框架——H2O、deeplearning4j、SparkNet

    管理员账号 2017-06-21

    小编说:你可能对使用Spark服务比较感兴趣。Spark已经提供了很多功能,也有一个好用的界面,而且背后有强大的社区,开发者十分活跃,这也是人们对Spark寄予厚望的原因。深度学习是当前正在进行中的Spark项目之一。本文我们将介绍一...

    管理员账号 2017-06-21
    359 0 0 0