Mesos:大数据资源调度与大规模容器运行最佳实践
  • 推荐0
  • 收藏0
  • 浏览601

Mesos:大数据资源调度与大规模容器运行最佳实践

Dharmesh Kakadia(哈米斯·卡卡迪亚) (作者)  崔婧雯 (译者)

  • 书  号:978-7-121-26902-8
  • 出版日期:2015-08-26
  • 页  数:192
  • 开  本:16(185*235)
  • 出版状态:上市销售
  • 原书名: Apache Mesos Essentials: Build and execute robust and scalable applications using Apache Mesos
  • 原书号:9781783288762
  • 维护人:张春雨
本书结合大量实例介绍了Mesos 的使用方法、核心原理及框架开发的相关内容。通过这些内容读者可以在数据中心环境中利用Mesos搭建分布式系统、进行大数据分析及开发分布式应用。
全书分为8章分别从使用、开发和运维等角度全面展示了Mesos 作为数据中心内核的强大能力、设计方面的精髓及在工程中的最佳实践。书中还介绍了Mesos 项目的最新进展和未来的发展方向,并给出了大量参考文献和相关链接方便读者进一步深入了解Mesos。
第一本mesos中文书
推荐语
相比于容器生态圈的其他开源项目,Apache Mesos 绝对可以称得上是“前辈”,因为它在 2013 年成为 Apache 的顶级项目之时,Docker 技术才刚刚开始发展。也正是由于 Docker 等容器技术的蓬勃发展,才让人们重新审视 Mesos 的价值。Mesos 目前已在 Twitter、Airbnb 等公司得到广泛应用,这也充分证明其已足够健壮,可以满足企业生产环境的需求。容器时代,它更被看作是 Docker 的黄金搭档。
InfoQ 在很早之前就已经开始关注 Mesos 技术的发展,今年也陆续策划了相关专题,目的只有一个,那就是让容器技术在国内能够得到更好的应用,从而更好地推动业务发展。很高兴看到国内这么快就有了关于 Mesos 的中文书籍,我不得不感叹,这真是一个属于技术人的美好时代!
郭蕾 InfoQ主编
大数据时代的到来对数据存储和处理能力提出了新的要求,为了应对业务、数据量及时效性的需求,数据中心内往往存在复杂的应用程序和服务,比如批量计算、流式处理、多轮迭代式计算、各种在线服务等。如何对数据中心资源、作业服务进行统一的管理和调度成为了新的热点,在这种形势下,各种资源管理和调度系统应运而生,例如Borg(Google)、YARN(Apache Hadoop)、Matrix(百度)、Torca(腾讯)、Corona(Facebook)。Mesos 作为其中的优秀代表解决了两类问题,一是通过资源的统一管理和调度提升了利用率,二是通过自动化部署提升了服务运维效率。
《Mesos:大数据资源调度与大规模容器运行最佳实践》这本书深入浅出地介绍了 Mesos 的基本原理、API 框架及多种典型的解决方案,既有原理,又有应用案例。无论是站在服务开发者还是服务运维者的角度,读过此书后都会有一种醍醐灌顶的感觉,对 Mesos 有一种全新的认识,在服务管理、构建和运维上获得新的思路。
谢广军 百度公司高级技术经理,云计算技术服务人
Mesos 的故事始于 2009 年 UC Berkeley 的 AMP Lab,博士生 Benjamin Hindman、Andy Konwinski 和 Matei Zaharia 在研究集群资源的共享和调度时,创造了 Mesos,开创了“数据中心工程师”的新时代。如今,Mesos 已经在 Twitter、Airbnb 等国外互联网公司得到了大规模的实践应用,“分布式”、“微服务”、“容器”这些当下最热门的技术词汇中都可以看到 Mesos 的影子。
由 DockOne 社区翻译的《Mesos:大数据资源调度与大规模容器运行最佳实践》一书,作为国内第一本关于 Mesos 的书籍,从实践入手,将带你深入浅出地认识 Mesos,对国内 Mesos 实践者来说,是很好的入门读物。我司的刘梦馨有幸参与了本次翻译工作,未来我们也会在社区和开发者的技术普及工作中贡献更多的力量。
左玥 灵雀云创始人兼CEO
现如今,数据中心承载了越来越多复杂的数据处理业务,例如批量处理、流处理、图形分析和实时处理等。也正是如此多样化、差异化的数据业务推动着数据中心软件技术的不断演进。在众多主流数据中心操作系统中,Mesos 脱颖而出,成为了最热门的技术之一。其关键的技术特点在于它能够利用资源的高度抽象和两层调度机制,很好地解决多样化数据处理业务的资源管理和使用问题。
本书首先详细介绍了如何在 Mesos 上搭建、运行和调优 Hadoop、Spark 等技术的最佳实践,具有很强的操作性。在对基本使用有了一定了解后,作者深入剖析了 Mesos 的基本原理和开发、运维的技术细节。这是一本理论与实践相结合的实践性书籍,我相信无论是新手或是资深用户,都可以从中获得所需要的知识和技能。
汪洋 华为开源能力中心开源战略规划专家
互联网产品的推陈出新、快速迭代与海量访问、尖锋时刻等特点正在颠覆着传统的运维规划设计理念。从天、小时级响应加速到分钟、秒级响应,弹性计算的能力越来越大地影响着用户体验。同时互联网产品的开发、运营复杂程度已经不亚于汽车工业。对于开发工程师而言,如果可以不用过多关心分布式的问题而专注于代码实现将更有利于用户体验的提升。就在刚刚发布的 0.23.0 版本中,我们看到了 Mesos 的新特性更贴近业务场景,更接地气,而这些都充分说明了 Mesos 短短两年时间就成为 Apache 基金会明星项目的原因。如果你想了解 Mesos 的一切,如果你想与硅谷最新技术同行,请与我们一起认真阅读这本佳作。
涂彦 腾讯游戏运维总监
如何有效地调配与利用计算资源是 IT 技术人员始终需要面对的事,为此人们做了大量的实践和探索,而 Apache Mesos 项目给了我们一个很好的选择。本书覆盖了 Mesos 从实践到机理及扩展等多个阶段,一本书可窥项目全貌。更可贵的是本书译者都是资深的 IT 人,用精确的技术语言给予原书准确的翻译,这在引进技术书籍当中是难得的。
DockOne 已经成为泛容器技术最大的技术社区。本次推动翻译此书,反映了其对容器这个技术方向上的认识,希望社区发展得更大,在新技术的推动和推广方面走得更远。
周东波 首都在线总工程师
微服务架构、轻量级组件、分布式设计、云端部署和运维是未来软件的趋势。软件如何充分利用云平台能力的同时又避免平台锁定(Cloud Locked-In),软件如何以较低的成本实现互联网级别的高可用性并且应对爆发式流量?这是摆在开发人员面前的两大挑战。
近年来 DCOS(数据中心操作系统)引起了越来越多开发者和运维工程师的关注,以 Mesos、Kubernetes、CloudFoundry 等为代表的 DCOS,将有可能演化为应用和云平台之间的抽象层,也就是云时代的操作系统。这本 Apache Mesos 最佳实践,是了解和学习 DCOS 的优秀教材,两位译者在分布式领域实战经验丰富,译文通俗易懂,是一本不可多得的好书。
喻勇 DaoCloud 联合创始人
Docker 在短短两年时间内迅速蹿红,带动了周边软件生态圈的发展,其中 Mesos + Docker 就是最佳拍档的典范。纵观现在市面上竞争激烈的公有云来说,OpenStack + KVM 确实是个很好的选择,但由此带来的统一计算 Nova、统一网络 Neutron、统一存储 Gluster/Ceph 的难度也是不容小觑。而对于私有云来说,我们只想静静地以业务为驱动,把公司的资源做深度整合和统一调度,真正做到容器化弹性可变化可扩展。Docker 的创新之处在于它的构建无论是对运维人员、开发人员还是测试人员都极其友好,统一 Dockerfile,统一快速部署。当然,这就会遇到成百上千个容器如何运行管理、如何进行资源调度的问题,于是,基于 Google Borg 的开源实现 Apache Mesos 就是最好的解决方案,所以我相信对于私有云平台的构建来说,Mesos + Marathon + Docker 会是一个很好的解决方案。如果你跟我一样为私有云的使用而苦恼,不妨试试 Mesos,体验一个全新而有趣的思路,绝对会给你惊喜。
邵海杨 UPYUN 联合创始人兼运维总监
Mesos 作为 DCOS 的发起者和推广者,完美地向我们展示了如何借助容器技术配合先进的资源管理与调度算法来完成对一个大规模机器集群的单机化抽象。不过这并不是关键。Mesos 的杀手锏其实在于两层调度和 framework,这两个特性使得 Mesos 的使用者可以通过插拔式的过程在 Mesos 之上构建各种各样的服务。所以,从大数据时代的不冷不热,再到容器时代的炙手可热,Mesos 用一个完美的翻身教会了我们“兼容并包”而非“一味竞争”才是平台级项目生存下去的看家本领。本书从实践到理论循序渐进,很好地展示了上述 Mesos 的核心功能和实现原理,是一本不可多得的国外技术书籍译本,值得一看。
张磊 博士 浙江大学计算机学院云计算团队科研人员
就在五六年前,云计算还仿佛是象牙塔里遥不可及的技术论文。近几年,提笔必提虚拟化,这项技术的深入普及,消灭了绝大部分自行建设、维护机房的需求。 但是虽然搭上了虚拟化的快车,大多数应用还停留在传统的单机模型上,无法充分发挥分布式云计算的真正威力。
书中介绍的 Mesos 是这样一个充满魔力的数据中心操作系统。它将整个集群抽象成一个大型资源池,托管在其中的应用可以自由伸缩、扩展,充分利用整个集群的资源。使用 Mesos 框架就像操作着少数派报告中精巧的 dashboard,控制着集群中几十上百个应用的部署、启动和结束任务,你只需动动手指,数百应用便开始相互调整,瞬间完成计算集群的重新配置。
在 Mesos 框架下,节点不再是一个个独立的个体,它们就像整齐划一的军队,随时接受着 Mesos 的调配。透过 Mesos 这样一个透视镜,你既可以站在几万英尺高的云端观看整个集群的微缩远景,又可以深入到集群中每个节点中的每个小任务里看其具体的执行情况,一切尽在掌握。
相信读过本书后,你也会迷上 Mesos 框架。在这个风起云涌的时代,Mesos 引领了云计算发展的方向!
孙宇聪 Coding CTO
《Apache Mesos Essentials》是一本出色的详细解读 Mesos 并具备实践运用的书籍,很高兴看到它这么快就在国内有了中文译本。Mesos 是 Apache 下的开源分布式资源管理框架,被称为是分布式系统的内核。其特点在于资源管理和调度,能够消除集群硬件的差异化。在使用场景上,Mesos 可以作为资源池提供分配给上层的框架,同时支持多种用途的数据应用框架,比如 Hadoop、Kafka、Spark 等。近两年来以 Docker 为代表的容器技术在云计算行业大放异彩,而 Mesos 作为专门的集群管理器,是最适合大规模容器运行的调度框架之一,国内像时速云、灵雀云、数人科技等都已经将 Mesos 应用于实际的产品环境。本书籍不仅从理论上详细阐述了 Mesos,而且针对 Mesos 开发者和数据中心规模管理者提供了最佳实践,是一本不可多得的学习 Mesos 的书籍。
黄启功 时速云创始人
为提高物理机的使用率,广大运维同仁曾经埋首于各种私有云技术,试图实现资源池化,但实施起来往往劳民伤财,非常痛苦,甚至无疾而终。Mesos 的出现,彻底改变了这个局面,它提供了一种更先进、更友好、更可控的资源池化技术,实现了真正意义上的数据中心操作系统。
本书实操性非常强,而且编排方式独特,首先直接阐述 Mesos 的各种应用场景,之后再深入讨论 Mesos 的基本原理和框架细节,并在最后贴心地附上 Mesos 运维的相关实践技术,适合运维同仁作为 Mesos 工具书经常翻阅学习。
萧田国 高效运维技术社区创始人 北京触控科技运维总监
大概在 2002 年的时候,曾经流行过网格计算的概念,大致就是把一组 PC 服务器组成资源池,通过资源调度最大化资源利用率并提高应用的可靠性。10 年之后,Mesos、Kubernetes 又流行起来,感觉昨日重现,这里面最重要的原因就是 Docker,没有 Docker 就不会有 Mesos 的流行,所以希望大家深入阅读此书。
赵鹏 Hyper 顾问
推荐序
很高兴受 DockOne 社区的邀请,为Apache Mesos Essentials的中译版《Mesos:大数据资源调度与大规模容器运行最佳实践》作序。随着分布式计算技术在大数据处理方面的广泛应用,分布式集群已经成为企业数据中心的标准配置。分布式集群虽然性能优异、成本低廉,但是由于服务器数量众多,集群管理复杂度很高,只有 Google、Amazon、 Facebook、Microsoft 之类的 IT 巨头能够建造和管理,而且这几家巨头的集群管理系统并不开源,不给其他企业使用。再者,云计算技术的兴起,极大地改变了企业 IT 系统的运作方式,从传统物理服务器搭建数据中心到软件定义数据中心。相应地,集群管理系统也从管理物理服务器向云时代操作系统转变。Apache Mesos 的出现,正好满足了广大企业对云时代数据中心管理的需求,Mesos 也正在逐渐向云时代操作系统演化。
Apache Mesos 是源自 UC Berkeley(加州大学伯克利分校)的分布式集群管理系统。Mesos 最早的发起人之一 Benjamin Hindman,当时还是 UC Berkeley 的计算机系博士生,他在 Google 实习的时候,受 Google 的分布式集群管理系统 Borg 的启发开始研发 Mesos。2010 年,Benjamin 在 Twitter 做了关于 Mesos 的讲座,然后 Twitter 逐渐开始使用 Mesos,最终成为 Mesos 最大规模的企业用户。在 Twitter,最大规模的 Mesos 集群有超过一万台服务器。硅谷的其他高科技公司,比如 Apple、Airbnb、Yelp、ebay 等,都在使用 Mesos来管理分布式集群。2013 年,Mesos 成为 Apache 顶级项目,同年 Benjamin 创立了 Mesosphere 公司,专门推广和商业化 Mesos。2014 年,首届 Mesos 大会在芝加哥召开,有二百多人参会。2015 年,Mesos 大会将在西雅图召开,预计有近千人参加。
Mesos 为什么在企业有很成功的大规模应用?个人觉得这主要得益于 Mesos 简单易用。分布式集群管理是个很复杂的系统,比如 Google 的 Borg,功能很强大也很复杂,Borg 管理了 Google 数千万台服务器,其复杂程度可想而知。但是 Mesos 的理念是要把分布式集群管理系统变得简单易用。Mesos 采用了两级调度算法来管理分布式集群。两级调度指的是资源分配和任务调度。Mesos 本身只负责资源分配这一件事(Mesos 本来也有任务隔离功能,在 Docker 出来以后,人们更倾向于用 Docker 来做任务隔离),Mesos 本身并不做任务调度,而是把任务调度的功能交给基于 Mesos 之上的各种 framework 来完成。比如,Mesos 之上可以运行 Hadoop、Spark 之类的大数据平台,Mesos 只负责将集群资源分配给 Hadoop、 Spark 任务,然后 Hadoop、Spark 负责调度各自的任务,如申请任务资源、重启失败任务等。Mesos 这样设计,降低了集群管理系统复杂度,进而降低了开发难度,方便 Mesos 作为开源项目来开发维护。毕竟开源项目不是商业软件,开源项目如果设计复杂度很高,会使得项目开发捉襟见肘,项目质量也很难得到保证。
近来 Mesos 很流行的一个重要原因是 Mesos 对 Docker 的原生支持。Docker 自 2013 年开源以后,发展得如火如荼,已基本成为新一代应用发布标准。2014 年下半年,Mesos 发布 0.20 版本开始原生支持 Docker,这样一来,Docker 任务可以很方便地在 Mesos 管理的集群上运行。于是 Docker 公司的创始人兼 CTO,Solomon Hykes,在 2014 年年底欧洲的 Docker 大会上说:“Mesos 是在大规模集群生产环境中运行 Docker 的黄金搭档。”可以说,Docker 的出现简化了开发人员对应用程序的测试和交付工作,Mesos 加上 Docker,又极大地方便了企业在生产环境中大规模使用 Docker。Mesos 和 Docker 互相推波助澜,会深刻改变未来企业 IT 系统。
Mesos 另外一个优点是开放性,采用 Mesos 来管理集群并不意味着就排除了使用其他集群管理系统的可能性。Mesos 的核心是分布式集群的资源分配,不负责任务调度,因而 Mesos 可以和其他集群管理系统协同工作。比如 Google 开发的 Kubernetes,Docker 公司推出的 Swarm 等,这些面向 Docker 的集群管理系统都可以运行在 Mesos 之上, 成为 Mesos 的 framework,Mesos 为 Kubernetes 或 Swarm 调度 Docker 任务分配资源。企业如果已经采用了 Mesos 来管理其集群,还可以采用 Kubernetes 或 Swarm 来做任务调度,充分利用不同集群管理系统的特性。
当然 Mesos 目前处于比较早期的阶段,还不能说非常成熟。Mesos 主要实现了分布式集群管理系统中的资源分配功能,其他功能主要靠额外的组件来实现,比如服务发现和负载均衡用 Marathon 加 HAproxy 来实现等。再者,Mesos 对于存储管理相关的功能还比较弱。分布式环境下存储管理是很大的难题,因为数据量大了以后,就很难在服务器之间迁移,最好能把计算任务调度到要处理的数据所在的服务器上,这方面 Mesos 还没有很成熟的解决方案。此外,Mesos 对于多租户管理还不够强大,它的当前版本还不能限制某个用户的任务最多可以占用多少资源,防止某个用户的任务使用过多资源。
最后,我对 Mesos 的发展做出一点展望。随着云计算技术蓬勃发展,企业的数据中心都将移到公有云或私有云上,未来 Mesos 会逐步演化为云时代的操作系统。有了云时代操作系统,企业使用整个数据中心就像使用一台服务器一样简便易行,再也不用操心数据中心的管理运维,只需要专注于发展业务。进而,所有企业级软件都是通过云操作系统来分发,不论是在公有云或私有云上,都能做到一键部署、免维护、免升级等,真正把企业级软件变成 SaaS 模式。
数人科技创始人 王璞
推荐序
于此,我推荐本书给您,希望它成为您的千里马,陪伴您征服事业的最颠峰。如果 Docker 容器像海运业的集装箱(即容器),则 Mesos 集群就像一座巨大的现代化港口或码头。所以专家们常称赞:Docker 和 Mesos 是一长串绝佳搭档的最新组合,就像花生酱和果冻、牛奶和饼干那样完美。例如,Mesos 已经是一个相当稳定的平台了,并且可以使用 Docker 镜像来部署形形色色的 Mesos 应用。
由于两者是力与美的最先进组合,对于新一代云平台的开发者或维运人员而言,孰悉 Mesos 的架构、程序及管理模式,将是彻底掌握 Docker + Mesos 的最佳途径。
在这本书里,原作者从现代基础架构对数据中心操作系统的需求出发,阐述了 Mesos 如何为企业大规模运行容器提供最实用的方法,让企业有信心克服一连串关于可用性、规模和性能等方面非常深层次的挑战。例如,第 2、第 3 章深入浅出地探讨了如何在 Mesos 上使用 Hadoop 处理大数据及如何调优 Mesos 上的 Spark。
俗语说:众星拱月。虽然 Docker 是一弯明亮的月儿,但在 Mesos 平台上还可结合许多其他的架构和服务,例如,第 4、第 5 章演示了 Mesos 上部署 lambda 架构,并详细讨论了 Marathon、Chronos 和 Aurora 框架,帮助大家理解如何在 Mesos 上部署这些服务。
当你孰悉了上述 Mesos 架构之后,即可深入理解这一平台的实现、开发和运维的细节了。理解在大规模使用场合,如何实现高度自动化的环境,跨成百上千台服务器集群下运行容器和处理大数据。这些都是你所需要的关键技术。因此,本书后段的第 6、第 7、第 8 章详细介绍 Mesos 的资源限制、隔离等管理策略,Mesos 框架 API,以及 Mesos 平台的运维细节。这些都能帮你建立扎实根基和丰富经验。
刚才已经提到了,Mesos + Docker 是一个力与美的最佳组合。一旦你用心学完本书的内容,就掌握了大规模运行 Docker 容器的基本观念和使用方法了。随着近年来 Docker 集装箱技术的流行,容器式软件设计思维已迅速蔚为风潮,正在强力改变终端与云平台的整体设计理念和方法。这跟半世纪前,海上船运业的集装箱风潮,对整个产业的革命性改变,其力道来源和产生经济效益,可说具有异曲同工之妙。因之,本书将是你登上这一革命性技术潮流之巅的最佳垫脚石,也是你的幸运草,将替你或你的企业带来可观的商业利益,也为你带来新的机遇。
一旦掌握了 Mesos 和 Docker 的知识,拥有了云平台的运维和管理技能,你就能强力支持互联网和大数据的各种应用系统开发了。在需求、数据和软件愈来愈碎片化的趋势下,容器包装了微服务成为主流。这些微服务在运行时间(Run-time)经常需要动态组合成为各式各样的应用来支撑企业多变的业务流程。此时,你就有足够的能力去促进终端与云平台的一致性设计,有效协助创造业务应用系统之间极为迅速的、瞬间的动态组合,来支撑企业流程和活动,以创新模式将它们组合起来,创造端云整合的最佳用户体验。
台湾 Docker 论坛主席 高焕堂


关于作者
Dharmesh Kakadia 是微软研究院的研究员,负责开发下一代集群管理系统。在加入微软研究院之前,他在海得拉巴信息技术国际研究所获得硕士学位,致力于改进云和大数据系统的任务调度。他对系统和数据的交集部分非常感兴趣,在资源管理领域发表了多篇研究报告。他热衷于开源技术,活跃在多个开源社区里。他的 Twitter 账号是 @DharmeshKakadia。
我要感谢一直支持我的家人、朋友和同事。也要感谢本书的审校者和 Packt 出版社的所有工作人员,是大家共同的不懈努力才确保本书按时保质地完成。没有大家的帮助,就没有本书的出版。
关于审校者
Tomas Barton 是布拉格市捷克技术大学的在读博士,他专注于分布式计算、数据挖掘和机器学习。他从 Mesos 的早期版本发布时就开始使用它。他也为 Debian 打包贡献代码,并维护 Mesos 自动化安装的 Puppet 模块。
Andrea Mostosi 是技术热爱者,从小热爱创新。从 2003 年开始工作,他在多个项目里尝试了软件科学领域几乎所有的职位。目前是 Fool 公司的 CTO,这是一家尝试挖掘 Web 和社交数据的公司。空闲时他喜欢旅行、跑步、烹饪、骑车和写代码。
我要感谢极客朋友 Simone M、Daniele V、Luca T、Luigi P、Michele N、Luca O、Luca B、Diego C 和 Fabio B。他们是我认识的最聪明的人,和他们在一起总能促进我追求卓越。
Sai Warang 是加拿大创业公司 Shopify 的软件开发工程师。他目前致力于构建在成千上万网络交易中防止欺诈的实时工具。之前,他在滑铁卢大学学习计算机科学,在旧金山的 Tagger 和 Zynga 的多个数据分析项目中工作过。偶尔也会涉猎创作写作。
前言
Mesos 使得开发并管理自动容错且可扩展的分布式应用程序变得很容易。它支持为聚合的资源池编程,而无须考虑单台机器的资源管理。使用 Mesos 后,你心仪的所有框架,从长时间运行服务的数据处理到 Web 服务的数据存储,都可以在同一个集群里共享资源。Mesos 的一致性基础架构及容错性也能简化大规模部署的运维工作。运行 Mesos 时,单点故障不会影响到应用程序的持续运行。
使用 Mesos,每个人都能开发分布式应用程序,并轻松将其扩展到成千上万的节点上。
本书范围
第 1 章解释现代基础架构对数据中心操作系统的需求,以及 Mesos 为何是满足这一需求的绝佳选择。还介绍了在各种环境里,如何安装单节点和多节点 Mesos。
第 2 章探讨了如何在 Mesos 上使用 Hadoop 进行批量数据处理。
第 3 章讲述了如何在 Mesos 上运行 Spark,及如何调优 Mesos 上的 Spark。
第 4 章演示了 Mesos 上部署 lambda 架构的多种选择。详细讨论了 Mesos 上 Storm、Spark Streaming 和 Cassandra 的搭建。
第 5 章介绍了服务及在 Mesos 上服务架构的不同之处。详细讨论了 Marathon、Chronos 和 Aurora 框架,帮助大家理解如何在 Mesos 上部署这些服务。
第 6 章深入 Mesos 基本原理。详细介绍 Mesos 的资源分配、隔离和容错的实现细节。
第 7 章讲述了在 Mesos 上框架开发的细节。通过构建 Mesos 框架学习 Mesos API。
第 8 章探讨 Mesos 的运维细节。讨论了监控、多租户、可用性和维护各方面及 REST API 和配置细节。
本书要求
理解本书内容,需要熟悉 Linux,并且具备基本的编程知识。此外,由于 Mesos 的分布式特性,如能够访问多台机器或者某个云服务,将有助于加深对本书的理解。
本书面向的读者
本书适合所有想要使用 Mesos 开发和管理数据中心规模的应用程序的人。
排版约定
本书为区分不同类型的信息,采用了多种文本风格。下面给出这些风格的示例,并解释其含义。
代码、文件夹名、文件名、路径名和配置参数如下:“仓库包含的 vagrant 文件和 README 文件会提供更多详细信息。”
代码段如下:
<property>
<name>mapred.mesos.framework.secretfile</name>
<value>/location/secretfile</value>
</property>
命令行的输入输出如下:
ubuntu@local:~/mesos/ec2 $ ./mesos-ec2 destroy ec2-test
新概念和重要的单词会加粗显示。屏幕上能看到的单词,比如,菜单或对话框上的单词,会这样显示:“在 Web UI 上,点击 +New Job,会弹出仪表板显示作业的详细信息。”
提示:警告或重要注意事项会放在这样的框里
技巧:提示和技巧这么显示
读者反馈
欢迎读者的反馈。让我们知道你们对本书的看法,喜欢哪一部分,不喜欢哪一部分。读者的反馈对我们而言十分重要,因为这些反馈将帮助我们开发出读者真正喜欢的书籍。
请将反馈内容发送到邮箱 feedback@packtpub.com,记得在邮件主题中写上对应的书名。
如果你是某领域的专家,有兴趣撰写或者出版书籍,请查看 www.packtpub.com/authors 的作者指南。
客户支持
对于 Packt 出版社的尊贵读者,我们提供了很多途径来最大化读者利益。
下载样例代码
可以使用 Packt 出版社账户从 http://www.packtpub.com 下载你所购买的所有 Packt 书籍的样例代码文件。如果是通过非官网途径购买的,可以访问 http://www.packtpub.com/support 进行注册,我们会将文件直接用邮件发送给你。
下载书籍的彩色图像
我们还提供PDF文件,包含书中在截图或图表里列出的所有彩色图片。这些彩色图片有助于更好地理解书籍的内容,可以从 https://www.packtpub.com/sites/default/files/downloads/8762OS_ColoredImages.pdf 下载该文件。
勘误表
虽然我们已经尽力保证本书内容的准确性,但还是会有一些错误。如果你找到本书的错误之处——可能是文本或代码的错误——请告知。这样不仅可以帮到其他读者,还能帮助我们改进本书的后续版本。无论发现任何错误,都可以访问 http://www.packtpub.com/submit-errata,选择该书籍,点击“Errata Submission Form”链接,填写需要勘误的详细信息。一旦勘误被验证,提交就会被接受,勘误表会上传到我们的网站上或添加到该书的勘误部分。
在 https://www.packtpub.com/books/content/support 的搜索字段输入书籍名称,可以查看之前提交的勘误信息。所需信息会列在 Errata 部分。
盗版
网络上通过各种媒体进行的盗版行为日益严重。Packt 出版社严肃对待版权和许可证问题。如果你无意中在网络上发现我们的出版物被以任何形式非法复制,请立即告诉我们地址或网站名称,以便及时补救。
请联系 copyright@packtpub.com 报告疑似盗版材料的链接。
非常感谢帮助我们保护作者权益,这样我们才能一起创造更多有价值的内容。
问题
如果对本文的任何内容有疑问,请联系 questions@packtpub.com,我们一定尽力解决所有问题。

目录

目录 阅读
第1章 运行 Mesos
第2章 在 Mesos 上运行 Hadoop
第3章 在 Mesos 上运行 Spark
第4章 Mesos 上的复杂数据分析
第5章 在 Mesos 上运行服务
第6章 理解 Mesos 内部机制
第7章 开发 Mesos 框架
第8章 管理 Mesos

读者评论

相关图书

Unreal Engine 4可视化设计:交互可视化、动画与渲染开发绝艺

Tom Shannon (作者) 龚震宇 (译者)

Shannon回答了有关UE4可视化问题的常见问题,解决了从数据导入和处理到照明、高级材料和渲染等问题。他揭示了UE4与传统渲染系统重要的不同之处,即使它们使用...

 

虫术——Python绝技

梁睿坤 (作者)

本书以大数据应用方面常用的语言Python为基础,从网络爬虫的实现原理入手,逐步引领读者进入网络爬虫的世界。在各类爬虫框架中,将Scrapy作为轴心,从多个维度...

¥99.00

Scala高性能编程

Vincent Theron (作者) 杨云 (译者)

Scala是一种表达能力非常强的语言,能够用非常简洁的代码表达丰富的业务含义。为了在生产上充分发挥Scala的能力,除了掌握其简洁的语法外,理解Scala在性能...

¥69.00

网络爬虫全解析——技术、原理与实践

罗刚 (作者)

本书介绍了如何开发网络爬虫。内容主要包括开发网络爬虫所需要的Java语法基础和网络爬虫的工作原理,如何使用开源组件HttpClient和爬虫框架Crawler4...

¥49.00

全栈数据之门

任柳江 (作者)

本书以数据分析领域最热的Python语言为主要线索,介绍了数据分析库numpy、Pandas与机器学习库scikit-learn,使用了可视化环境Orange ...

¥49.00

Druid实时大数据分析原理与实践

欧阳辰 刘麒贇 张海雷 高振源 许哲 (作者)

Druid 作为一款开源的实时大数据分析软件,最近几年快速风靡全球互联网公司,特别是对于海量数据和实时性要求高的场景,包括广告数据分析、用户行为分析、数据统计分...

¥59.00