云计算:大数据时代的系统工程(修订版)
  • 推荐0
  • 收藏1
  • 浏览1.2K

云计算:大数据时代的系统工程(修订版)

姚宏宇 (作者) 

  • 书  号:978-7-121-28303-1
  • 出版日期:2016-04-19
  • 页  数:228
  • 开  本:16(170*240)
  • 出版状态:上市销售
  • 维护人:符隆美
在互联网带来的“大”问题压力下,我们需要全新的思想,通过“积木化”的改变,来重新定义计算资源的使用方式、服务的提供方式,以及社会化大生产的协作过程。云计算带来了这种思想的落实机制,这种机制使我们可以组织资源以服务,组织技术以实现,组织流程以应变。而且,云计算扩大了我们对服务的定义,并带来了一个全新的计算资源管理思路,一种信息技术的系统工程理念和一次信息社会的工业化革命。与此同时,大数据的发展为云计算提供了重要的应用场景,云计算与大数据之间的关系,以及如何借助云计算平台的优势,更有效地从大数据中发掘出各种价值也正在成为人们关心的焦点。
本书以简单平实的语言,将这些思考一一展现给读者,并结合作者多年的实践经验,对云计算涉及的概念、技术,以及将给我们的生活和社会带来的影响等各方面进行了阐述,从一种全新的视角展现了云计算的魅力。
大数据的发展为云计算提供了重要的应用场景,云计算与大数据之间的关系,以及如何借助云计算平台的优势,更有效地从大数据中发掘出各种价值也正在成为人们关心的焦点。
再版序
云计算的发展如此之快,既在情理之中,又有些超乎我的意料之外。

作为一种以“系统工程”的思路来解决“大”问题的信息技术,云计算满足了政府和企业等各类组织应对“大用户”、“大数据”和“大系统”所带来的压力问题,并且使组织能最大程度发挥信息系统资源和能力的价值,从而具备更多的创新可能性,所以云计算发展在情理之中。

超出意料之外的主要是云计算的发展速度。从目前来看,云计算已经跨过能否落地以及如何落地的市场培育期,成为了IT产业发展的战略重点,并逐渐成为现代信息和通信技术发展的承载基础。

首先,全球IT公司纷纷向云计算转型,并通过各种技术或业务形式,来将云计算的能力具体化或场景化,比如“软件定义”、“融合架构”、“容器”技术等, 这些新概念的快速普及,一方面进一步凸显了云计算的“弹性”、“透明”、“结构 化”和“动态”等特点,以帮助用户更好地管理资源、调度资源;另一方面使用户对云计算的使用变得自然和简单,有了更具体的应用场景。

其次,应用场景进一步明确。智慧城市建设的快速进行,以及“互联网+”对行 业信息化升级的促进,都加快了政府和企业的“入云”步伐;针对于特定行业的解决方案开始丰富化。在这个过程中,云计算产业的规模也保持了高速增长,整个信息和 通信产业的格局正在重新洗牌,合并、收购案例层出不穷,如书中所说,“对于芯 片、硬件、软件、终端等企业来说,都不失为一次重写市场格局的良机”。

现在,大数据已经成为云计算最重要的应用场景。随着社会经济、技术的高速发展,人与物、物与物、人与人、政府部门及部门等之间的联系也变得越来越密切,这种在“全联接”状态下所产生的大数据的存储、管理和利用问题,都为云计算的能力优势找到了更多样化的出口;而云计算技术的快速发展,也为物联网、移动互联网和大数据的发展,提供了有力的支撑——基于随时可用的云计算资源而进行的创 新正在呈现出大爆发的迹象,云计算真的正在带来一场信息社会的工业革命。

因此,在修订版中,我们特意加入了“大数据的发动机”这一章,以统一数据支撑平台和统一运行支撑平台双引擎的概念,重新解读企业信息系统架构的问题,看看我们能够如何在云计算的帮助下让大数据落地,发掘出各种价值。

当然,我们也希望这些内容能帮助读者对云计算和大数据的关系有更多的认识:如果说大数据是一座蕴含巨大价值的矿藏,那么云计算就是采矿作业的得力工具,没有云计算的强大能力,大数据的信息沉淀再丰富,我们或许也只能望洋兴叹,入宝山而空手回;但从另外的角度说,云计算也是为了解决大数据等“大”问题所发展而来的技术趋势,没有大数据的信息沉淀,云计算的功用也将得不到完全发挥。从整体上看,大数据与云计算是两个相辅相成的概念。

此外,在第一版中已经说到,虽然大量的数据中心建设为云计算的发展提供了坚实的硬件基础,但如果考虑最终的使用问题,公有云服务还是应该以应用和服务的落实为方向。并且由于初期的信息化建设已经满足了企业的通用需求,所以在升级至云计算服务时,企业往往不会采用一些标准化的解决方案,而会提出更具体的要求,所以一些之前在行业应用市场里有更多积累的传统企业,可能会慢慢进入这个市场。
从现在来看,这些情况都已经出现。 首先,公有云中针对行业的解决方案越来越多,而且越来越多的公有云服务商
开始开放接口,通过打造一个开放的生态系统吸引第三方进入,来丰富平台所能提供
的服务;其次,传统行业软件提供商也在进入市场,不是慢慢进入,而是被整个行业趋势推动着奔跑加入这个市场,以尽可能在整个变革过程中保持自己的市场竞争力和地位。

总而言之,云计算以如此迅猛的速度发展,确实有些出乎我的意料,但作为参与到其中的一份子,我又欣喜于整个行业所取得的进步。当然如之前所说,我们还在不断摸索和深化对云计算的理解,希望在不久的将来,云计算所提供的强大能力和便捷的资源使用方式,能更好地改善人们的信息化生活,促进整个社会的创新和变革。

著者
2016年3月

序言一
走向云的世界
随着云计算的流行,介绍云计算的书刊纷纷出现,但读者看了后可能仍会有云里雾里、不得要领之感。究其原因是有的论著没有强调云计算既是商业模式又是技术,而往往将这两者混为一谈,这就容易使读者感到困惑。这本书从一开始就将这两者明确分开,使读者有一个清晰的概念,人们感受到的丰富多样的云服务属于商业模式的范畴,而可以按需提供强大计算资源的云计算平台则属于技术的范畴。这两者不一定必须对应,即云服务既可以用传统技术来提供,云平台技术也可以支持传统的应用。当然,两者相结合是最理想的,是未来的发展趋势。这样,我们就能理解现在出现的一些非典型的云计算和云服务,这是云计算发展过程中的现象,不能因此就认为这些都是炒作。我们应当看到,云计算的技术和相应的标准将会不断完善,云服务的应用深度和广度将会不断扩展,这种大趋势是不可阻挡的。

正如作者所说,云计算是当代信息领域的重大创新,它在现阶段出现有其必然性,是解决信息社会“三大”(即“大用户”、“大数据”和“大系统”)挑战的切实可行的方案。为此,我们必须重视它、发展它。国家“十二五”规划要大力发展包括新一代信息技术在内的战略性新兴产业,云计算就是新一代信息技术的主角。

不过云计算确实很复杂,无论是从商业模式的角度还是从技术的角度,要将云计算讲清楚都不大容易,尤其是要使非本领域的专家能对云计算有一个全面的了解更非易事。为了帮助读者建立起对云计算和云服务全面、系统的认识,而不只是知道一些零散的技术或服务术语,作者站在系统工程的高度对云计算做了高度的概括,指出云计算的特别之处在于创造性地给出了一种组织的思想:组织资源以服务,组织技术以实现,组织流程以应变。这种系统工程的思想贯穿全书,成为本书的一大特色。

作者提出了云计算平台的六大技术特征:弹性、透明、积木化、通用、动态和多租赁,并且详细叙述了实现这六大特征的技术思路。这不仅对一般读者,而且对与云计算有关的管理人员和技术人员,都有助于他们全面深刻地理解和把握复杂的云计算。

云计算的优越性经得起实践的检验。本书列举出一些实例,强调了云计算催化 商业变革的作用,这些实例覆盖不同的行业,具有示范意义。虽然云计算还是一个新事物,人们开始时难免有所怀疑,不敢贸然使用,但越来越多的“吃螃蟹者”已经证明云计算能创造重大的社会效益和经济效益。我们应当创新、大胆地采用云计算。实 际上,在剧烈的市场竞争中,不创新的风险往往比创新的风险更大。

本书对云计算的写作高屋建瓴、深入浅出,这与作者的背景是分不开的。田溯宁先生是我国著名的企业家,在电信和国际金融领域具有丰富的知识和成功经验。在任职亚信控股公司联合创始人兼首席执行官以及中国网通集团副总裁期间,田溯宁 先生曾经构筑了中国互联网的高楼大厦,推动了中国互联网在初期的快速发展。现 在作为宽带资本的董事长,他又以“基地+基金”的创新模式在北京打造了一条涵盖 软硬件各环节的“云”产业链,推动中国云计算事业的发展,为中国企业能冲破旧有 IT产业格局、成为世界级领导企业而努力。而姚宏宇博士从中国科学技术大学毕业 后便赴美深造,有多年在硅谷从事大规模企业软件和互联网技术的研究、开发和管理 工作的经历,亲历了云计算逐步成长的过程。2007年回国之后,他又创办了友友系统 公司,并把它打造成中国云计算领域自主创新的代表性企业之一。为解决云计算面临 的“三大”挑战,姚宏宇博士在总结各方经验的基础上,推出了有自主知识产权、有 独创架构的云计算平台,强调以网络协同为基础,在此之上建立资源的高效、可靠调 度、存储体系,并针对“通信”、“存储”和“管理”提出了一整套解决方案,具有良好的“通用”性。本书归纳的云计算六大特征,在很大程度上反映了友友系统云计算平台的特征。

作者在本书最后提出,云计算是中国的机会。这个论断也是北京云基地和友友系统自身实践的经验总结。我们相信,越来越多的中国云计算公司将会用自己的创新实践证明这一论断,中国完全有可能乘云计算的变革之机实现中国信息产业的跨越式 发展。

综上所述,本书可以为一切想了解云计算、利用云服务的读者提供一把开启云计算世界的钥匙,即使是对云计算有所研究的人士,本书的很多独到见解也可以使他们开阔思路,具有参考价值。

中国工程院院士 倪光南

2012年12月于北京


序言二
上兵伐谋
信息技术正在使当代世界发生重大变化。科技和通信领域如闪电般迅速地进步,全世界的人们可以空前地彼此接近。在中国的管理信息化和实践中,如何让信息系统真正适应企业的发展变化,如何降低信息系统使用、升级、维护、实施和开发的复杂度,如何降低信息系统建设和运营的成本、提升其应用价值,云计算为以上关键问题的突破提供了广阔的创新空间。

友友系统公司总裁姚宏宇博士是云计算领域卓有建树的创业者。他长期以来参与和见证了云计算领域的发展,从雅虎财经频道到友友系统,从互联网的弄潮儿到云计算基础平台的提供商,对于海量数据、大规模分布式系统、云计算平台技术等当前热议的话题,姚博士有十几年技术研发前沿的丰富经验和深刻体会。这些内容通过本书娓娓道来,对读者了解并掌握云计算的关键技术颇有启示。

更难得的是,这不是一本关于云计算的泛泛之作。姚博士和田博士通过深入思考和旁征博引,为技术的发展理清了脉络,对云计算及更广泛的IT技术发展之道给出了精彩的论述。书中关于云计算的系统工程、知识经济的发展,以及对国内云计算规划、建设和运营方面的分析和思考,做了严谨精到的论述,对国内相关产业的发展 具有参考价值。

中国的经济总量已经位列全球第二、企业数量和体量全球第一、手机与互联网用户数全球第一,这些都是信息技术发展得天独厚的基础。在中国云计算的产业发展 建设中,需要采购先进的产品,需要采纳最新的技术,但是我们更需要站在一个更高的层面,如本书作者一样,从技术、产业和社会的多个维度进行分析和思考,这样才能更好地发挥后发优势,从追随产业变成引领产业,产生新时代的世界级创新。

《孙子兵法·谋攻篇》中说“上兵伐谋”,这本书对于云计算领域的总结与发 展,是一本可贵的智谋之作。读者将从本书中得到有益的收获,我们更期待籍由业界的共同努力,在云计算领域产生更多的中国创造,使中国成为世界信息技术创新的 中心。



用友软件董事长 王文京
2012年12月



自 序
“云计算”一词出现之后,市场上出现不少有关云计算的著作和说辞,许多都 给人以启示,但也有一些说法中存在值得商榷之处。在本书中,笔者希望能将自己对云计算的理解分享出来,抛砖引玉,使大家能对云计算有一个较为全面的认知。

本书的初衷在于向对云计算感兴趣的读者介绍完整的云计算概念和云计算的发展现状,并与业内人士探讨有关云计算发展可能性的思考,所以本书在写作过程中更多着力观点阐述而非技术说明,力争以通俗的语言展现云计算的全貌,而且在介绍一些方法和技术时并未对其理论基础做进一步说明,读者如有兴趣可通过本书所附参考 书目信息或其他途径进行深入了解。

全书共分九章。

第一章从需求的角度讲述了云计算出现和发展的背景,表明云计算的出现和普及,是互联网快速发展之下人们对信息生产工具不断变革的要求。

第二章和第三章着眼于对现有云计算概念和观点的梳理。其中,第二章对现在常见的三种云计算服务模式(SaaS、PaaS和IaaS)进行了解读,并说明云计算服务有 别于早期的互联网服务,形成了自己特有的商业模式,“一切皆可为服务”。第三 章对现在一些常见的有关云计算的概念和观点进行了解读和分析,指出云计算包含“服务”和“平台”两种概念,并帮助读者厘清常见技术与云计算之间的关系。

第四章提供了一种新的从底层平台来了解云计算的视角,通过对云计算平台的“弹性、透明、积木化、动态、通用和多租赁”这六大核心技术思想进行说明,阐述了云计算平台如何以“系统工程”的思路来解决“大”问题。


第五章在分析现有的企业信息系统所面临的问题的基础上,给出了一种基于云计算平台的新型企业信息系统架构,并对信息系统架构的应用环境进行了举例 说明。

第六章以统一数据支撑平台和统一运行支撑平台双引擎的概念,重新解读了企业信息系统架构的问题。并以智慧城市的建设举例,指出大数据不是某种东西,而是一种数据生产力,而借助云计算平台的优势,我们可以更有效地从大数据中发掘出各 种价值。

第七章和第八章分别从商业、生活和社会的角度,论述云计算已经和将会带来的影响和改变。

第九章则对中国和美国的云计算发展现状进行了比较,并尝试探讨云计算对于中国企业的机遇和意义。
本书期望能通过这些内容的讨论,阐明以下观点。 首先,云计算并不神秘,但也并非只是市场宣传噱头。无论是国内还是国外,云计算均早已落地使用,影响也在不断扩大,其可能产生的意义更是为人们勾勒出一个美好的“云”时代的远景。从实用主义的创始人、美国哲学家皮尔士的观点来看,科学的方法要求我们不仅说出我们所相信的真理,还要说出我们是如何达到它的。云计算不仅为我们描绘了技术发展可能给社会带来的改变,还给出了实现这种变 革的科学方法,即根据上层应用需求的不同,以一种灵活可靠的组织机制,通过对底层资源和业务模块进行调度和重组来实现系统平台结构的转变,从而重新定义资源的使用方式和服务的提供方式。因此,无论是在应用层面还是技术层面,云计算都绝非 “忽悠”。

其次,云计算市场前景广阔,但发展仍需各方努力推进。现在企业所需面对的用户和数据与日俱增,即便是一个小企业,它所面临的业务系统的并发访问流量、数 据存储和管理压力或者系统架构的复杂度,都可能远超过去的大型企业,这些“大用户、大数据和大系统”问题的日益凸显,为云计算的发展提供了广袤的土壤。物联网、移动互联网等技术的快速发展,也在不断催生新的云计算应用市场,由此可以预期云计算发展的光明前景。但我们也应意识到云计算市场的成熟是一个循序渐进的过程,除技术的发展之外,人们思维方式的转变速度很大程度上决定了这个过程的快慢。因此,产业链上的各方应着眼于未来,努力做好现在,一方面推出具有吸引力的 服务和产品,另一方面,需要人们思维的转变和社会诚信体系的快速完善。面对问题,我们应该多些耐心。

再次,云计算不一定能解决所有问题。云计算的发展始终以市场需求为导向, 这决定了云计算与其他技术一样,有其合理的适用领域。因此在某些情况下,采用其他技术对于用户而言或许是更好的选择。本书在第三章简单列举了几种不适合使用云计算的情况,以供探讨。

非常感谢倪光南院士和王文京先生于百忙之中通读全稿,提出宝贵意见,并为本书作序。感谢陈志伟先生为本书成稿提供的大力支持,他在内容组织和编辑上所提 供的帮助使本书以更好的形式呈现给大家。另外,还要感谢姚剑先生和张矩先生在本书成稿过程中提供的宝贵意见和行文素材,也非常感谢苏晣女士,杨力先生和杨苓女士的专业坦率的建议,他们的指导为本书的创作提供了很大的帮助。最后,邱文娴女士等人为本书做了很多资料整理和文字校对工作,在此不一一列举,但同样致以我的谢意!

本书在写作过程中参阅了国内外诸多文献和研究专著,并引用了一些公司和相关人士的观点,在此向他们表示感谢。

本书观点主要源自我们长期以来的业务实践和思考,一家之言难免有失偏颇, 书中如有错误和不当之处,欢迎读者批评指正。



著者
2016年1月






前 言
什么是云计算
很多人觉得云计算应该是个具体的事物,所以初听到云计算时,总会先问一 句:“什么是云计算?”

什么是云计算?问的人轻松,回答的人却很费力,仿佛描绘一种味觉,感觉强 烈,却不知如何抓住要领呈给面前的人看个仔细。倘若尽心给出一种解释,或画出一 张架构图,听众可能还是一脸茫然,回答的人多半会急得皱眉跳脚,也有人会撂下一 句:“你记得是IaaS、PaaS和SaaS即可”。

话虽好说,理却难明。即使听懂了解释,还是有许多人会不知道“云计算”缘 何而来,用于何处。
1. “云计算”一词最早被大范围的传播应该是在2006年。2006年8月,在圣何塞举
办的SES(搜索引擎战略)大会上,谷歌的CEO施密特(Eric Schmidt)在回答主持人提出的一个有关互联网的问题时说:“……现在出现了一种新的商业模式……人们还没有意识到这个机遇有多大。这种模式的前提是,数据服务的架构应该在他们称为‘云计算’的服务器上,即在某处的云里,如果你有合适的浏览器或接入方式,那么不论你有什么设备,你都可以访问这些数据。”

很多人认为云计算自此出现,因为从此之后各种有关云计算的概念层出不穷,“云计算”开始流行。

但2006年出现的只是“云计算”这个词,仿佛一个幕后工作人员忽然被主持人介绍到台前拿了奖,在媒体长篇累牍的报道下,一夜成名。而实际上,云计算本身无论是商业模式还是技术都已经发展了很长时间,并在实践的过程中逐步演进。在2006年时,云计算本身未必发生质变,但既然人们对云计算的认知发生了质变,所以将其理论化、体系化势在必行。德国政治学家伊丽莎白·诺艾尔-诺依曼(Elisabeth Noelle-Neumann)提出过一种“沉默的螺旋”(Spiral of Silence)的理论,认为人们在表达想法和观点的时候,如果觉得自己的观点是公众中的少数派,就不愿意传播自己的看法,但如果看到自己赞同的观点受到广泛欢迎,就会乐于公开表示自己的观点 或态度。这样,多数派的声音会越来越大,形成一种螺旋式上升的模式。云计算概念的忽然兴起或许就与此相仿。

虽然谷歌为云计算命名,但真正明确云计算商业模式的是亚马逊。在施密特态 度鲜明地提出“云计算”这个词的几个星期之后,亚马逊推出了EC2(动态计算云) 服务,将“云”这个名词包含在内。

亚马逊是个神奇的公司,销售包括图书、DVD、电脑、软件、电视游戏、电子 产品、衣服、家具、计算资源等一切适合电子商务的“商品”。在推出EC2的时候, 亚马逊也面临不少“这个零售商为什么想做这些”的质疑,但CEO贝索斯对商业的 概念理解明显要宽泛很多。贝索斯无疑认为不管是“PC+软件”,还是这种从“云” 里取得服务的方式,不仅关乎技术的问题,还都是一种“商业模式”。

最早时,为了让网站能支持大规模的业务,亚马逊在基础设施建设上花了很大功夫,自然也积累了很多经验。为了将平时闲置的大量的计算资源也作为商品出售,贝索斯的亚马逊公司先后推出了S3(简单存储服务)和EC2等存储、计算租用服务。贝索斯表示,“我们认为在某一天这也会是一项非常有意思的业务,所以我们这么做的目的很简单:我们认为这是个好业务。”[1] 虽然媒体认为这是贝索斯安全度过互联网泡沫之后的一笔冒险赌注,“亚马逊的CEO想要用他网站背后的技术来运行你的业务,但华尔街只想他看好自己的店面。”[2] 但EC2确实影响了整个行业,也影响了很多人,当时业界明显受到了震动。

在亚马逊之前,虽然有不少服务按现在来看都有云计算服务的特征,但即使是谷 歌所提供的服务,仍然可以看做是互联网服务意义内的一种商业模式。而亚马逊推出 IaaS(基础设施即服务)之后,仿佛给互联网世界开了一扇窗,告诉人们,还可以这样来运营计算资源,还有一种新的商业模式,叫云计算。而那些与传统互联网服务形似神离的服务模式,也终于可以独立出来,找到自己归属的阵地——云计算服务。
2. 云计算起源于互联网公司。虽然互联网公司给人的印象大多是钱多烧不完,但其实多数互联网公司都很注重成本控制。

尤其是早期不少互联网公司都起源于学生宿舍,费用的掣肘使这些公司尽可能合理地利用每一个硬件,最大程度地发挥机器的性能。所以早期的互联网公司都会自己选主板、硬盘等配件,然后进行组装,完成服务器硬件的设计。这种传统沿袭下来,就是现在硬件定制化日趋流行的原因。如今谷歌、Facebook都会自己动手设计和生产服务器,以最少的配件最大可能地支持特定功能需求,并降低服务器的能耗。

对于硅谷工程师而言,超级家电连锁店Fry's或许是最值得逛的“购物天堂”。硅谷有不少Fry's的连锁店,由于Fry's占地面积很大,东西齐全且便宜,理论上一个技术人员可以在这里买到所有的零配件,然后组装一个主板,所以这里很受工程师的欢迎。雅虎的工程师们也曾是Fry's的常客。

2000年,互联网经济处于第一波热潮中。这时全球互联网用户人数已经从1995 年的几千万增至数亿,并仍在不断快速增长。快速增长的用户数量,使许多网站感受到了系统支撑的压力。雅虎也一样。当时雅虎经常面临的一个问题是,一个频道设计完成之后,在上线之前测试可支撑一定数量的用户(比如10万人),但第二天一上线就出现达到指标的情况。怎么办?只有增加设备,尽可能提高系统对服务的支撑能力,因此即刻购买设备然后连夜组装机器的情形并不少见。到Fry's选买配件是不少工程师的工作内容之一,当然也是乐趣之一。雅虎的共同创始人之一大卫·菲洛(David Filo)至今还喜欢组装机器,不知道是不是一种习惯使然。

为了支撑业务运转,满足用户需求,服务器的整体性能在不断上升,相应地,服务器的数量也在不断增加。这很自然会引出一个问题,数十台机器可以手动组装维护,上千台甚至上万台机器该如何处理?人能管理的机器数量始终有限,即使劳作不休,所能承受的负荷也有一定的极限。每一个大型互联网公司,都曾遇到过这个问 题:如何管理和维护成千上万台服务器?

很多事情在讲述的时候似乎很有意思,但当时经历的时候会让人觉得绝望。“大系统”的压力对于系统维护工程师而言,就是这样的事情。
2000年初,笔者(此处指姚宏宇博士)当时在雅虎公司编程之外做的最多的两件事,现在听起来或 许还有些“土”:一件是组装机器,一件是维护机器,而这只是为了保证在足够 多且可靠的硬件支撑下,业务系统能够有效应对不断快速增长的用户需求。
在当时,笔者加班到晚上十点钟左右是常有的事,然后还要从加利福尼亚州的桑尼维尔(Sunnyvale)开车回家,再和朋友一起找地方吃饭。由于住的地方位于南圣何塞(South San Jose),附近是越南人聚集地,太晚的时间只有越南米粉
(Pho)可以吃,于是以越南米粉果腹的时间持续有半年之久,以致现在对“牛 肉粉(Beef Pho)”产生排斥感。吃完饭之后回去还要继续工作,凌晨两、三点才能睡觉。美股的开盘时间是东部时间9:30~16:00,这意味着在此之前必须保证交易网站服务的正常运行,所以必须每天早上6点准时起床,来检查系统的运行状态。很多人每天都会收到大量邮件,但早上刚起床就看到上万封邮件和几百条呼叫
(Pager)信息,并且全部来自机器的情况并非人人都有体会,虽然是专职于此的技术人员,这种极大的压力状况还是很容易让人产生无力感,持续下去会有崩溃的感觉。怎么办?只有把雅虎财经频道大部分的底层代码进行重写,找回些生活。
现在看来,大量用户带来的大流量的压力,以及大系统的问题不仅对于每一个 互联网公司来说仍然普遍存在,而且已经越来越多地出现在其他传统企业中。
谷歌在1998年时的访问量约为每天1万次,但到2007年时,日访问量已达到5亿多次,机器数量也已经超过50万台。对于大多数互联网企业而言,虽然服务器规模不至于如此庞大,但随着用户规模的增加,少则数百台,多则上千台的服务器仍然对企业的运维管理能力提出了挑战。

对于企业来说,随着系统越来越大,维护人员却不能对应成比例增长——企业 要考虑人力成本,还要顾及运维效率的问题——即便如此,雅虎在某一阶段有过半的成本都耗在旧有设备和系统的维护上,而无法把大部分资金投入到新业务的开发中。公司能创造新价值的部分越来越少,创新也越来越少,只能求变。

除了大规模系统的维护之外,海量数据的存储问题同样是互联网公司头疼的问题所在。随着网络技术和服务的快速发展,用户平均在线时间的延长和用户网络行为的多样化,导致各类数据在不断涌现,移动终端的出现更是扩充了网络服务的内容与范围,这些都大大增加了互联网公司需要承载的数据量。大量的用户数据对每一个公司而言都是宝贵的信息财富,但是如果只是购买邮箱存储设备一年就要花费几亿美金的话,每个CEO都会再权衡一下,于是雅虎后来有了Hadoop的研发。

因此,在流量和服务器数量都高速增长的情况下,“一个能够与网页增长速度保持同步的系统”[3]必不可少,这也是谷歌三篇有关分布式的论文(注: 这三篇论文分别是有关GFS(Google File System)分布式存储系统、MapReduce分 布式处理技术和BigTable分布式数据库的论文,下文也有所提及) 之所以具有重要指导意义的原因——一切均出自实践。

随着信息经济的发展,许多传统企业现在也在加速向互联网化转型。最初存在于互联网企业的压力也出现于其他组织机构中,对大数据的管理和处理需求也在这些组织中产生。比如一个政府部门,如果考虑到信息中心和各垂直部门的信息资源,可能会有数千台服务器和数百套业务系统需要整合和管理,而且多数分布于不同的地理位置,该如何对这些资源进行集中统一管理?

或许,这些组织也可以考虑选择云计算。

3. 对于大多数中小型组织和个人而言,云计算的魅力来自那些灵活、弹性和随时随处可用的云计算服务,比如亚马逊的计算资源租用服务,或者一些针对企业和个人的“云存储”服务。这些服务是大多数人与云计算最直接的接触,也形成了他们对云计算的直观认识。但是我们知道,云计算应该包含两方面的内容:服务和平台。云计算既是商业模式,也是技术。

美国加州大学伯克利分校在一篇关于云计算的报告中,就认为云计算既是指在互联网上以服务形式提供的应用,也是指在数据中心里提供这些服务的硬件和软件,而这些数据中心里的硬件和软件则被称为“云”[4]。

云计算服务代表一种新的商业模式,SaaS(软件即服务)、PaaS(平台即服务) 和IaaS(基础设施即服务)是这种商业模式的代表表现形式,美国国家标准与技术研究院(NIST)就曾于2011年发布过一份《云计算概要及建议(草案)》(DRAFT Cloud Computing Synopsis and Recommendations)的报告,对SaaS、PaaS和IaaS等进行了详细说明。很多人认为SaaS必须运行在PaaS上,PaaS必须运行在IaaS上,但实际上三者之间并没有绝对的层次关系,它们都是一种服务,可以有层次叠加关系,也可以没有。

对于任何一种商业模式而言,除了理论上可行之外,还要保证实践上可用。因此,伴随着云计算服务理念的发展,云计算也形成了一整套技术实现机制,而云计算平台则是这套机制的具体体现。

但云计算服务和云计算平台之间并没有相互依存的必然关系。即如果以传统的 底层架构,或类似超级计算等实现的服务具备云计算服务的三个特点:大用户群、永远在线,以及随时随地可接入,也可称为云计算;而云计算平台本身在设计上就针对 了“大用户”、“大数据”和“大系统”的问题提出了解决办法,这也是在提供云计算服务时会遇到的典型问题;所以,以云计算平台支撑的云计算服务,不仅可以提高服务的效率,而且还会充分发挥平台的能力和优势。

很多人会把服务和平台模糊起来进行介绍,也有很多人因此会混淆对云计算的认知。看到云计算,眉眼之间都觉得熟悉,便以为是旧识,不待招呼细聊,引手就向别人介绍,这是云计算,以前是……

按照“选择性认知(Selective Perception)”的理论,人们在处理信息时都有一种选择性倾向。人们不可能吸收他们所观察到的所有信息,而只能从接收到的零碎信息中依据自己的兴趣、背景、经验和态度主动地进行选择性接受。知识结构、看问题的视角和商业利益的各不相同,就使各个群体对云计算形成了多种解读方式。

从技术角度而言,云计算最早的出身,应该是超大规模分布式计算。比如雅虎为了解决系统对大规模应用的支撑问题,而设计的超大规模分布式系统,目的就在于将大问题分解,由分布在不同物理地点的大量计算机共同解决。但随着技术不断的发展和完善,云计算在解决具体问题时,借鉴了不少其他技术和思想,包括虚拟化技术、SOA(面向服务架构)理念等,所以很多人乍看之下会觉得相似。但云计算与这些技术有根本性的差别,不仅体现在商业应用上,还体现在实现细节上,本书将在之后的章节对此进行较为详细的说明。

我们知道,所有科学的认识都是以一种层次递进、螺旋上升的方式发展的,每一种技术都有其适用的场景和范围,比如量子力学不会否认经典力学在一些物理问题上的作用。所以,对于云计算来说,糅合了各种技术不代表云计算比其他技术更优秀,而是说明云计算技术确实是针对“大用户”、“大数据”和“大系统”发展出来的一种新的实现机制。

另外,为了区分云计算的部署使用方式,现在经常提到的还有“公有云(Public Cloud)”、“私有云(Private Cloud)”和“混合云(Hybrid Cloud)”的概念。

公有云通常是指开放给公众使用的云基础设施。可以是企业、院校、政府机构,也可以是一些合作机构来持有、管理和运营公有云。私有云通常是指为一个客户单独使用而构建的云基础设施,因而提供对数据、安全性和服务质量的最有效控制,并可以控制在此基础设施上部署应用程序的方式。通常,多数中小型企业可以从不同服务商提供的各种公有云服务中受益,而鉴于现在企业所需面对的用户量、数据量及系统复杂度都在快速增长,即便是一个小企业所面临的压力,从过去的大型企业的角度来看也都已经是“大”问题,因此通过建设私有云来应对系统压力、满足业务系统需求,正在成为越来越多企业和组织的选择,并且随着企业规模的增加,私有云建设所能带来的收益也在愈发突显。

从现实情况看,公有云和私有云的区别主要体现在商业应用方面,技术上应该是互通的,区别不大。技术层面最根本的区别是访问权限和访问模式的控制,即可访问的范围决定了“云”的业务性质。如前所述,通常意义下,私有云所面向的是一个组织机构,而非公众,但这界限其实并不绝对和清晰。比如谷歌的云操作系统,对内使用而言是私有云,而对外提供Google App Engine时,就变成了公有云的PaaS服务。

混合云也并非半“私有”半“公有”,而是在某一块资源不够的情况下,从另一处借用而已。比如游戏服务提供商Zynga有自己的“云”运行服务,但在用户使用高峰期时,又会租用亚马逊的IaaS服务。

长远来看,公有云是云计算的最终目的,但私有云和公有云会以共同发展的形式长期共存。好比银行服务的出现,货币从个人手中转存到银行保管,是一个更安 全、方便的过程,但也会有人选择自己保管,两者并行不悖。
4. 云计算的一个特别之处,在于从技术上创造性地给出了一种灵活可靠的组织机制,通过将各种资源进行快速调度和组合,来满足不同业务应用的需求。这不但适用于业务模块,而且同样适用于底层硬件资源的“积木式重组”思想,重新定义了反映在上层的计算资源的使用方式、服务的提供方式,以及社会化大生产的协作过程,为我们解决互联网带来的“大”问题和创新服务模式带来了一种全新的思路。也就是说,云计算带来了一种组织和实现机制,使我们可以组织资源以服务,组织技术以实现,组织流程以应变。

通过云计算技术的使用,大量的硬件资源可以通过虚拟化技术结合成一个有机整体,然后通过数据传输、负载均衡等技术来相互依赖,相互作用,完成预设功能,形成一个标准概念上的“系统”。这个系统的特征,是在物理上分散,在逻辑上集中,也就是我们说的分布式集中。

比如,当听说亚马逊EC2云基础设施平台分布在全球7000多个机架上,或者谷歌在全球有将近100万台服务器时,你或许会有些惊讶,因为对于不同地区的访问者而言,相应的服务在使用体验上感受不到任何的差别。对于企业来说,不论有多少台服务器,分布在全国多少地方,只要可以联网,则在资料存储和管理、系统使用和维护上,都可以实现“集中”化。

这种大量资源的逻辑集中,一是意味着通过技术手段充分利用这些资源,我们可以满足“大用户”的需求,解决“大数据”的问题;二是通过对不同资源(硬 件、应用)进行调度,我们可以基于一个平台提供多种服务,即各种IaaS、PaaS和 SaaS,以及XaaS(一切皆为服务),满足各类用户的需求。

有组织,必然有管理。既然云计算创新性地将大量计算资源组织在一起,协同工作,则云计算必须在信息技术的层面,给出一种针对大规模系统的科学管理办法。这种方法能够解决资源组织管理过程中的各种问题。比如:在增加节点、扩大系统规模的同时,还能保证系统性能的近线性提高。在系统任何一个部分都有可能出问题的情况下,保证系统整体的稳定运行。在面临不同的业务需求时,快速将资源重新组织,以新的架构适应变化。这些都要求云计算创新性地将各种技术组织起 来,“调和”实现各种功能。所以,从某种意义而言,云计算是信息技术的“系统 工程”。

我们知道,系统总是处在一定的环境背景中,与环境保持着某种程度的质量、 能量和信息的交换。一个庞大的信息系统内部会产生多种变化,外部的需求和环境也 随之而改变,所以整个系统必须不断自我管理和调整应对变化。反映在应用层面,则是指大量计算资源组织在一起,必须通过系统内部资源的整合来支撑各种应用,并可通过快速重组来应对变化,通用于各种网络服务。为此,作为底层技术支撑的云计算平台具有六大技术思想:弹性、透明、积木化、通用、动态和多租赁。这六大技术思想的灵活使用,决定了云计算平台可以通过虚拟化技术整合各类软硬件资源,可以借鉴SOA的理念实现系统和硬件层面的松耦合,进行计算、存储和应用的自由调度,以及可以通过负载均衡等方法解决“大”问题。

如同乐高积木模块之间可随意拼接的“松耦合”性,在一个高弹性可迁移的体系架构下,通过工作流引擎等方式,云计算平台可实现硬件资源和应用模块的动态调用。在这种被我们称为“积木化”的技术思想下,云计算平台可以将资源和模块重新组合,快速形成新的流程来应对业务需求变化。这样,企业在业务转型或业务拓展时,如果需要底层IT系统提供信息化支持,则只需明确业务流程,即可由云计算平台快速实现业务系统的重构,为业务革新带来新的可能。

可以说,云计算扩大了我们对服务的定义,并带来了一个全新的计算资源管理思路,以及一种信息技术的系统工程理念。
5. 云计算的发展起源自互联网公司,但由于各互联网公司的业务方向不同,也造成了各公司发展云计算技术的路线并不相同,有如不同的技术流派,各有特点。
……
当然,尽管各种“流派”的技术理念和实现方法都不一样,但其目的都是为了解决“大数据”、“大系统”的问题,并为上层业务应用提供支撑,所以在优劣上没有可比性。对于用户而言,适合自己的才是最好的,在选择云计算技术服务时,需要从业务场景、开发能力,以及资金预算等各方面综合考虑。
6. 有些人觉得云计算“云里雾里”,是忽悠。这是一种误解。 首先从服务的角度说,云计算的落地是已然确定的,大家使用到的Saleforce.com的在线CRM应用,苹果的iCloud,谷歌的App Engine,亚马逊的S3、EC2等都是云计算服务。作为互联网服务的一种延伸,云计算服务或许可被称为Internet 2.0。云计算 服务自然有一些互联网服务的特征,但也有自己的特点,形成了新商业模式,比如 “按需使用”、“多租户支持”等。这种服务方式已经在用其产生的市场力量影响着人们的生活和工作,影响着企业的业务模式和经营思想,以及社会的方方面面。

比如美国总务管理局(GSA)在将门户网站USA.org迁移至一家公司提供的云服务中之后,网站升级时间从包括设备采购在内的九个月,缩减至最多一天。传统的 主机设置下,每月的宕机时间大概为2小时,而在云的解决方案下,宕机时间基本为零。按其旧有设置,美国总务管理局每年要为USA.gov支付235万美元,这包括共计200万美元的硬件更新和重新获得软件许可的成本,以及35万美元的人力成本。而在迁移到云服务之后,总务管理局目前在USA.gov上一年支付费用仅为65万美元,这意味着节省了170万美元的所有相关费用。[7]

其次,从技术应用的角度看,云计算平台给出了一种新的计算资源的使用和管理思路。在云计算之前,购买更多更高性能的服务器,是企业应对大用户、大数据问题时的唯一选择。而云计算的出现,创新性地以“分布式集中”的方式,将分散的廉 价计算资源组合在一起,发挥“群体”的功能,来应对大用户和大数据的压力,从而 形成了新的“机器管理机器”的思路,在技术实现上有完整的体系架构。

除去亚马逊、谷歌、Salesforce.com等互联网企业使用云计算平台构建自己的业务系统不说,在中国国内的各领域中,云计算平台也已经落地使用,服务各类组织机 构。比如我们曾帮助一个全国性的政府机构构建数据云系统,把分布于全国数百个地市内的业务系统中生成与维护的业务数据,进行集中存储管理,并保证系统整体性能,以及高可靠性和高可用性。也曾帮助某电网公司通过对现有IT系统的部分子系统进行云化改造,实现了对分布于不同地区的业务系统的集中管理和统一调度,以及所有业务数据的统一存储。

因此,不论对于个人生活,还是企业应用,云计算都产生着深刻的影响。一些人认为云计算还有些“虚”,一是因为云计算还处于普及推广的过程中,云计算应用的大量“落地”需要时间;二是因为就公有云而言,很多人或者企业从心理上还没做好接受云计算服务的准备,不放心将数据“存放”在他处。然而,回顾信息技术的发展历史,我们可以发现,不论是从大型机到个人电脑,将电脑带给所有人的阶段,还是从个人电脑到互联网,将信息带给所有人的阶段,新的信息技术从出现到普及应用都有一个渐进的过程。

如同一种进化,社会自身会不断向前推进发展,并因此而产生不同的递进式的服务模式和技术需求。人们对计算的需求,促进了计算机的普及发展;沟通分享的需求,又促进了互联网的诞生。云计算也是一种社会需求推动的结果。在获取知识、不断创新和分享的渴望下,人们对信息服务和产品不断提出新的要求。云计算的出现,一方面解决了系统层面日趋突显的压力问题,另一方面拓宽了网络应用的范畴和创新的可能性,在极大降低人们创造知识和分享知识成本的前提下,进一步满足了人类社会获取、创新、分享知识的需求。因此,云计算是信息社会发展的必然产物。随着应用环境的发展,云计算会越来越普及,带来一个全新体验的信息社会。

通常所说工业革命的意义之一,在于使人们摆脱了生产条件的束缚,极大地解放了物质产品和有形服务的生产力。云计算的出现,也在逐步使人们摆脱使用计算资源和信息服务时的束缚,降低知识获取的成本,也使知识的产生变得更容易、分享变得更方便,革命性地改变了信息产品与知识服务的生产力。或许云计算与蒸汽机、内燃机及电力有同等重要的意义,会带来一场信息社会的工业革命。

现在来看,云计算仍然在发展的过程中,未来会发展到什么高度还未知。我们还在不断摸索和深化对云计算的理解,毕竟对于新事物都有一个听闻而知见的过 程。对于现阶段的云计算而言,最需要的是支持,最怕的是轻视,或如管窥蠡测地轻下结论。但无论如何,云计算已经对社会生产和生活的一些领域产生了积极的影 响,相信随着技术的发展和服务的创新,云计算的时代将会很快到来,并最终影响到我们每一个人。

目录

目录 阅读
第一章 信息需求的新菜谱
第二章 一切皆可为服务
第三章 云计算之辩
第四章 信息技术的系统工程
第五章 信息系统架构的转变
第六章 大数据的发动机
第七章 商业变革的催化剂
第八章 信息社会的工业革命
第九章 云计算是谁的机会

读者评论

电子书版本

  • Epub
  • Mobi

图书类别

相关图书

Kubernetes权威指南:从Docker到Kubernetes实践全接触(第5版)

龚正 吴治辉 闫健勇 (作者)

Kubernetes是由谷歌开源的容器集群管理系统,为容器化应用提供了资源调度、部署运行、服务发现、扩缩容等一整套功能。Kubernetes也是将“一切以服务(...

 

Harbor权威指南

张海宁 邹佳 王岩 尹文开 任茂盛 等 (作者)

在云原生生态中,容器镜像和其他云原生制品的管理与分发是至关重要的一环。本书对开源云原生制品仓库Harbor展开全面讲解,由Harbor开源项目维护者和贡献者倾力...

 

云原生服务网格Istio:原理、实践、架构与源码解析

张超盟 (作者)

本书分为原理篇、实践篇、架构篇和源码篇,由浅入深地将Istio项目庖丁解牛并呈现给读者。原理篇介绍了服务网格技术与Istio项目的技术背景、设计理念与功能原理,...

¥97.30

边缘计算方法与工程实践

张骏 张骏 (作者)

本书以工程实践为导向,详细阐述和分析了边缘计算的整体技术细节。本书对边缘计算的概念、原理、基础架构、软件架构、安全管理等方面都进行了深入剖析,并对业界的发展现状...

 

企业云——传统IT向云迁移的实践指南

(美)James Bond(詹姆斯 邦德) (作者) 操先良 (译者)

本书是由HP首席云计算技术官James Bond所著,他在业内拥有长达25年的IT经验,并长期从事云计算在大型商业组织和政府部门的落地工作。在本书中,作者从云架...

¥59.00

让云落地:云计算服务模式(SaaS、PaaS和IaaS)设计决策

(美)Michael J. Kavis(迈克尔 J.凯维斯) (作者) 陈志伟 (译者)

云计算落地已成事实。从前几年的概念普及,到如今越来越多的企业将业务迁移至云上,云计算正在改变整个社会的信息资源使用观念和方式。<br>云计算还在不断成长,技术细...

¥65.00