当前的IT界有两大高速列车,一是以“Kubernetes”为标杆技术的云计算,二是以“Tensorflow和PyTorch”等为代表的机器学习。如何使二者结合起来,成为近期IT界讨论的热点。Kubeflow的横空出世,有效的连接起了Kubernetes 和各个机器学习的框架,提供了机器学习在Kubernetes上的端到端的解决方案。
本书讲解Kubeflow以及其社区的技术栈,包括机器学习的流程编排技术Pipelines、并行模型训练技术TFJob和PyTorchJob等、超参调优技术Katib、服务发布KFServing,机器学习的Python SDK Fairing等,涉及到机器学习的各个方面。本书结合理论和实战,详细阐述了Kubeflow社区的新技术和新方案。最后,展望了Kubeflow的前景和AI Hub的发展趋势。
云计算和机器学习是当前IT界最火热的两大领域,以Kubernetes为代表的云计算技术如日中天,以Tensorflow和PyTorch为代表的机器学习技术也如火如荼。Kuneflow的横空出世,犹如一座桥梁,有效的连接起了云计算和机器学习,一时之间成为了IT界的焦点。本书全面的介绍了Kubeflow社区的各项技术,涉及到机器学习的方方面面,语言通俗易懂,示例详尽,对于机器学习的初学者和从业人员来说,具有很高的参考价值。
第三次人工智能的“冲击波”提出了很多机器学习网络结构。卷积神经网络作为深度学习的代表之一,被广泛应用于计算机视觉识别系统、智能监控系统、社交网络图片标记,以及图像分类、机器人、无人机、自动驾驶汽车等场景。循环神经网络被广泛应用于自然语言理解、语音处理等场景。编/解码模型主要用于图像或序列生成,如机器翻译、文本摘要、图像描述问题等。胶囊网络作为深度神经网络的一种新兴形式,正在试图模仿人类大脑处理信息等。很多机器学习的成果已经成功落地,进入人们的工作和生活中。同时,随着时代的发展,机器学习面临的问题也越来越多。例如,大型的机器学习作业很难在本地完成,需要使用云端资源来提高模型训练的效率、降低服务维护的成本。
当前,云计算已经成为许多领域中必不可少的计算服务,机器学习也试图通过云计算来进行分布式训练,从而提高机器学习的模型训练效率,并且进一步扩展其应用范围。Kubernetes是云平台领域的标杆技术,广泛地应用于公有云、混合云和私有云的部署中。如何使机器学习更好地在基于Kubernetes的云平台上运行,是近年来IT行业的热点话题,也是各大IT公司试图解决的重要问题,Kubeflow就是在这样的背景下横空出世的。Kubeflow的诞生为Kubernetes生态系统画上了绚丽的一笔,对机器学习工程师来说,可谓雪中送炭。Kubeflow有效地连接起了机器学习和云计算两大领域,一时之间成了“兵家必争之地”。
本书在编写的过程中,得到了很多IBM同事和Kubeflow社区贡献者的帮助,特别是胡雷雷、寇潇、支阿龙、王占伟、台慧敏、贠振欧等,还得到了IBM经理王亮的大力支持,在此表示诚挚的感谢!
由于时间仓促,书中难免有不足之处,请读者勘正。本书是基于Kubeflow 0.7编写的,由于Kubeflow社区的高速发展,本书后期会有技术和方案上的改动,读者在阅读本书的过程中,还需要参考Kubeflow社区的最新资讯。此外,笔者会通过GitHub更新一些书中过期的方案和技术给读者作为参考。
何金池