分布式系统|IBM Spectrum LSF: 分布式系统的“瑞士军刀”( 二 )

LSF也支持容器化的应用的调度，LSF可作为Kubernetes集群的热插拔调度器，根据策略将Pod绑定到特定节点，由Kubelet在目标节点上执行和管理Pod生命周期，HPC作业可以在不影响Kubernetes Pods的情况下提交和执行。

文章插图
同时，LSF支持混合云策略，LSF有一个非常受欢迎的功能：Resource Connector。如果在作业激增的情况下，等待作业较多，本地资源不足的情况下，Resource Connector可以迅速的向公有云或者私有云申请资源，然后基于智能化的策略，把作业调度到云端资源上执行。如果业务量下降了，根据预设的门限，即刻释放云端资源。这种可伸缩性，有效的提高计算效率的同时，为客户节省了费用，真是鱼和熊掌二者兼得也！
在HPC集群中，性能非常重要，在LSF 10版本中，实现了无与伦比的大规模高性能，并且包含了很多创新性功能，提高了易用性和可访问性。LSF 10支持数以千计的并发用户数，同时管理数以万计的节点资源，同时调度数以百万计的作业。通过IO模式优化、将数据移到更靠近作业的地方、处理器间通信的优化等方法，来提高作业的吞吐量性能。在LSF 10的Benchmark测试中，LSF可以在每小时调度分发9百万的作业(超短作业)。在另外一组测试环境中，在100，000个Slots的LSF集群，纵向对比了LSF的性能提升，从图中我们可以看是LSF 10的性能得到了大幅提升。

文章插图
2. LSF的小伙伴们俗话说，一个好汉三个帮。LSF的核心的功能是根据集群的资源情况对作业进行调度和分发，到今天，LSF已经发展出了一个大的家族，LSF更像是一个家长，以“带头大哥”的身份带领其家族的小伙伴们，为客户降低运营成本，提高生产率。具体看，LSF家族的核心价值有：
· 通过有效的调度和共享策略提高资产利用率
· 通过易用性、易访问性和简化来提高用户的工作效率
· 通过洞察如何使用HPC环境来提高操作效率

文章插图
下面有请LSF家族中几位主要的小伙伴们亮相：
2.1 LSF AC (Application Center)LSF AC是LSF的Web Portal。作为是LSF家族中“大师兄”，为集群用户和管理员提供了灵活、易用的界面，使用户能够直观的和LSF集群进行交互。有了LSF AC，妈妈再也不用担心程序员小明记不住复杂的LSF后台命令了！用户可以通过Web浏览器轻松愉快的完成作业的基本操作，如停止、暂停、恢复或重新排队作业，也可以在Web界面监控作业的运行情况。同时，LSF AC有很多应用程序的模板和脚本指南，这些模板和指南，很好的简化了作业提交，很大程度上降低用户的操作错误概率。
LSF AC不光有电脑客户端，也支持手机客户端，用户随时随地的掌握作业的运行状态和资源情况。

文章插图
2.2 LSF PM (Process Manager)在一些LSF的应用场景中，很多作业之间有依赖关系，特别是近几年来的容器化，微服务化，并行化作业愈发盛行，面对错综复杂的作业依赖关系，如果没有一套流水线的管理工具，那对于这些用户来说，简直就是灾难。LSF PM就是肩负着这个使命而诞生的，使用这个流水线工具，LSF用户可以在提交作业前，图形化的勾勒出作业的先后顺序和驱动事件，然后再提交执行。使用直观的图形界面记录和查看工作流步骤和执行情况，允许用户自动执行容易出现人为错误的、或者冗长重复任务。
同时，用户可以通过LSF PM设置一些驱动事件，比如文件事件(比如文件产生或者消失的时候，触发某些作业)，时间事件（可以在特定的时间或者周期性的触发作业的运行）等。LSF PM拥有CS模式的客户端，同时也已经集成到了LSF AC的Web界面中了。