计算机系统软件顶会OSDI 2021最佳论文出炉，邢波团队研究入选

机器之心报道
机器之心编辑部
来学习下OSDI2021的最佳论文。
OSDI（操作系统设计与实现研讨会， OperatingSystemsDesignandImplementation）是计算机系统软件领域全球最顶级的会议之一，被誉为「操作系统原理领域的奥斯卡」，拥有极高的学术地位，由USENIX主办。
USENIX成立于1975年，起初名字为Unix用户群，其主要目的是学习和开发Unix以及类似系统，后该用户群更名为「USENIX」。 OSDI汇集了来自学术和行业领域的专业人士，是探讨系统软件的设计、实现和影响的首要论坛。
实际上OSDI所覆盖的领域已经远远超过操作系统。 OSDI是系统领域和SOSP并驾齐驱的两个顶级会议之一，机器学习经典框架TensorFlow最初就是发表于OSDI 。因此OSDI的获奖论文对于想深入系统领域的研究者来说是必读的。
第15届USENIXOSDI于2021年7月14日至16日线上举行，日前最佳论文等奖项已经陆续公布，共有3篇最佳论文，来自卡内基·梅隆大学（CMU）邢波教授的研究团队摘得其中一篇。我们来看一下这3篇最佳论文的具体内容。

文章图片
最佳论文
论文一：MAGE:NearlyZero-CostVirtualMemoryforSecureComputation

文章图片
【计算机系统软件顶会OSDI 2021最佳论文出炉，邢波团队研究入选】论文地址：https://people.eecs.berkeley.edu/~samkumar/papers/mage_osdi2021.pdf
安全计算（SecureComputation ， SC）是指在单方和多方设置下，用于计算加密数据的一系列密码原语。尽管SC越来越多地被用于各种行业应用，但在实际应用中使用SC的一个重大障碍是底层加密的内存开销。该研究提出了一种新的SC执行引擎MAGE ，在内存开销不合适的情况下也能够有效地执行SC计算。研究者观察到，由于其预期的安全保障， SC方案本质上是不经意的（oblivious）即其内存访问模式独立于输入数据。使用此属性， MAGE会提前计算内存访问模式，并使用此属性生成内存管理计划。这种内存管理形式，可称为内存编程，是分页的的一种泛化形式，允许MAGE为SC提供一个高效的虚拟内存抽象。 MAGE的性能比OS虚拟内存系统高出一个数量级，并且在许多情况下，运行不合适内存的SC计算速度与底层机器拥有无限物理内存来满足整个计算的速度几乎相同。
如下图所示， MAGE的工作流程包含两个阶段。 SC应用程序是在C++内部的DSL中编写的。 MAGE的planner将DSL代码展开以生成字节码，然后对字节码执行转换来生成内存程序。

文章图片
MAGE的planner工作流程分为三个阶段：布局、替换、调度。

文章图片
论文二：Pollux:Co-adaptiveClusterSchedulingforGoodput-OptimizedDeepLearning

文章图片
论文地址：https://www.pdl.cmu.edu/PDL-FTP/CloudComputing/osdi21-pollux.pdf项目地址：https://github.com/petuum/adaptdl大多数现有调度程序希望用户为每个作业指定资源数量，这通常会导致资源使用效率低下。近来，一些调度程序帮助用户选择分配给作业的资源，但却忽略了重新优化深度学习训练，无法更好地利用所提供的资源。该研究提出的Pollux通过在per-job级别和cluster-wide级别自适应地协同优化相互依赖的因子，提高了深度学习(DL)集群中的调度性能。
该研究同时考虑了上述两个方面，并提出了一种名为Goodput的新指标，将系统吞吐量与统计效率相结合。通过在训练期间监控每个作业的状态， Pollux模拟了在添加和移除资源时每个作业的Goodput变化。利用这些信息， Pollux动态（重新）分配资源以提高cluster-wide的goodput ，同时尊重公平性并不断优化每个深度学习作业，以更好地利用资源。