导
读
且看OpenStack HPC如何推动科学研究的进步。
节省时间
“时间就是金钱”这句话并不限于商业世界。更快地获得结果也是科学研究界的迫切需求。毕竟，科学成本也是钱。这是澳大利亚蒙纳士大学特征虚拟实验室（CVL）协调员和高级HPC顾问Lance Wilson所面临的挑战。
Wilson说，研究人员已经开始期待“更大、更好、更快”。在澳大利亚，科学家可以获得高达100万美元的研究资金，他们干劲十足。然而，科学家们并不总是提前通知HPC团队，而是需要立即开始计算工作。Monash Research部门不得不疲于为大型项目提供各种功能。
对此，Wilson表示，“我们必须很快地为他们提供所需要的东西，并在非常短的时间内实现平衡。”
正如他解释的那样，“高效的科学研究计算意味着研究领域的专家和计算领域的专家之间的伙伴关系。我们使其成功运行，而OpenStack对于交付至关重要。”
Wilson为这些科学家提供了一系列用于云中数据分析的开源工具和服务，包括使用OpenStack构建的工具和服务。Wilson优先考虑计算请求和持续授权，这样他就可以“缩短计算时间”。
与商业云相比，Monash内部部署的云（使用戴尔EMC硬件构建）可节省约50％的成本，主要是由于运营规模和资源利用率高。而且这个云也快得多。
举个例子，Wilson的任务之一是支持低温电子显微镜，它每天产生超过2-4TB数据。“使用堆栈，研究人员需要四个月才能处理好所收集的数据。如果云不可用，可能需要数年时间。”
Wilson用OpenStack减轻了科学家学习额外技能的需求。“当研究计算能够满足研究人员的需求时，他们在生产力方面表现更好，工作质量也得到提高。”
将HPC与研究工作负载匹配
肯塔基大学（UKY）病理学信息学主任和病理学与检验医学助理教授V.K. Cody Bumgardner提供了另一个关于OpenStack在研究环境中给HPC带来好处的观点。Bumgardner曾担任研究计算总监，他在医疗领域工作，使用HPC进行基因组学和生物医学信息学研究。
正如Bumgardner所看到的那样，直到最近，HPC领域仍然主要面向计算物理、化学和其他科学学科，其中基础研究是通过模型模拟完成的。HPC的前三十年主要使用共享单片和对称多处理（SMP）系统。“在九十年代后期，我们转向基于商品的集群，使用高速互连和软件将系统组件连接在一起。”Bumgardner说。 “到2010年，许多传统HPC用户已将其工作负载从通用处理器转移到GPU——在多数情况下，性能提升了一个数量级。”
新的OpenStack Queens版本包括对英特尔FPGA等加速器管理的重大改进——加速器越来越多地被添加到OpenStack集群中的计算节点上。
Bumgardner的团队有着来自用户的压力。正如他所说，“我们知道通用处理性能并没有像过去那样持续快速增加，而且工作负载也发生了变化。在为期19个月的研究中，我们收集了超过300亿个、与20多万个调度好的作业相关的时间序列指标。我们的分析目标是描述与传统HPC环境相关的现有工作负载，并确定可由替代架构更好地支持的工作负载。”
该研究发现，生物信息学研究是HPC资源的主要使用者，但这样的工作负载并不适合传统的环境。许多用户的工作负载不需要整个裸机节点，而其他用户的工作负载需要比通常所提供的节点更大的节点。
“我们发现，91％的作业都在一个节点上运行，占集群运行时的63％。”Bumgardner说， “这些单节点作业没有利用到我们的低延迟互连，许多并不需要传统的裸机HPC环境。此外，75％的作业在“长”队列中运行，这意味着我们有许多单节点作业长时间运行——这与你希望在传统HPC中看到的情况截然相反。”
英国拨款220万美元用于建立Kentucky Research Informatics Cloud（KyRIC），它使用OpenStack和Ceph组件。他们一直在使用OpenStack来处理企业用例，例如VM配置等。现在，他们将它应用于科学工作负载，效果很好而且很灵活。
此外，HPC集群文件系统中80％以上的数据超过一年未被访问。利用Ceph作为多协议分布式存储系统，他们能够从同一平台提供共享文件系统、对象和块存储，允许根据工作负载需求存储和访问数据。他们使用OpenStack、Ceph、戴尔EMC服务器和存储创建了等效于内部存储云的平台。
原文链接：
https://www.hpcwire.com/2018/07/02/how-openstack-hpc-powers-improvements-in-scientific-research/
内容覆盖主流开源领域
投稿邮箱