高通量计算框架HTCondor——概述

Posted charlee44

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了高通量计算框架HTCondor——概述相关的知识,希望对你有一定的参考价值。

1. 正文

HTCondor是威斯康星大学麦迪逊分校构建的分布式计算软件和相关技术,用来处理高通量计算(High Throughput Computing )的相关问题。高通量计算中的Throughput应该是吞吐量的意思,也就是调度计算机资源的能力。与高性能计算(HPC)不同,高通量计算(HTC)应对的问题是在高性能的同时能够长时间稳定运行的能力,并充分利用集群或网络内计算资源。长时间计算时,集群或网络内计算资源往往是不可靠的,这中间蕴含了计算资源管理和任务调度的问题。

具体来说,HTC的思想就是将规模的密集运算拆分成一个个的子任务,交给集群计算机运算。HTCondor提供了如下功能:

  1. 发布任务:根据设定的集群内计算资源条件,将任务发布到集群计算机。
  2. 调度任务:任务能够发送到满足条件计算机中运行,或者迁移到另外一台计算机。
  3. 监视任务:随时监视任务运行的情况和计算资源的情况。
    注意拆分任务这一步还是需要用户自己控制的,拆分合适粒度的并行任务,有助于最大程度的负载均衡。

除此之外,一个不能忽视的的问题就是磁盘IO的问题。HTC往往伴随着海量数据,巨量数据的磁盘IO必定会造成性能瓶颈。HTCondor自带了一种文件传输机制,发布任务的时候能够自动将数据发送到对应的机器中运行。当然,也可以尝试搭配分布式文件系统如hdfs进行计算。

准备在这一系列博文中,通过一个具体的实例,总结下HTCondor的使用过程,也算对分布式计算或者集群计算有个感性的认识。

2. 目录

3. 参考

[1]. 说说高通量计算(HTC)、高性能计算(HPC)和多任务计算(MTC)
[2]. HTCondor官网
[3]. Hadoop到底是干什么用的?

以上是关于高通量计算框架HTCondor——概述的主要内容,如果未能解决你的问题,请参考以下文章

高通量计算框架HTCondor——拾遗

高通量计算框架HTCondor——分布计算

高通量计算框架HTCondor——使用命令

HadoopMapReduce概述

二代测序文库构建-概述与挑战(1)

kafka概述