高吞吐量计算 HTC 是什么？长时间完成海量独立的小任务

高吞吐量计算（High-Throughput Computing，HTC）是一种计算模式，它关注的是在较长的时间内，比如几天、几个月甚至几年，完成尽可能多的计算任务。这个概念由美国威斯康星大学麦迪逊分校的 Miron Livny 等人在 20 世纪 90 年代提出。

和高性能计算有什么区别

高吞吐量计算常常与高性能计算（HPC）相对比。高性能计算关注的是“速度”：用强大的计算能力，尽快地完成一个大型的、复杂的计算任务。这类任务通常需要很多处理器紧密地协同工作，彼此之间频繁地交换数据，比如模拟一次天气变化、一次核聚变反应，需要使用通过高速网络紧密连接的超级计算机。高吞吐量计算关注的是“总量”：在一段时间内能完成多少任务。它适合处理大量相互独立的小任务，这些任务之间不需要或很少需要通信，每个任务都可以单独地完成。

打个比方：高性能计算像一支训练有素的赛艇队，所有队员必须紧密配合、动作一致，才能让一条船尽快到达终点；高吞吐量计算像一支快递配送队伍，每个快递员各自独立地送自己的包裹，人越多、时间越长，送完的包裹就越多，快递员之间并不需要配合。

适合什么样的任务

高吞吐量计算适合“易并行”的任务，也就是可以很容易地拆分成大量独立部分的任务。参数扫描：用同一个模型或程序，尝试成千上万种不同的参数组合，每一种组合就是一个独立的任务。比如在药物研发中，对数百万种分子逐一进行计算筛选。生物信息学：分析大量的基因序列数据，每一段序列可以单独处理。高能物理：分析粒子对撞实验产生的海量事件数据，每一个碰撞事件可以独立地分析。蒙特卡罗模拟：通过大量独立的随机试验来估算结果。图像和视频处理：对大量的图片或视频逐一进行处理。

典型的系统

HTCondor（原名 Condor）是由 Miron Livny 的团队在威斯康星大学开发的高吞吐量计算软件，已经有三十多年的历史，被广泛用于科研机构。它可以把大量的计算任务分配到集群中的计算机上运行，并且擅长利用分散的、闲置的计算资源，比如实验室和办公室里在夜间空闲的电脑。美国的开放科学网格（Open Science Grid）等项目，利用高吞吐量计算的方式，把分布在全美各地的计算资源组织起来，为科学研究提供大规模的计算能力。

在 AI 中

在 AI 领域，很多工作都具有高吞吐量计算的特点：比如对大量的模型超参数组合进行实验、大规模的数据预处理和清洗、用大模型对海量的数据进行批量的标注和生成、对模型进行大量的评测等。这些任务彼此独立，可以分散到大量的机器上同时运行。