贝奥武夫集群是什么？用普通电脑搭建的廉价超级计算机

贝奥武夫集群（Beowulf Cluster）是一种用大量普通的商用计算机组成的高性能并行计算集群。这些计算机通过普通的局域网连接在一起，运行 Linux 等免费的开源操作系统和并行计算软件，协同工作，像一台超级计算机一样解决大规模的计算问题。它的名字来自古英语史诗《贝奥武夫》中的英雄，取其“以众人之力完成伟业”的寓意。

它的诞生

1994 年，美国宇航局戈达德太空飞行中心的 Thomas Sterling 和 Donald Becker 搭建了第一个贝奥武夫集群：他们用 16 台搭载英特尔 486 处理器的普通个人电脑，通过以太网连接起来，组成了一个并行计算系统。在当时，超级计算机都是由专门的厂商定制生产的，价格动辄数百万甚至上千万美元，只有少数大型机构才负担得起。而贝奥武夫集群用的全是市场上随手可以买到的普通硬件和免费软件，以极低的成本获得了可观的计算能力。

它的特点

使用商用的普通硬件：普通的个人电脑或服务器、标准的网络设备，不需要昂贵的定制硬件。使用开源软件：运行 Linux 操作系统，以及 MPI（消息传递接口）、PVM（并行虚拟机）等开源的并行编程库。专用于计算：集群中的计算机专门用于并行计算任务，通常有一台主节点负责管理和分配任务，其余的计算节点负责执行计算。可扩展：需要更多的计算能力时，只需要增加更多的节点。

深远的影响

贝奥武夫集群证明了一件重要的事：用大量便宜的普通计算机组合起来，可以获得与昂贵的专用超级计算机相当的计算能力，而且成本要低得多。这大大降低了高性能计算的门槛，让大学、小型研究机构乃至个人都能搭建自己的计算集群，推动了科学计算的普及。它的思想深刻地改变了超级计算机的发展方向：今天全球最快的超级计算机，大多数都采用集群的架构，运行 Linux 操作系统，只是使用了性能高得多的处理器、GPU 和专用的高速网络。谷歌等互联网公司用大量普通服务器搭建数据中心的做法，也体现了类似的思想。如今，训练大模型的 GPU 集群，同样是由大量计算节点通过高速网络连接、协同工作的系统，可以看作是这一思想在 AI 时代的延续。