人机回圈 HITL 是什么？让人参与到 AI 的训练和决策中

人机回圈（Human-in-the-loop，HITL）是一种结合人类智能和机器智能来构建和运行 AI 系统的方式。中文也译为人机协同、人在回路、人在环路等。它是一个迭代的反馈过程：人参与到机器学习系统的训练、调整和使用过程中，提供判断和反馈，机器从中学习改进，如此循环往复。

为什么需要人的参与

机器学习模型很擅长处理大量重复、规律明确的工作，但它们也有明显的局限：可能会犯人类一眼就能看出的错误；面对训练中没见过的新情况、模糊的情况时，往往不知所措；缺乏常识和价值判断；有时会给出看似自信、实则错误的答案。人类则擅长处理模糊的、需要背景知识和判断力的情况。把两者结合起来，可以取长补短：让机器处理大部分常规的工作，把困难的、不确定的或高风险的部分交给人。

人在哪些环节参与

数据标注：人为训练数据打标签，这是最基本的参与方式。在主动学习中，模型会主动挑出那些它最拿不准的样本，交给人来标注，用最少的人工获得最大的提升。模型训练和调优：基于人类反馈的强化学习（RLHF）是最有影响力的例子：人对大语言模型的不同回答进行比较和排序，告诉模型哪个回答更好，模型据此学会生成更有帮助、更安全的回答，ChatGPT 等对话模型都使用了这种方法。结果审核：模型给出预测后，由人进行检查和确认，尤其是对那些模型置信度低的结果。比如内容审核中，机器先自动过滤明显违规的内容，把拿不准的交给人工判断；人工的判断结果又会反馈回去，帮助模型改进。关键决策：在医疗诊断、贷款审批、司法辅助等高风险领域，AI 提供建议和分析，但最终的决定由人来做。在 AI 智能体中，执行付款、删除数据、发送重要消息等不可逆的操作之前，先请人确认。

优点和挑战

人机回圈的好处是提高了系统的准确性和可靠性，让 AI 能处理更复杂的任务，在出错时有人兜底，也增强了人们对 AI 系统的信任，并满足一些法规对重要决策需要人工参与的要求。它的挑战包括：人工参与的成本较高，处理速度受限于人的速度；人也会犯错和产生偏见；以及如何设计合理的分工，决定哪些交给机器、哪些交给人。另外要警惕“自动化偏见”：当人过于信任机器时，可能会不加思考地照单全收机器的建议，让人工审核流于形式。