边缘 AI 是什么？在设备本地就把 AI 跑起来

边缘 AI（Edge AI）是指把 AI 算法和模型直接部署在本地的边缘设备上运行，比如手机、摄像头、汽车、无人机、工业设备和各种物联网传感器，在数据产生的地方就进行实时的处理和分析，而不需要一直依赖云端的服务器。简单地说，边缘 AI 是边缘计算和人工智能的结合：在设备本身执行机器学习任务。

和云端 AI 的区别

传统的做法是“云端 AI”：设备负责采集数据，把数据通过网络上传到云端的数据中心，由强大的服务器运行 AI 模型，再把结果传回设备。比如手机上的语音助手，过去往往要把你说的话上传到云端识别。边缘 AI 则把模型直接放在设备上，在本地完成计算。

为什么要在边缘运行

低延迟：数据不需要在网络上来回传输，响应几乎是即时的。对于自动驾驶来说，识别前方突然出现的行人必须在毫秒级完成，等数据传到云端再传回来就来不及了。可靠性：不依赖网络连接，在信号差甚至没有网络的地方也能正常工作，比如在偏远地区的设备、地下矿井或飞行中的无人机上。隐私保护：数据留在本地，不需要上传，对于摄像头画面、健康数据、个人对话这类敏感信息尤其重要，比如人脸解锁就在手机本地完成。节省带宽和成本：如果每个摄像头都把高清视频不间断地上传到云端，网络带宽和云端计算的成本都会非常高；在本地先分析，只上传有用的结果或关键片段，能大幅节省资源。

挑战和技术

边缘设备的算力、内存、存储和电量都很有限，无法直接运行大型的 AI 模型。为此需要一系列技术：模型压缩，通过量化（降低参数的数值精度）、剪枝（去掉不重要的参数）、知识蒸馏（用大模型教出一个小模型）让模型变小变快；专用硬件，很多手机和设备芯片都集成了专门的神经网络处理单元（NPU）；以及高效的端侧推理框架。近年来，随着小模型能力的快速提升，在手机和电脑上本地运行有一定能力的大语言模型也成为可能，各大手机厂商都在推广端侧大模型。实践中，往往采用“端云协同”的方式：简单、需要即时响应或涉及隐私的任务在设备上处理，复杂的任务交给云端。