清华与东北大学联合推出EC²-Bench基准,探索长序列智能体端云协同

饮食技巧 26514℃

10月26日消息,东北大学、清华大学与中国移动的研究团队近日联合发布EC²‑Bench(Edge‑Cloud Collaborative Agent Benchmark)。这是一套针对大模型智能体长周期任务的端‑云协同评测基准,旨在系统考察边缘设备与云端大模型如何分工协作以完成复杂智能体任务,并同时衡量任务性能、算力成本与隐私泄露风险。相关代码、数据集和论文均已开源开放。

文章主题示意图
主题配图,非事件现场。摄影:Marcelo Verfe。 /。 Pexels。

图 :总览。在一个典型的长程工作流中,端侧和云端 Agent 在同一条轨迹上轮流执行;我们研究的四种协同策略,区别在于谁决定云端何时介入、云端介入后做什么;以及三个研究问题。

目前,本地边缘大模型(通常在10B参数以内)的数据不出设备,隐私性较好,但在复杂规划、工具调用类长周期任务上能力存在明显上限;云端前沿大模型能力强,但调用成本高昂,并且会接收本地敏感工作数据,带来隐私泄露隐患。

此前的RouterBench、M4A1等评测基准大多关注单次查询的路由选择,忽略了智能体多步骤完整执行轨迹中逐步累积的成本与隐私泄露问题,也缺少面向完整任务流程的端云协同评测体系。

EC²‑Bench 核心设计。

EC²‑Bench包含128项可执行数字化工作空间任务,覆盖办公日常、信息检索、安全运维、开发运维、数据分析、自动化六大场景;其中100项任务带有细粒度隐私标注,合计3385个敏感信息单元,可量化评估隐私泄露程度。

评测依托OpenClaw智能体运行环境,从三大维度开展评估:

1. 任务性能:任务完成得分、多次运行稳定通过率Pass³;

2. 资源开销:云端输入/缓存/输出token、美元成本、边缘端FLOPs算力消耗;

3. 隐私暴露:统计泄露到云端的敏感信息占比,LLM评判器对转述泄露识别F1可达96.9%。

研究选取4种主流端云协同策略进行对比实验,划分维度有两个:谁决定何时调用云端(外部路由模块/边缘智能体自身)、云端被调用后做什么(直接生成执行动作/仅输出建议由边缘执行)。

图 :各端侧模型下,不同协同策略完成度的均值(点)和范围(线):范围从 25.22 分(Qwen3.5-2B)缩小到 3.67 分(Qwen3.7-Plus)。

图 :隐私暴露的范围始终很大,在 Qwen3.7-Plus 上达到 66.23 分。

- 查询路由:任务开始前一次性决策,全任务交给边缘或云端;

- 逐步路由:每一步由外部路由判断,该步骤交给云端执行;

- 边缘控制委派:边缘主动调用云端,云端直接生成下一步动作;

- 边缘控制建议模式:边缘主动请求云端获取方案建议,动作仍然由边缘模型生成。

实验选用边缘模型Qwen3.5‑2B/9B/27B、Qwen3.7‑Plus;云端模型采用GLM‑5.3,同时补充DeepSeek‑V4.1‑Flash对照实验,另外设置纯边缘、纯云端两组基线方案。

四大核心实验结论。

1. 端云协同显著提升性能,大幅压低云端成本。

以Qwen3.5‑9B为例,最优协同策略的任务完成得分由纯边缘的39.12提升至60.46,性能提升54%,而云端开销仅为纯云端方案的15%(8.73美元对比56.42美元),在能力与成本之间取得折中,部分组合效果甚至优于边缘、云端简单加权混合的效果。

2. 边缘模型变强会缩小性能差距,但无法弥合隐私鸿沟。

随着边缘模型能力提升,协同方案的任务表现逐步逼近纯云端;但不同策略的隐私泄露差异依旧巨大。Qwen3.7‑Plus场景下,不同协作策略完成度差距仅3.67分,隐私暴露指标最大差距高达66.23分。性能会收敛,但隐私不会自动收敛,协作策略是隐私安全的关键变量。

3. 边缘模型能力提升,最优协作模式发生切换。

小参数量弱边缘模型(2B)更依赖外部路由,逐步路由效果遥遥领先;当边缘模型变强,控制权应当向设备侧迁移。当使用Qwen3.7‑Plus,边缘控制‑云端建议模式拿到全场最高76.84的完成度,由边缘自主决定何时求助云端、本地完成最终动作,成为最优范式。

4. 边缘侧两项关键能力决定协同上限。

一是判断何时调用云端:边缘自主决策调用时机,对比同等调用频率的随机调用基线,最高可带来+4.4的性能增益;二是遵从云端指导:经过指令跟随训练,建议模式任务得分从24.8提升至28.8。未来边缘模型不仅要追求独立任务能力,更要专门优化“端云协同”技能。

研究启示。

该研究指出,面向本地智能体的未来研发,不能只看单机跑分,要重视模型协同能力。即便本地大模型能力持续变强,不同协作策略带来的隐私风险差异依旧巨大,隐私将成为选型的核心区分指标。