两台桌面设备，承载一个科室的“数字员工编制

声明：文档由AI根据原文生成。

问题的起点：政企客户需要“不出内网”的AI

听微（上海）科技有限公司旗下的createrole，是一款面向“数字员工”场景的AI产品。与常见聊天机器人不同，createrole中的每个数字员工都有独立身份、长期记忆和自己的沙盒电脑，能够执行命令、编写文件、交付产物。待办事项到点后数字员工会自动醒来处理，秘书角色可以把任务分派给团队。这项工作在上海已经落地，服务多家政企客户。这些客户普遍面临大量文字材料、数据整理和流程性工作，对AI有实际需求，但数据敏感，不能接入云端API，也不能把材料传送到外部服务，部分场景在验收后还要求物理断网。

传统私有化交付难以应对这类约束。机房排期、服务器上架、专线拉通往往需要按月计算周期，不少核心科室没有机房使用权限，AI项目常常卡在基础设施环节。对createrole而言，本地还要面对三重压力：模型要有足够参数量和上下文长度来处理政务材料中的数十万token、图表和扫描件；沙盒任务执行、夜间记忆固化、人格演化批处理、技能考试和补习都要在本地闭环；agent推理中一个回合模型会被采样多轮，每轮携带全部历史，KV cache命中率和解码速度直接影响任务时长。

方案核心：把大模型和完整应用一起放下桌面

createrole采用两台NVIDIA DGX Spark组成桌面集群，通过NVIDIA ConnectX-7 200GbE直连和NCCL通信协同工作。每台设备配备128GB统一内存，GB10 Grace Blackwell超级芯片为本地推理提供计算基础。团队在这一集群上整合模型服务与应用全栈，部署、运行和维护都集中在客户可直接掌控的环境中。

模型层支持按客户需求选择Qwen3.8-Flash-Next、GLM-5.3-Flash或DeepSeek-V4-Flash-Vision-Exp开源权重模型。以DeepSeek-V4-Flash-Vision-Exp为例，方案参考MiaAI-Lab的双机部署实践，使用适配GB10的vLLM运行时，结合官方FP4/FP8混合精度权重与DSpark投机解码，在本地提供文本和图像理解能力。对应配置使用NVFP4 MLA缓存，将单请求上下文上限设为约100万token，实际交付窗口和并发量根据应用占用与业务负载调整。Qwen采用NVFP4专家权重与MTP，GLM采用EXL3/TR3专家权重与DFlash2，DeepSeek采用官方FP4/FP8混合精度权重与DSpark，各自匹配对应的KV cache格式。

推理之外，createrole的四个服务模块——FastAPI后端、Next.js前端、沙盒服务和记忆服务——通过一套脚本完成整栈私有化部署，并支持断网交付。数字员工可以在沙盒中阅读文档和图表，调用工具整理内容、生成交付文件。长任务中，系统复用稳定的上下文前缀，结合历史摘要与工具输出控制来减少重复计算。任务执行可记录、可中断、可恢复，工具操作留有审计记录；浏览器断线或页面关闭后，已启动的任务仍可在后台继续，用户重新连接即可查看过程。

记忆与成长机制在本地保留

私有化交付没有牺牲数字员工的长期成长能力。白天，数字员工参与对话和任务；夜间，系统整理当天经历，把工作偏好和经验固化到长期记忆页面中，人格演化保留字段级版本历史，可查看、回滚和审计。数据、执行过程和记忆都留在客户环境内，形成本地工作资产。业务技能以文件形式管理，数字员工按任务需要加载和更新，让已有做法在后续工作中复用。团队同时在NVIDIA GPU上开展LoRA微调与偏好优化，持续改善模型在数字员工场景中的工具使用表现。

交付形态的变化与后续方向

对客户而言，变化首先体现在交付形态。过去上AI项目意味着立项、机房、专线和数月排期，现在一个科室的数字员工编制是桌上两台设备，当天部署、验收断网。“数据不出门”与“用上最新AI”不再相互冲突。对产品而言，NVIDIA DGX Spark压缩了私有化交付的物理形态，也验证了全栈适配层架构的价值：换模型、换推理框架、换算力平台不需要改动业务，NVIDIA软硬件栈的升级能够较快适配。听微（上海）科技有限公司创始人兼CEO朱朝华表示，不能上云的组织不是AI的边缘客户，反而是需求最实的一批人。NVIDIA DGX Spark把数据中心级算力放到桌面，团队把完整的数字员工体系装进去，两台设备就是一个科室的AI编制。

听微（上海）科技有限公司是NVIDIA初创加速计划会员企业。在该计划支持下，团队与NVIDIA技术团队对接了GB10平台上的推理部署实践，计划把双机NVIDIA DGX Spark、按模型适配的低精度推理与投机解码、全栈应用打磨成可复用的私有化数字员工参考架构，配合NVIDIA面向政企客户的端侧AI推广。