北京交通大学与英国帝国理工学院的研究团队近日共同开发出一套名为MLLM-SC（多模态大语言模型集成语义通信）的框架，旨在革新6G网络通信方式，特别针对增强现实（AR）、虚拟现实（VR）和全息通信等沉浸式体验场景。该研究成果已在一篇题为《面向6G沉浸式体验的多模态大语言模型集成语义通信》的论文中详细阐述，并于2025年7月在arXiv.org上发布。
这项创新技术采用设备-边缘协同架构，核心在于利用多模态大语言模型的强大推理与生成能力，实现上下文感知和任务导向的无线通信。该框架能够在边缘云端部署大型多模态模型，通过“语义引导模块”分析多模态输入、用户意图及信道状况，生成“语义注意力热图”，从而优先处理语义上关键的信息。例如，在AR眼镜识别到“对面是什么楼”时，MLLM-SC框架能在10毫秒内迅速描绘建筑轮廓并将其标记为高优先级，同时降低无关背景的码率。
通过这种智能化的语义处理，任务相关的像素、语音和坐标数据得以进入“快车道”传输，而次要内容则自动降级，有效提升了6G空口的可用带宽，根据研究团队的描述，可增加高达30%的可用带宽。即使在信道质量突然下降的情况下，关键区域的图像仍能保持1080P的高保真度。
在接收端，系统运用变分自编码器（VAE）进行粗略重建，并结合条件扩散模型进行精修。它还能根据终端设备的算力动态切换至“高清重建”或“AI补帧”模式，确保在弱网络环境下也能实时合成高质量的全息画面。
实验室实测数据显示，在500兆赫兹（MHz）毫米波蜂窝网络中，当AR导航、沉浸式会议和车联网三维地图等应用同时运行时，采用MLLM-SC框架后，平均端到端时延从28毫秒降至18毫秒，块错误率也降低了42%。
研究团队表示，下一步计划是将强化学习引入语义决策过程，使多智能体能够在协同驾驶和城市级元宇宙等场景中实现“边通信边策略优化”，旨在进一步将6G的“体验密度”提升一个量级.
