IEEE HotICN 中文社区 |未来网络|区块链技术|人工智能|NDN中文社区|hoticnIEEE HotICN中文社区

MegaScale-Infer: Efficient Mixture-of-Experts Model Serving with Disaggregated Expert Parallelism

SIGCOMM 2025 1. 研究背景与核心痛点：MoE 推理的效率瓶颈随着大语言模型进入“万亿参数时代”，混合专家模型（Mixture-of-Experts, MoE）因其能在增加参数量的同时保持较低的激活计算量，成为了构建超大规模模型的首选架构。然而，在实际...

hhx 15分钟前

1.摘要（Abstract）本文研究的是 LLM hallucination detection benchmark（大模型幻觉检测基准）的评测问题。随着大模型被用于电商、医疗、法律等真实场景，幻觉问题已经不只是模型效果问题，而是直接关系到生成式 AI 的安全使用。虽...

cz 2小时前

随着大语言模型（LLM）能力的快速提升，基于 LLM 的自治智能体（Autonomous Agents）正在成为人工智能领域的重要研究方向。从 AutoGPT、MetaGPT 到各类 AI Agent 系统，研究者不断尝试让智能体具备自主规划、任务分解与协同执行能力。然而，现有...

前康 5天前

SIGCOMM 2025 1. 课题背景：集体通信调度的瓶颈与挑战当前，分布式机器学习（如大语言模型训练）的效率受到集体通信（Collective Communication，如 AllReduce、AllGather）的严重制约。随着模型规模从十亿级向万亿级演进...

hhx 1周前 (05-11)

1. 摘要与核心贡献摘要清晰指出，随着网络链路速度扩展至 100Gbps 乃至更高，传统 I/O 加速技术（如 Intel 的 DDIO 和 RDMA）由于 LLC 利用率低而性能受限。CEIO 的核心创新在于：在 NIC 入口处部署 I/O 管理器，通过信用-based 主...

hhx 1周前 (05-09)

1. 摘要（Abstract）本文研究的是大模型推理中的通信瓶颈问题，具体聚焦在 Tensor Parallelism（TP）推理场景下的 All-Reduce 加速。随着 LLM 参数规模不断扩大，单个 GPU 很难独立完成低延迟推理，多加速器并行已经成为常态。但在 ...

cz 1周前 (05-08)

. 研究背景：BGP 在超大规模网络迁移中的局限性在 Meta（原 Facebook）的超大规模数据中心（DCN）中，网络迁移（如拓扑扩展、设备更迭、链路重组）已成为日常。传统的 BGP 协议虽然在可扩展性和容错性上表现卓越，但在处理动态迁移任务时却显得捉襟见肘。 BG...

hhx 3周前 (04-28)

Source: 应用科学学报 2020 年第 38 卷第 1 期期刊：应用科学学报 Vol. 38 No. 1, January 2020 单位：北京大学信息工程学院深圳市内容中心网络与区块链重点实验室；北京大学互联网研究院作者：雷凯、黄硕康、方俊杰、黄...

杨, 宗霖 3周前 (04-26)

Source: 信息与控制 2024 年第 53 卷第 1 期期刊：信息与控制 Vol. 53 No. 1, 2024 DOI：10.13976/j.cnki.xk.2024.3222 单位：天津大学智能与计算学部；雄安国创中心科技有限公司作者：任晓旭、仇...

杨, 宗霖 3周前 (04-26)

1. 摘要（Abstract）本文聚焦于 LLM-based Search Agent 的训练问题。现有方法在强化学习训练中主要面临一个核心难点credit assignment（贡献归因）。一方面，基于最终答案的 outcome supervision 虽然训练稳定，...

cz 4周前 (04-22)