Thumbnail Title
提升大语言模型在实际应用的效率
王威教授荣获ACM EuroSys最佳论文奖
Body
香港科技大学(科大)计算机科学及工程学系副教授王威,凭着其共同撰写的论文《SpInfer:利用低稀疏度在GPU上实现高效LLM推理》,在第20届欧洲计算机系统会议(EuroSys)上荣获最佳论文奖。
论文由科大丶科大(广州)及哈尔滨工业大学(深圳)合作完成,第一作者为范睿博,是科大(广州)数据科学与分析学域博士生,由王威教授及科大(广州)的褚晓文教授共同指导。
EuroSys是计算机系统领域的国际顶级学术会议,对论文的遴选非常严格。本届于2025年3月30日至4月3日在荷兰鹿特丹举行,共接获全球696篇投稿,当中85篇论文被录用,录用率仅为12%,其中只有两篇论文夺得最佳论文奖。
在这项开创性的工作中,王威教授及其合作者针对大语言模型(LLM)实际部署的核心难题展开研究。尽管LLM功能强大,但其庞大的计算资源需求导致在常规硬件上部署运行十分困难。研究团队开发的SpInfer框架创新性地采用先进“剪枝”技术,通过移除模型中非关键部分,显著降低GPU内存占用与计算耗时。该技术首次提出面向现代GPU优化的稀疏存储与处理机制,在保持模型性能的同时实现运算速度与内存效率的突破性提升,为LLM提供了前所未有的高性价比部署方案。值得注意的是,SpInfer是全球首个将非结构化剪枝理论成功转化为LLM推理实践效能提升的技术,标志着人工智能系统高效化研究取得重要突破。
相关连结: