透过MetaHKUST解决延展实境的技术和社会问题

扩增及虚拟实境技术的崛起开拓了沉浸式学习的数码世界。香港科技大学（科大）将致力对此作出贡献，并提醒人们关注发展这些技术时所衍生的社会问题。

想像一下在虚拟演讲厅里上课的情境，演讲厅内全是虚拟化身，包括讲者的和你自己的。想像一下教授在实体教室内向100名学生打招呼，其中50名亲自出席；另外50名在虚拟环境中出现，但真身却位于约100公里外的校园。这些场景或许颇富超现实的未来感，但在教育领域实现类似的全面虚拟¹和混合实境²环境已是指日可待，初步试验更已在科大的开创性延展实境³倡议「MetaHKUST」中开展。

而这只是工程学和新兴技术下一段精彩旅程的开始。预期至本年年底，科大3D虚拟教室内的虚拟化身将更形精细，能呈现学生和教授本人的面部特征和举止，还可以像真人一样作出实时反应。虚拟教室的外观也将进一步提升，容量会增至200名或以上使用者。在未来三年内，科大和最近在广州南沙开校的港科大（广州）将分别开设一间实体教室，配备最先进的传感器和动作捕捉摄影机，以应对技术难度更高的混合实境学习环境，同时方便虚拟实境教室成为共享设施。

上述安排将让香港和广州两个校园的学生实时会面、并肩学习而无需亲身往返两地。科大学生，以及其他院校的学生和讲师都可以遥距出席。从教室的层面推而广之，两个校园将各设虚拟双子校园。预期MetaHKUST将为科大校园生活带来更多便利和更高效率，例如使用者可以经虚拟国度前往财务处、使用咨询服务，还有以非同质化代币（NFT）形式接收由区块链技术加密的文凭或成绩单。

实施MetaHKUST令引领两个校园发展的「港科大一体，双校互补」愿景转化为可行模式。据国际上研究和发展扩增及虚拟实境的先行者、MetaHKUST倡议的重要推手许彬教授所说，倡议令研究人员得以找出大型教学元宇宙环境的真正研究挑战。科大属首批建立和探索游戏应用以外、用作教学的大型元宇宙的高等学府，此领导角色让其研究人员和教育家在塑造整个元宇宙新国度中肩负重要任务并有所贡献；而根据许教授所说，整个元宇宙目前正处于「早期成形的关键阶段」。

探索元宇宙引人入胜的技术和社会层面

什么是「元宇宙」？根据《大英百科全书》的定义，元宇宙是「由多重沉浸式网上世界组成的拟议网络」（原文：Proposed network of immersive online worlds）。在这个网络中，用户通过虚拟或扩增实境技术与其他用户互动，并从中享用服务和购物。现时尚待解决的问题，是如何让不同的网上世界和社群无缝互连，实现用户在不同平台中流动（即相互操作性）。

各式各样的网上世界将由哪些元素组成，以至它们应采取哪种设计和标准，同样有待集体敲定。对于朱克伯格的追随者来说，元宇宙就是建造中的乌托邦，人们将在里面工作、社交和玩游戏。商界人士则认为元宇宙是市场机会迅速增长的领域，彭博的预测报告估计其市值将于2024年达到8,000亿美元。对于许教授和他的研究团队来说，元宇宙是引人入胜的技术和社会探索，而且别具潜力，可望为全球提供更普及的教育，令社会更平等，令沟通更臻完善。另一方面，在私隐、管治、数据保安和其他棘手范畴上仍有不少重大问题亟待解决。

扩增实境：走进未来的科技

许教授于2013年加入科大工学院计算机科学及工程学系，现为港科大（广州）新校园的计算媒体与艺术学域讲座教授，以及元宇宙与计算创意研究中心主任。在清水湾校区，他是新兴跨学科领域学部讲座教授，并自2013年出任香港科技大学–德国电信系统与媒体实验室主任。该实验室由科大与德国电信创新实验室共同创立，专责研究虚拟实境和扩增实境系统、社交媒体、大数据和移动运算。

许教授认识各种实境技术始于1990年代在香港大学本科毕业后。在那时候，互联网是从事电机、电子工程和计算机科学领域的最热门技术。 2002年，许教授在开始攻读香港大学哲学硕士课程之前，到了没有互联网的西藏开展长达数月的单车旅行。这段旅程引发了他的好奇心，推想互联网无法正常运作或无法接达时还可使用哪些替代通信网络。这些想法引领他远赴英国剑桥大学完成博士学位（2008年），探讨短程无线电和人类流动性，并以连接流动和社交网络为研究焦点。许教授毕业后在德国柏林的德国电信创新实验室从事前沿云端运算应用的工作，其后认定了扩增实境将成为未来的科技，不仅是他眼中的未来科技，也是其他人将应用的未来科技。

沉浸式体验提升学习成果

许教授过去十年专注于为移动可穿戴设备和云端系统建构高性能、节能和可扩展的软件，并设计用于沉浸式数据可视化和人类与数据互动的移动扩增实境演算法和系统。他发表了超过450篇论文，获引用逾25,000次，而且拥有32项欧洲和美国专利。 MetaHKUST的概念始于2021年年底，当时正值新冠疫情爆发，学界广泛使用2D视像会议技术授课，然而学生已对其局限性大感厌倦。使用3D虚拟实境或混合实境的教室不会造成旁观感，反而能营造亲历其境的感觉。许教授表示，这些感觉是学习体验的重要元素，世界各地均有研究证明沉浸式体验（例如在地学习当地语言）能加强学习成果。

MetaHKUST于2022年11月进行试验，20多名学生戴着头戴式装置、以虚拟化身遥距进入科大的虚拟实境教室，他们可以坐下、四处走动，还可以走到教授面前与其交谈。许教授说：「由于同学看不到自己的虚拟化身，心理上已融入实体环境，例如他们可以转过头看看其他同学，又可以在教室内走动。在学习的过程中，这种临场感令学习者有更佳的体验。但使用视像会议时却无法动身或转头看到其他同窗。」他指出，混合实境教室能做到把真人投射，这种「沉浸式临场感」将会越来越强。

多元文化团队与跨学科学者参与

许教授曾于剑桥和柏林等地亲身体会过多元文化如何激发创造力和新观点，所以他的研究团队也有来自10多个不同国家的博士后研究员、研究生和本科生。对他们来说，MetaHKUST的工作涉及各种各样的前沿技术挑战，例如是混合实境教室的系统架构、使用者的互动性和感知，还有延迟问题，全部有待一步步解决。

科大不同学科的学者也参与其中。目前名单上包括清水湾校园的副校长（大学拓展）汪扬教授，他是MetaHKUST项目发展的领导者和推动者；另外有两位来自工学院的，是工业工程及决策分析学系和数学系的陈卡你教授，及综合系统与设计学部和计算机科学及工程学系的Tristan BRAUD教授。在港科大（广州），副校长（教学）吴景深教授一直促进混合实境教室的建设和发展，很多来自他红鸟硕士班的学生都选择以MetaHKUST作为他们的哲学硕士研究专案，各方的参与有助把项目扩展至两个校园更多的教师和学生，从而加快进展。

元宇宙发展的广义生态系统

随着MetaHKUST的实体与虚拟教室的逐步实现，与元宇宙相关的论文著作、研究生论文题目正与日俱增，当中探讨的并非只涉及技术问题，亦涵盖了因虚拟和扩增实境科技渗透到人类生活的各个层面而产生的多个社会问题。

「All One Needs to Know About Metaverse: A Complete Survey on Technological Singularity, Virtual Ecosystem, and Research Agenda」（2021）是其中一份备受热议的文献，这篇论文以Creative Commons授权条款发表，对象包括专家和非专家，是最早期发表的同类论文之一。在论文中，许教授和联合作者不仅揭示了元宇宙相关科技的影响，更探讨了相关发展所涉及的广义生态系统，包括虚拟经济和内容创作、社会接受程度、保安私隐、信任和问责，以及虚拟化身的行为和其可能不朽永存的议题。论文吸引了超过500次引用，获逾111,000阅读人次；许教授更广获各界邀请参与元宇宙讨论。

其中一个近期的演讲活动，是2022年10月在印度新德里举行的第90届国际刑警组织全体大会，许教授应邀出席活动上的座谈会。国际刑警组织的成员包括195个国家的警务部门，该年度全体大会吸引了来自世界各地1,000名安全部长、警察局长和其他代表出席，包括香港警务处处长。许教授说：「我从没感到这么安全过！」大会的其中一项活动，是为首个专为全球执法部门设计的元宇宙揭幕，其用途为警务培训。许教授是国际刑警组织元宇宙专家组的创始成员，他将与全球执法专家紧密合作，令大众更加关注元宇宙，确保元宇宙的安全。

学术界应更积极推动元宇宙在道德与社会层面的发展

在社会责任方面，许教授认为学术界能在元宇宙的演进上发挥特别作用。他说：「有时候，科技巨企在设计旗下元宇宙时因为较重视商业角度，未必想到社会影响这方面。但身为学者，我们必须在道德和社会范畴加倍努力。在我们专注于元宇宙技术发展的同时，也要积极找出其他潜在问题和尽早提出，令社会得悉问题所在。」

他补充说：「在线社交网络最初出现时，大众都对它不明所以，也不会想到人类可以被如此操纵。既然情况已于在线社交网络发生过，未来也有可能在元宇宙重演。但我们已经从社交网络发生的一切中吸取了经验，所以也明白需要加倍小心。」

静候现身的未来

对许教授来说，提高大众对元宇宙在道德和社会影响方面的认知特别重要。许教授身兼电机电子工程师学会（IEEE）院士、英国皇家工程院国际院士和欧洲科学院院士，他认为元宇宙发展是静候现身的未来。他看到人们希望得到便利，企业希望得到效率，而两者都希望得到快捷的沟通。把三种要求结合，即代表当虚拟和扩增实境技术日渐进步的时候，越来越多的内容将会涌现，并渗入我们的日常生活当中。人们或许会在餐馆用餐时透过元宇宙举行会议，又或在正到访的地方召唤在地资讯。

他说：「十五年前智能手机尚未面世。那时人们根本无法想像，他们能够利用手机去完成我们今时今日透过手机去处理的各项大大小小的事情。现在我们都机不离身；同样地，人们也会慢慢对虚拟内容习以为常。」

许教授认为，在目前的成形阶段中，把元宇宙塑造成为「更优秀的元宇宙」至关重要。他说：「一个集尊重、通达和平等于一身的元宇宙，能为来自不同地区的人提供沉浸式交流、研究和学习的平台，促进更多姿多彩的全球合作，成为永恒而美好的元宇宙。」

¹ 通过3D近眼显示器呈现沉浸式虚拟世界所营造的模拟体验 + 使用者互动

² 扩增实境（在实境上加叠数码层次）+ 使用者互动

³ 扩增实境、虚拟实境和混合实境

原文（英文版）刊于《In Focus》杂志（2023年春季版，第35期，第12-16页）。