王茜莺：探索虚实融合的智慧教育新纪元

12月22日，第十三届本站教育金翼奖在北京隆重举行。在主题演讲环节，联想集团全球副总裁王茜莺博士带来《探索虚实融合的智慧教育新纪元》的精彩分享。

王茜莺提到：

下为王茜莺主题分享内容，经本站教育编辑整理：

谢谢本站教育金翼奖邀请我来这里，感觉到前面的报告有一种价值观非常融合的感觉，因为我们家也在践行体教融合，小朋友今年上初一，基本上每天要完成三小时高强度的体育训练。

很多时候谈到信息技术在教育领域的应用，很多时候更多强调人工智能冰冷的声音，怎么在教育信息化当中，教育的新科技当中加入温度，是我们关心也希望做的事情。

今天分享的题目是“探索虚实融合的智慧教育新纪元”，教育的核心问题，我们要怎么培养未来的国民，培养带领人类不停探索星辰大海的新一代的公民，回看教育的历史，最早师徒课堂，口耳相传，学徒制，当人类进入大工业时代，开始有大教育论，怎么做到规模化的教育，然后就有了现在的课堂教育，班级授课制，让更多的人更平等的接受到相对比较廉价的教育，使得整个国民素质快速有效率的大幅度提升。等到上世纪90年代，美国的教育学家提出了掌握学习，怎么用个性化的教育符合每个人的成长轨迹，这个时候会提出很多个性化学习的手段，包括智能互动课堂，每人有自己的信息化设备。

未来的课堂是什么样的？未来的教育是什么样的？今年5月份，习近平总书记在两院院士大会时候提到一个话题，以人工智能信息和为代表的新科技，使现在的人们跟过去有很大的不同，我们会看到大家在空间、时间和认知的范围上跟之前有大幅度的提高，人类正在迈向人机物三者融合的万物互联时代，这背后有一个核心的问题，现在的小孩子，现在的K12教育要教孩子的内容远远超出之前，我们小时候所接收到的内容，一方面要有星辰大海，还要有非常微观的世界，除了要了解周围的环境，还要学习人工智能，因为人工智能是一种语言，是未来人类跟机器对话的语言，我们怎么帮助孩子准备接受未来的挑战，帮助人类接受未来机器化智能和给我们新时代带来的挑战，让人类更多的掌握智能，而不是掌握人类。

未来的教育是什么样的，罗杰斯提出沉浸式学习，让孩子接触到在生活中很难接触到的东西，可能是他需要掌握的知识，我们也在尝试怎么把虚实融合带到现在的课堂，带到未来的校园中。

教育是为了完成教育本身的目的，包括日常生活中的场景，但是在这个过程当中，教育通过什么样的设备来传递，用什么交互方式完成教育整个闭环，是非常有意思的。

现在很多场景下，我们会看到很多的虚实融合设备，帮助你探索未知的世界，帮助你探索外太空，帮助你探索更多的生物多样体，我们会看到很多沉浸式的设备支持了很多虚实融合的空间，它不一定是为教育场景所定制的，跟教育场景定制完成什么功能。

整个媒体技术的发展趋势，媒体技术从纯物理的介质，首先所有的教育是在物理世界里完成的，慢慢的从公元前烽火相传和口信相传，进入报纸与书籍，上世纪40年代50年代开始有了信息化的程度，60、70年代开始有电子邮件，90年代互联网的普及，2000年移动互联网的普及，从物理世界回到信息世界。去年开始以来的疫情，让大家从物理世界和信息世界的边界又回到一个面对面的临界点，在这之上我们会看到，2025年以后，或者2030年以后，我们的媒体世界又会进入一个物理世界和数字世界相融合的场景，我们的教育应该怎么做？

先看看沉浸式设备，一般有两类，第一类，可穿戴的，VR头盔、叠加现实的眼镜，它是不是真的适合教育场景？因为教育场景非常强调的是协作、沟通。还有一类虚实融合的设备，大空间、裸眼多人协作设备，但是这一类设备在技术上还存在很大的改进空间，我们到底怎么来做，怎么让它为未来的教育所用，怎么让它帮助我们建立未来的教室、课堂和校园。

先看一下我们最近联想得的2021《时代》杂志一百大最佳发明，最佳产品。这个设备能直接和PC或者手机相连，同时展开三个大幅面的场景，代表了可穿戴着AR设备非常前瞻的方向，大空间裸眼多人协作虚实融合的设备，在过去两年得到了长足的发展。现在业界常见的裸眼沉浸显示设备，包括金字塔的全息，半空全息幻象，穿越现实和未来的任意门、谷歌做的ProjectStarline。

这些虚实融合设备有没有机会和教育场景结合，去年疫情，很长一段时间，孩子们只能在家在线学习，在线学习有一个混合课堂的概念，有一些实验的场景，需要跟物理世界交集的场景很难完全线上完成，有没有可能通过3D设备把实验场景带的到生活当中。给大家看看我们做的场景，Holotable能完成虚拟实验。这是一个交互式的全息体验，通过空中手势可以完成交互，一组学生和老师汇聚在一起，可以大幅空间的共同交互。

第二个设备，叠加自身影像的镜面交互，你可以通过镜子学很多体育锻炼的姿势，自我进行健身，传统方法有很多局限，传统方法很难做到自然的交互，我们现在这个设计很多时候是利用自身的镜像，当你抬起手，菜单就在你身边，跟着你做自适应的提示，是非常舒适轻量的交互，握拳、抬手、展开，手边可以唤醒菜单，直接滑过，快速选择。

最近我们还做了未来教室的尝试，跟另外两所大学建立了三地实时5D高清未来教室，三地实时联动，大家相互上课，把远端课程带到近端。

给大家分享一下第一代做的创新概念，基于增强现实和交互全息虚实结合互动系统。在这个基础上，我们发现还有很多改进的空间，我们做了很多技术的升级和迭代，包括交互设计，我们为了适合教育的场景来讨论在现在的课堂，比如普通的黑板、大屏，老师的讲课过程中，哪些场景可以应用到虚实融合场景中，我们做了很多探讨。

真人的影像是留存的，基于这个我们看到很多关键技术和面临的挑战，未来的虚实融合空间，如果要做到大幅面，需要做到非常高的清晰度，远远超过1080P，要4K甚至8K，对实时影像生成，包括视频的拼接都带来很多挑战，这里面一些关键技术的突破，包括显示屏幕硬件的结构，我们在这个基础上做了3米×5米透明大屏，230寸的大屏，所有的操作都可以看到真人等高，把远端的教室传递到未来教室空间，老师的身高和真实世界的身高一样，而不是电脑屏幕上一个小小的头像，老师的身体动作，肢体语言和表情都可以得到更完美的呈现。

还有智能光环境的感知监测和调控，包括低时延边缘计算和管控，这个时候本地要做很大量视频处理，本第做的视频处理怎么结合网络带宽，更好发挥5G和高清的作用，多人多模态交互，老师在屏幕上和虚拟图像叠加，也可以多人在屏幕前多人在屏幕后，更好做到多人多模态交互。

超高清实时压缩传输，三地同时做5G高清的穿越现实的实时直播非常有挑战，在这个过程中我们解决了很多技术的问题，包括实时的音视频传输等等问题。在这个基础上更多探索怎么跟课堂环境很好的融合，怎么帮助老师更好的课堂授课，本地老师需不需要一个本地的助手，当他需要的时候能自动的唤出需要的课件，远端老师可以看到本地学生上课的动态，脸上的表情，是不是真的能够听懂，更好捕捉学生上课的过程，完成更好的本地和远端互动的课堂。

这是我们现在拍的实景，线上线下混合教学，学生端和教师端拼接，右边是教师端，可以是一个绿幕，也可以对实时视频拼接，实时视频和虚拟场景更好的叠加。

这是远端传递过来老师的讲解现场。

在这个基础上，我们完成了第一代和第二代原型之后做了大规模对照用户实验，多模态分析，我们会发现孩子和老师在虚实融合的未来教室里，孩子的参与程度会更高，学习一些相对来讲没有那么容易掌握的内容会更加容易，课堂活跃度更高，提问更多，师生之间的交互更加频繁。

前面给大家分享的是我们在虚实融合的设备和交互在未来课堂，未来教育环境下的实践，也提到了人类正在进入一个人机物三元融合的万物智能时代，包括人的数字化，互动的数字化，环境的数字化，相信未来很多环境，课堂环境，办公环境、校园环境会出现更多的虚实融合的场景，我们也非常愿意跟在座各位教育界同仁共同探讨，怎么把这些新的技术更好的帮助我们教育提质增效，提升教育的水平。

谢谢！

附嘉宾介绍：

王茜莺

上海交通大学电子工程专业学士，上海交通大学电子工程和工业管理双硕士，美国斯坦福大学人机交互专业博士。现任联想集团副总裁，联想研究院技术战略与创新平台、智慧教育产品研发平台总经理，负责联想技术战略，研究院创新管理和用户体验平台以及智慧教育。

王茜莺2006年加入联想。2015年至今，负责联想技术战略，研究院创新管理和用户体验平台，为联想集团在技术及创新战略规划，研发资源高效运用， 用户体验研究设计及验证，知识产权等领域做出突出贡献。她带领团队与其他部门紧密协作，推动联想Tech World，使联想的创新技术在业界广受赞誉。茜莺获得过超过80项发明专利，并在国际知名学术期刊和杂志上发表过20多篇论文。现为美国计算学会ACM人机交互分会中国副主席。现任联想集团副总裁，联想研究院技术战略与创新平台及联想智慧教育产品研发平台总经理，CCF TF智能设备与交互SIG主席。

2019年5月31日，王茜莺荣登福布斯“中国科技女性榜” (Women in Tech)50位女性榜单。

2020年12月11日，王茜莺负责的“交互式智慧课堂关键技术及应用”荣获第十届吴文俊人工智能科技进步奖“二等奖。

2021年9月，王茜莺所参与的“多模态环境感知及适配交互技术与应用”项目荣获2020北京市科学技术奖科技进步二等奖。