清大正式发表全景3D重建技术 AI让单张全景影像重建

在科技部「数字经济技术创新研发与应用」项目下，清华大学电机信息学院和iStaging爱实境合作，完成「智慧全景3D重建」研究，透过AI只要单张全景影像，就能重建出室内3D格局模型，未来可应用在房仲业，提供更具空间感的在线或VR沈浸看房体验，旅宿服务平台上也能让消费者订房前，预先观看不同房间格局。这项研究凝聚产学资源完成，由爱实境提供2500张室内全景图片，结合清大电机信息学院研究团队开发的智慧全景3D重建技术，标榜不需要价格昂贵的专业全景相机，只要一般智能型手机拍摄的单张室内全景影像，透过机器学习模型，不需要人工处理，就能重建室内3D格局模型。清大研究团队今年6月将赴美国加州，准备在国际计算机视觉与图形辨识研讨会(CVPR)上发表。清华大学电机工程学系副教授孙民表示，传统室内全景浏览服务仰赖人工处理，在室内的定点拍摄全景影像，用户只能浏览该定点的室内全景，虽然可结合多张全景影像，例如客厅、卧室、厨房等室内全景影像，让用户看到更多室内样貌，但使用者在不同室内定点间切换，无法让用户在3D模型的虚空间中移动观看。

他解释智慧全景3D重建技术，就像小朋友折纸组合成立体的房屋一样，研究人员先以人工标注方式，为2500张室内全景图片标注天花板与墙壁、墙壁与墙壁、墙壁与地板，室内不同角落的折线，2500张全景影像中的8成标注图片用于训练机器学习模型，另2成用于测试模型辨识的准确度，如此便能训练系统辨识室内全景影像，重建出室内3D格局模型。而透过这项智慧全景3D室内重建格局技术，只要单张室内全景影像，在视线没有遮蔽的条件下就能重建室内3D模型，除了可以计算机在室内3D格局模型内移动，若搭配VR头戴及控制装置，还能带来更沈浸的视觉体验。传统室内3D建模需使用昂贵的Lidar测距装置，以获得室内的深度信息，由人工方式完成室内3D模型建模，而清大的智慧全景3D重建技术强调只要一般智能型手机拍摄单张室内全景，就能透过机器学习技术，重建室内3D场景。内容来源至：http://www.www.cafes.org.tw/info.asp
不过，这项技术仅能以没有视线遮蔽的单张室内全景影像，重建出室内场景的3D模型，例如客厅室内3D格局模型，无法重建被墙壁阻隔的卧室、阳台等3D格局，清大也和台科大合作，研究拼接多张室内全景影像，如客厅、卧室、厨房等多张全景影像，重建出更完整的室内3D格局。孙民表示，现在单张室内全景影像，经过人工标注训练、测试后，和LayoutNet的技术相比，准确度提高将近15%。目前正在进行多室内全景影像重建，以重建出更完整的室内3D格局模型，未来还要让室内的对象如桌椅、电视或家具，让用户能自由挪动，更全面3D体验。清大研究团队和爱实境的合作，未来也能透过爱实境的AR、VR内容平台，将这项技术扩展至海外市场。