360全景相机商用荆棘载途 芯片与图像拼接成核心难题

360全景相机商用荆棘载途 芯片与图像拼接成核心难题

　　除此之外，全景相机要想实现稳定且流畅的视频及图片输出，软件层面上的图像拼接及处理技术也是必须要考量的重要一环。尽管目前市面上据说有一些产品可以做到实时拼接，但在实际应用当中，由于不同的摄像头之间会出现帧率不同以及时间差的问题，图像拼接功能也会给芯片运算模块带来很大负荷，且频繁的DDR读取以及内存搬运，对于一般的SOC而言，传输多路视频以及外加ISP会构成更大的压力，因此目前On-Chip Stitching传输与处理成为全景相机图像处理领域最大的技术门槛。

　　对此，刘天成表示：“现有的SOC以及FPGA方案，大多都是采用模板映射加上交界区域的多通道融合的方式来做到的。尽管这种方案的计算量较低而且易于实现，但实际上最终的图像拼接质量较差，且容易产生重影以及过缝扭曲等现象。举个例子，比如在高质量的Stitching过程中，通常会用到基于稠密像素级的光流算法，想要在SOC和FPGA内部进行相关的实时计算几乎是无法实现的，因此目前基于SOC和FPGA进行机内Stitching的方案实用价值不大。而且，现有的FPGA方案也很难满足全景相机在功耗、处理速度以及分辨率等多方面的需求。因此目前市面上常用的方式都是以安霸或海思等成熟芯片方案进行多模组组合来做，这种方案基本能够解决功耗以及帧率方面的问题，且画面不一致也可以通过CMOS硬件同步来解决。我们的产品就是在这种方案的基础上，外加了ISP以及在同步方面做了更多的优化，同时光流拼接缝合算法方面也体现出较大的优势。”

　　盧英瑞也告诉记者：“为了达到更高质量的360全景影片效果，业内厂商需要在技术层面上做出多方面的优化和提升。就目前来看，业内所摄录的360全景影片基本都是使用2到32部独立(最高4K解析度)的摄影机录制，其中使用的摄影机数量越多，解析度也会相应提升。而我们目前所能够提供的解决方案最多是可以支持31部独立的摄影机同时录制最高16k*8k解析度的360全景影片，能够给观众带来良好的视觉体验。但就当前的技术而言，将多部摄影机的视角输出结合为单一、无接缝等距柱状投影的过程极为复杂，且这些摄影机的输出必须在软件当中被拼接在一起才能够加以编辑或检视，相应使用的摄影机数量越多，需要拼接的接缝也会越多，因此也很大的提升了产品的开发及应用的难度和成本。此外，镜头失真的修正、时差的考虑以及混合摄影机输出之间的曝光差异等也是必须要考虑的方面，只有综合解决这些问题，才能最终产生平衡的图像/影像。”

　　而在图像拼接过程中，还需要在亮度以及细节部分来做一些像素的比对和微调，盧英瑞进一步补充到：“高质量的拼接首先会选取一个好的光线点，然后来针对主要的物体做出切割，因此它需要GPU拥有强大的并行运算能力以及较高的解析度。而我们的Radeon Loom方案能够很好的解决这个问题，利用我们所提供的开放源代码来建立Open VX计算机视觉架构，各家厂商可以根据实际情况来与自己的架构进行融合，进而实现即时且快速离线拼接360度影片，实现与摄像头之间的衔接。”

　　除了拼接之外，图像处理也是重要一环，但目前不少上市的产品都会存在图像边缘画面处理效果差、视频拍摄噪点、图像畸变以及色散(紫边)等问题，也成为影响用户体验和使用的重要因素。对此，各厂商的解决方案也不尽相同，刘天成表示：“针对这些问题，我们主要在两个方面做了优化。首先，在ISP上做了相关优化，能够部分减轻噪点以及色散方面的影响，并能够实现全局曝光和色温均衡;其次，我们在关键的sensor、镜头以及rig排布设计上也做了相应的优化，比如采用大靶面的sensor来提高基底的质量，优化设计镜头，提高靶面使用效率(常用的鱼眼镜头是内切圆，靶面使用率较低、像素浪费高)，且在rig排布上也兼顾了重叠区域大小以及靠近光心区域内容的使用，在多个技术层面上进行优化，提升了整体的图像处理效果。”

　　孙其瑞也对记者表示：“我们主要是通过在ISP芯片上来处理这些问题，首先，我们出品的相机镜头视角可以达到210度，大视角方案很好的保证了图像的重合度;其次，我们的F-theta畸变能够达到-3%，在图像投影中的中心视场会被校正缩小且边沿视场也会有较好的拉伸效果，保证了图像的解析度不受影响;另外，由于我们产品的镜头一般都很小，因此图像畸变基本可以忽略不计。”（责编：振鹏）

本文为华强电子网原创，版权所有，转载需注明出处

关注电子行业精彩资讯，关注华强资讯官方微信，精华内容抢鲜读，还有机会获赠全年杂志

关注方法：添加好友→搜索“华强微电子”→关注

或微信“扫一扫”二维码