三摄之间“难舍难分” 算法端需“兼顾”更需“独立”

三摄之间“难舍难分” 算法端需“兼顾”更需“独立”

　　自华为推出全球首款搭载后置三镜头的P20 Pro智能手机后，手机后置三摄的热度开始直线上升。如今，三星、LG、小米、OV以及联想等不少主流安卓机大厂都已开始跟进后置三摄并陆续推出了多款机型，同时业内知名分析师郭明錤预测苹果2019年的新iPhone也将采用这一方案，后置三摄极有可能成为2019年全球高阶智能手机的标配。不过，摄像头数量的增加也进一步提升了手机软硬件的配置成本和集成难度，尤其是长久以来持续困顿双摄的算法技术挑战在三摄时代更是有过之而无不及。因此，随着2019年手机端三摄及多摄市场的快速爆发，如何突破算法高技术门槛，在新一轮的市场争霸战中脱颖而出，已成为当下各大手机及摄像头模组供应商们最为关切的话题。

　　要摸清算法端的难点，首先我们需要了解目前市面上主流的三摄硬件组合方式。通过统计目前已发布的众多三摄手机，编者发现市面上的三摄模组组合方案大概是以“40MP彩色广角f/1.8+20MP黑白广角/f2.2+8MP彩色长焦f/2.4”、“16MP黑白广角f/1.5+12MP彩色广角f/1.5+12MP彩色长焦f/2.2”、“12MP彩色超广角f/2.4+12MP彩色广角f/1.5+12MP彩色长焦f/2.2”以及“12MP彩色广角f/1.5+12MP彩色长焦f/2.2+12MP彩色长焦f/2.2”等几类为主。

　　为了最大化发挥各组合的价值，软件算法端首先就需要充分考虑和照顾到三个摄像头的“小情绪”，即兼顾三镜头在各种不同应用场景和环境下的组合性能表现。其中包括确保合理的处理运作时间、避免来自多个镜头的多输入影像而导致的残影，同时还要处理3镜头在讯框同步、遮蔽(occlusions)方面的不精准，以及3镜头校准资料中的缺陷等等，复杂度远高于单镜头及双镜头。如何能够精确处理好三者之间纷繁复杂的“邻里关系”，也是当下各算法技术提供商打造差异化市场竞争优势的“杀手锏”。

　　徐坚强调：“与双摄不同，三摄时代需要处理好三个摄像头之间的问题。这对硬件和软件都会带来更大的挑战。硬件上，需要动态支持3个摄像头的加载，或者需要3个ISP去支持三摄，这些都会要求增加手机硬件资源，对于厂商会有成本上的提升。而软件上，过去双摄只需要考虑两个摄像头之间的切换、融合问题，但现在三摄就需要考虑三个镜头之间的切换、融合问题，软件的框架、算法本身都需要做大幅度的提升才能满足要求，比如需要通过算法做好三摄的标定。其次，常规双摄一般实现1倍至2倍光学变焦，但三摄的发展将提供向下至0.5倍，向上至5倍的光学变焦，这使得手机拍摄近景和远景的能力大大提升。这当中，三个摄像头之间的光学变焦无感知的顺滑切换就需要算法去实现。此外，三摄中加入的超广角镜头，将为手机拍摄时带来更广拍摄的角度，但超广角镜头拍摄时产生的镜头畸变会非常明显，这也都需要用三摄算法去进行矫正。目前，主流的三摄算法方案，不管是针对旗舰机还是中低端机，虹软都提供完善且可靠的解决方案。”

　　典型的以三摄的标定问题为例，业内资深专家丁诚告诉记者：“其实多摄像头的拍照，从照片中得到的一些空间信息，比如距离和物体的尺寸等，一般都还需要利用二维图像来得到三维信息。要将二维转三维就需要去找到一个摄像机数学模型，通过已经获得的二维信息加上模型逆推来获得图像的三维信息，标定其实就是在找这个模型。这个过程一般需要涉及到包括焦距和主点在内的固定物理参数，以及标定板到摄像机的坐标系变换矩阵等外部参数。由于三摄相比双摄更多了一个摄像头，摄像头数量提升的情况下这些参数相应都会发生不小的变化，这也相应提升了整体的算法复杂度，非常考验算法的设计能力。如果算法端能够将标定问题处理的比较好的话，也会对解决三摄镜头的畸变等问题有所助力。”

　　除此，对于三摄而言，“距离”也是算法端需要解决的一个大问题。众所周知，无论是过去的双摄还是如今的三摄，“距离”问题都是首当其冲的。因为一般情况下，在拍摄同一物体时，每颗镜头都会存在位置差距，镜头如果调校不好，就会产生虚影，也就是常说的“拍糊”。在实际拍摄过程中，3倍以下或使用4000万像素时，变焦镜头其实是不参与工作的，只有3倍以上变焦这颗镜头才发挥作用，简单来说就是三颗镜头都是两两组合使用。丁诚认为：“如何通过算法处理三颗镜头间的信息，完美解决因距离差异而产生的视差问题，让手机无论变焦到多少，切换到哪颗镜头，都感觉不到丝毫差异，这也是三摄算法厂商打造差异化的难点和关键。因为每多一颗镜头，算法就会有N倍的增加，而为了实现像素级的精准，最终生成的图片一般都需要经过上万个点的对齐测试，难度颇高。”

　　当然，调和“邻里间的矛盾”只是一方面，由于各摄像头单体在功能和性能上也存在差异，不同场景下所扮演的角色也各不相同，针对三颗摄像头的不同特性做对应的调校也是算法技术的难点。比如在华为P20 Pro的三摄项目中，每一套镜头系统都需要去编写唯一对应的算法，根据三颗镜头的不同信息进行一一校准，从而保证整套三摄系统能够在实际应用中发挥与之相称的暗光效果、高倍变焦、超广角、高分辨率、景深虚化等光学性能。

　　丁诚表示：“三摄镜头中，其实每一颗镜头都存在“一致性”的问题。因为实际量产情况下，每颗镜头的加工过程与安装位置会有所不同，这都可能会让镜头各个部位产生细微的差别，尽管这种机率只有1%到3%，但对摄影这种要求绝对精密、准确的技术行为，1mm的偏差就足以毁掉整张图像。所以，在做三摄模组时，每颗镜头系统其实都还需要通过编写对应的算法去尽量优化这些物理端的差异，针对不同的物理信息进行一对一的算法校正，去确保镜头最终的对焦与成像足够准确，这也是算法上需要顾虑到且比较有挑战的地方。”

关注电子行业精彩资讯，关注华强资讯官方微信，精华内容抢鲜读，还有机会获赠全年杂志

关注方法：添加好友→搜索“华强微电子”→关注

或微信“扫一扫”二维码