【名词解释】影像战略发布会

　　一、理念名词
　　1。1【人性化的专业影像】
　　vivo希望把各种复杂的影像技术和经验都放进手机，只需要简单地按下快门，就能创作出属于你的作品。专业创作者可以用它满足极限环境下的创作需求，普通人也可以通过简单操作收获令人动容的影像。这就是vivo所一直追求的“人性化的专业影像”。
　　1。2【还原眼之所见，超越眼之所见】
　　还原，是对客观世界的记录；超越，则是把主观情感投射到影像中，是vivo的影像理念。
　　二、影像技术矩阵名词
　　2。0【vivo影像技术矩阵】
　　vivo影像技术矩阵具体分为七个部分：光学感知系统、臻彩还原引擎、超清画质引擎、算力加速引擎、环境理解技术、超感人像系统、苍穹夜景系统；目标达到“三个比肩”：比肩专业影像设备，比肩专业摄影团队，比肩专业后期能力。
　　2。1【光学感知系统】
　　光学感知系统包括光学模组和镀膜等技术。比如VCS仿生光谱技术，通过改善SensorQE光谱，提升信噪比和色彩还原能力，让传感器接收的原始信息不断接近人眼，打造良好的成像基础。
　　2。2【臻彩还原引擎】
　　主要支撑技术为智能AWB和智能白加黑减，能够提升白平衡准确性和大面积“白”“黑”场景的曝光准确性，将vivo的色彩表现和影调观感优化到极致。
　　2。3【超清画质引擎】
　　超清画质引擎的典型技术为光学超分算法，通过对镜头的缺陷建模分析，恢复了约35的损失信息。光学超分算法是实现超清画质的起点，引擎中还有Denoise、Demosaic、Deblur等模块，进行耦合训练，形成了系统性的AI画质方案超清画质引擎。可以实现多帧画质重建，达到更好的画质和更广的动态范围。
　　2。4【算力加速引擎】
　　算力加速引擎，是一套软硬结合的加速方案，vivo基于自研芯片和平台SOC设计研发了CV异构加速引擎和vDNN深度学习加速引擎，是分别针对传统CV算法和AI算法的加速引擎，可支撑多芯结合的异构加速，实现多信息协同并高速处理。
　　2。5【环境理解】
　　环境理解会对场景进行识别，比如色温和亮度检测的技术、运动检测的技术，基于环境的进行信息提取，协助3A等模块，作出最佳的拍摄判断。
　　备注：3A技术即自动对焦（AF）、自动曝光（AE）和自动白平衡（AWB）
　　2。6【超感人像系统】
　　超感人像系统三大核心技术模块：人像理解、人像美化、人像氛围。
　　第一步，人像理解像摄影师一样读懂人像信息
　　vivo“人像理解技术”会像专业修图师一般进行分区检测，对人脸进行语义重点和轮廓细节的提取，建立多达103个特征点的关键人脸坐标，点位精度误差小于2像素。同时，会对画面中的皮肤、手势、肢体关键点进行检测，主体分割IOU达到了96。15的精确度，为静态人像重塑和动态人像抓拍提供了精细化的处理能力。
　　第二步，人像美化微米级人像细节美化
　　vivo以不同年龄、性别、场景的数以百万计的素材，经过反复的机器学习成长，推出vivo全新升级的微米级焕肤塑颜技术，使皮肤观感更加自然、健康，也更好地保留了五官的立体感。
　　第三步，人像氛围营造独特的氛围感
　　vivo对于人像的思考不止于人，人与景的关系是人像的另一个重要的维度。vivo“人像氛围融合”技术，基于人像语义理解，在影调、色彩、亮度、虚化等层面上进行人与场景的融合处理，实现人与景和谐、自然的效果。
　　2。7【苍穹夜景系统】
　　苍穹夜景系统进行全面AI升级，基于百万夜景照片训练出三个全新模型：超感光模型、全分割语义模型和臻彩影调模型。超感光模型：将感光能力最大提升了100，ISO最高可支持102400；全分割语义模型和臻彩影调模型联合，实现了自适应的影调和色彩调整能力。
　　三、影像芯片名词
　　3。1【AIISP】
　　在下一代自研芯片的设计中，vivo升级了全新的架构，从传统ISP架构升级到了AIISP架构，实现了跨越式的技术革新。传统ISP能以极低延时处理大量的数据流水，但是只能解决已知的、特定的问题。AI擅长处理复杂的、未知的问题，但是延时较大。
　　AIISP结合两者的优势，相当于给传统ISP芯片加一个新的AI大脑，这个AI大脑的神经元分布是网状结构的，更适合海量的发散式信息处理。相比于传统的架构，AIISP能够通过硬件直连的方式将AI计算直接融入ISPPipeline中，完成数据的无缝缓冲和处理，处理能力、处理能效都有大幅提升。
　　基于AIISP这个架构革新，vivo在下一代自研芯片上实现了三大突破：片上内存单元的突破、AI计算单元的突破、图像处理单元的突破。
　　3。2【vivo自研片上内存单元】
　　作用：提升数据吞吐速率。
　　行业常用的DDR架构的内存单元，采用片外存储的形式，存在延迟高、功耗高的弊端，限制了数据吞吐速率，限制了视频类数据推理运算的效率。
　　为了解决这个问题，vivo在内存单元的设计中，坚持使用昂贵的DDRLess片内近存运算架构，配合硬化在片上的超大SRAM，实现了运算快、延时低的特征，使数据吞吐速率达到了不可思议的1。3万亿比特（bits）。
　　3。3【vivo自研AI计算单元】
　　作用：带来超高的能效比。
　　vivo选择了更适合做复杂计算成像运算的DLA加速器。AI算法是数据驱动的。在运算过程中，需要大量的数据比较、拟合。要想进一步突破能效比，就要解决延迟和功耗两方面的问题。
　　延迟方面，DLA加速器中内嵌了专用的片上SRAM，并且可以与其他模块共享自研内存单元上的系统缓存，大幅减少了数据访问延迟。
　　功耗方面，vivo将算法和DLA联合定制设计，实现了软硬协同优化。DLA加速器的峰值能效比达到每瓦16。3万亿次运算（Topsw），妥妥的天花板水平。
　　【备注】DLA是DeepLearningAccelerator深度学习加速器的缩写
　　3。4【vivo自研图像处理单元】
　　作用：带来了全新的算法效果。
　　比如AINR降噪算法。结合新的硬件能力，vivo把V1的NR算法做了AI化的升级，通过AI运算，带来了更好的夜景画面细节，夜景降噪效果提升了20（vivo实验室）。
　　再比如HDR影调融合（Tonemapping）算法，配合电影级的3DLUTs色彩风格，可以满足专业用户的一级整体调色、二级局部调色的需求。在城市夜景下，动态范围较之前，理论最大提升4EV。
　　还有大家熟悉的MEMC插帧算法，也进一步改善了延迟问题，提升了效果。
　　四、风光夜景相关技术名词
　　4。1【“智能白加黑减”技术】影调技术
　　有经验的摄影师，会根据主体与所处环境的关系调整曝光，手动增加或者减少曝光，这就是摄影中的“白加黑减”。在X80上，vivo推出了“智能白加黑减”技术。现在vivo又将AE训练集拓展至原来的5。5倍。将用户痛点场景进行了影调优化，曝光准确性提升了14，观感上更加通透立体。
　　备注：白加黑减的原理
　　白加黑减不是适合所有的场景拍摄，只有在拍摄物体是纯白色或纯黑色的情况下，相机的智能系统会认为物体过曝或欠曝，会自动降低白色的曝光和拉高黑色的曝光，本身白色和黑色的物体就成了灰白和灰黑的状态（也就是18度灰），所以要加曝光补偿和减曝光补偿去还原白色与黑色的纯度。
　　4。2【SuperRAW】画质技术
　　vivo为专业人士提供更为强大的RAW输出功能，可以输出14bit高位深的多帧算法融合SuperRAW文件，其色彩信息量是单帧RAW的16倍。理论上可最多承载4。39万亿色的色彩信息，实现高达15EV的动态范围。技术首发vivoX70系列。
　　备注：RAW格式
　　有高宽容度的特点，这是源于它记录了大量的原始数据，因此用户可以在原始数据所记录的范围内做自由调整，实现照片的美化及校正处理。
　　4。3【光学超分算法】画质技术
　　手机因为体积限制，导致在光学上做了一些妥协。以潜望摄像头为例，原始图像经过镜头之后会损失50的信息。为了改善这种现象，vivo研发了“光学超分算法”，通过对镜头的缺陷做建模分析，恢复了约35的损失信息。
　　“光学超分算法”只是实现超清画质的起点，vivo耦合了Denoise、Demosaic、Deblur等模块，经过1亿多次的场景训练，将上一代算法深度运算能力提升10倍，构建了全新的超清画质引擎，将画质处理从单点方案，升级为系统性的AI解决方案。
　　4。4【VCS仿生光谱技术】画质技术
　　VCS仿生光谱技术（vivoCameraBionicSpectrum）
　　光线在进入感光元件时，会先通过colorfilter，而普通图像传感器的colorfilter光谱与人眼差异很大，需要经过复杂处理后，才能还原人眼所感知的信息，这个处理过程会导致画质变差。VCS技术，就是通过改进colorfilter，让传感器接收的原始信息不断接近人眼，从而实现更好的噪声表现和色彩还原，信噪比提升20，色彩还原提升15。
　　【备注】VCS仿生光谱技术，在光学感知环节。和华为计算光学不同，华为的计算光学更像我们的光学超分算法，是感知后的补偿动作。
　　4。5【RGBW技术】画质技术
　　RGBW技术是在原有的RGB三原色上增加了W白色子像素，成为四色型像素设计，是subpixelrendering技术方式。在新的像素排布方式下实现色彩表现的一致性。同时大幅度提升了液晶面板的透光率，在显示相同亮度的画面时，其耗电量更低；而相同功耗的情况下，亮度大幅提高，这使得画面层次更加分明，画面更通透。
　　【备注】X80上已发布技术，作为补充输入
　　五、人像相关技术名词
　　5。1【人像理解技术】
　　vivo“人像理解技术”会像（click）专业修图师一样进行分区检测，分析人脸的语义重点和轮廓细节，建立多达103个特征点的关键人脸坐标，平均点位精度误差小于2像素。同时，会对画面中的皮肤、手势、肢体关键点进行检测，主体分割IOU达到了96。15的精确度，为静态人像重塑和动态人像抓拍提供了精细化的处理能力。
　　5。2【微米级焕肤塑颜技术】
　　利用类似人工智能训练生成对抗网络技术，不断地通过修图器跟修图评估器的博弈来找到修图最好的方向。训练过程简言之就是，给AI一张图片让算法修图，然后去判断，同样一张图跟修图师精修出来的图片相似程度如何，根据判断结果实现AI算法的不断进化。vivo通过对不同年龄、性别、场景的数以百万计的素材的反复的机器学习，打造了全新升级的“微米级焕肤塑颜技术”，使皮肤观感更加自然、健康，也更好地保留了五官立体感。
　　5。3【人像氛围融合技术】
　　基于人像语义理解，vivo“人像氛围融合”技术在影调、色彩、亮度、虚化等层面上，进行人与场景的融合处理，实现人与景和谐、自然的效果。
　　5。4【深度感知虚化】
　　深度感知虚化，是一项vivo的算法技术。想要还原镜头的成像，一定要通过深度计算获得图片的深度信息，并给予图像合理的虚化效果。vivo的虚化算法结合了双目深度图和人像、手势分割，采用了深度卷积网络，保证焦内主体清晰。焦外物体的虚化程度也是有讲究的，前景到焦平面，焦平面到远景，每个镜头各不相同，但vivo都建立了虚化模型，通过函数计算虚化的程度和光斑大小，最终呈现出景深范围内清晰，景深范围外深度渐进的3Dpop虚化效果。
　　六、视频相关技术名词
　　6。1【HDR影调融合算法】
　　HDR影调融合技术主要是与视频相关的技术，包括一级整体调色和二级局部调色，同时动态范围也会较之前理论最大提升4EV。
　　【备注】跟XDR技术、SuperHDR有什么不同
　　XDR技术为显示技术；
　　SuperHDR为拍照技术，目前已经升级到RAWHDR技术。
　　6。2【专业LOG模式】
　　在电影工业中，为了最大限度保证视频的动态范围，常常用LOG方式进行拍摄，以便用户在视频后期中进行精细化的色彩调节，形成一整套的电影创作流程。vivo将LOG模式以及复杂的后期的调色流程进行了前移和简化，基于10bit的LOG文件，在拍摄端提供了多款电影级的3DLUTs色彩风格，通过10bitLOG3DLUTs的视频解决方案，让普通用户也能通过vivo一键拍出电影感。
　　备注：Log模式原理
　　简单地说，相机的图像传感器所记录的曝光信息为线性曝光，但是利用log曲线可以对原始数据的影调进行非线性地调节，使我们能够在有限的数据中保持较多的明暗信息，从而达到更大的动态范围。