手机拍照相关的参数与硬件常识

先用中文写个简单思路和提纲。后面会将内容进行重新归整。现主流的多摄相机的镜头，一般为主摄，超广角，微距和长焦，或者有其他中焦段的人像镜头和用于自动对焦的深度镜头等。

等效焦距 焦距与传感器大小，在保持视场角不变的情况下

该概念与单反相机一样，均以35mm的全画幅相机(传感器的大小)作为基准，计算对应的等效焦距。但手机传感器面积计算很特别：手机上转换系数的算法原理与相机相同，不过，有一点区别就是手机的感光元件对角线长度算法发生了变化。一般来说感光元件的尺寸都是以长宽毫米数来表示的，不过有一类感光元件比较特殊，那就是大多数消费级数码相机和手机中的感光元件，它采用的是“1/XX英寸”这样的表示方法。不过，如果你认为这里的1英寸等于25.4mm的话，那可错了。上世纪中后期，真空管是电视摄像机的感光元件，真空管的外部有一个玻璃罩。真空管的外径虽然包括了玻璃罩的厚度，不过这一层罩子显然没有参与成像，因此实际成像区域只有16mm。

虽然CMOS早就取代了笨重的真空管，不过这种计算方式却鬼使神差地沿用到了现在。以至于1英寸以下的感光元件中，英寸的单位并不是1英寸=25.4mm，而是1英寸=16mm。

以索尼Xperia Z1为例，其感光元件尺寸为1/2.3英寸，按照“行业潜规则”计算，16÷2.3≈6.96。不过这里需要注意的是，由于不少厂家在标注1英寸以下感光元件时会圆整到常用值，而未参与成像的部分感光元件面积也被计算在内，因此厂商所提供的感光元件尺寸要略大于理论计算得出的数值。事实上，1/2.3英寸感光元件的尺寸通常被定为6.2×4.6mm，对角线长约为7.7mm。

而对应全画幅的传感器对角线长度为43.27mm，因此等效系数为5.62，对应的手机照片中的4mm焦距，实际等效为全画幅下的22mm焦距。

手机相机传感器的大小1/1.12英寸是指对角线的长度，一半现用的CMOS的长款比为4比3。

微距镜头到底是使用长焦还是超广角？常用的手机镜头的焦段一般是多少？

超广角与微距：目前超广角镜头经常被用于实现“超级微距”，其工作原理是超广角镜头的焦距只有15mm到18mm，可以将镜头拉得更近。由于超广角镜头的像素值多在800万4800万之间，照片放大几倍后(数码变焦)仍有很高的质量，在一些摄影爱好者手上可以拍出极为出色的微距大片。让超广角镜头兼顾超级微距可能涉及到硬件层面的定制，并非一种纯软件的算法。而部分手机上拥有额外的微距镜头模组，微距镜头的切换需要通过切换进入相机中的微距模式，一般无法通过主界面直接调节Zoom获得。
长焦微距：长焦微距镜头的放大倍率更高，可以将局部画面放大到极致，拥有更好的自然虚化效果。

16mm-240mm全焦段:

主摄: Primary Lens/Camera 手机主摄通常为23mm~28mm焦距的广角镜头，使用最大的感光元件(Sensor)，通常镜头模组和防抖，自动对焦等也是最优配置。
长焦: Telephoto Lens/Camera，从55mm到240mm等多个焦段，取决于不同手机对长焦的需求，部分手机拥有多个长焦镜头，或潜望式的变焦镜头模组。华为的P50变焦范围可以达到2700mm，超长焦望远镜头。
超广角: Ultra Wide Lens/Camera，从12mm到14mm不等，超广角镜头。

多摄像头融合实现不同倍率下的光学+数码变焦

黑白镜头：目前仍有厂家在使用黑白镜头，黑白镜头不需要Bayer CFA，即非彩色的滤波矩阵，直接滤波得到黑白照片。

主摄

对于当今绝大多数智能手机产品来说，一般只有主摄的CMOS尺寸和镜头用料等方面是最好的。

最开始的双摄，华为通过一个彩色镜头一个黑白镜头来获取足够的清晰度和色彩信息。

各大厂商在拍照上的特色：

Google的pixel系列以计算摄影出名，以较低的硬件配置和较好的计算摄影算法闻名
Huawei在夜视上通过RYYB的CFA阵列，增加了夜光下的40%的进光量以及和leica合作的摄像头等综合方面占据优势（但G channel需要通过其他颜色进行合成，在正常光照下，效果上有明显的偏色）
小米多次主打100MP，大底（大的CMOS尺寸）等，在不同情况下，通过实现4合1和9合1来增加低光情况下的进光量 (Sensor层面是如何实现4合1与9合1的？需要pixel的移动完成吗？)

手机摄像头上的几种变焦方法：

数码变焦，即通过图像裁剪插值的方式实现变焦
外伸缩式的光学变焦镜头（同单反镜头），例如Galaxy S5 Zoom系列
内伸缩式，例如诺基亚的N93及N93i
潜望式 (periscope camera)，即在镜头末端增加一个45度的镜片，并将模组平行放置在手机上，高度得以大大降低。索尼的T系列卡片式数码相机超薄的机身就是采用这一设计得以完成的。(潜望式结构还要求较好的反射镜面质量，保证在多次光路折叠中有较少的光学能量损耗。)
双摄变焦，由两个摄像头组合而成，其中一个是广角镜头，另一个是微距镜头。在工作的时候，两个镜头同时拍摄出一张远景和一张近景照片，通过后端算法合成一张照片，支持实时的光学变焦，且保证图像质量一致。
MEMS变焦，谷歌曾经申请的一项Alvarez镜头专利，镜头能够配置两个不同厚度的板块，通过折射实现光学变焦功能。简单地说，这种技术最大的好处就是非常适合小型数码设备如智能手机使用，可以实现一定倍数的光学变焦功能，不增加手机体积和功耗；但它也存在一定局限性，便是光学变焦倍数相对有限、同时镜头模块也相对固定，不能由厂商随意定制。
DynaOptics变焦，DynaOptics提出了一个全新的光学结构，镜片间距离不变，而是通过平移镜片改变光路，就像是某种特殊的双焦镜片那样。

在对焦上，需要对焦的摄像头又分为定焦和可变焦。

变焦指改变镜头组中各镜片的相对位置来改变镜头的焦距（整个镜头组的屈光度都改变了），使镜头能看到的景象范围和距离都发生改变。对焦是指在焦距确定的情况下，调整镜头组和感光元件的距离，使其等于像距，就是让成像平面和感光元件重合，这时图像才最清晰。定焦镜头和变焦镜头都需要对焦。对焦又分自动对焦和手动对焦。手动对焦好理解，通过机械（转动对焦环）或电子方式（通过按扭或屏幕触摸操作让马达驱动镜片）手动调整镜头位置实现对焦。自动对焦只需发出对焦指令（半按快门或者点击屏幕），摄像头就会自主不断移动镜头，并在觉得画面清晰的时候停住，完成对焦。

第一类，测距法。摄像头发出红外光或超声波（现在也有激光的）并接收返回光线，实现测距，然后借此距离计算物距实现对焦，此方法精度略差，高端机上已较少使用，或作为其他方法的补充。

第二类，图像分析法。又分为反差对焦和相位检测两种。反差式就是通过前文所述不断迭代过程，找到画面对比度最大时的镜头位置。相位检测是较新的技术，多用于单反相机，现渐渐开始用于手机，比如iphone6。主要原理是通过一个分离镜头（或是通过集成在主图像传感器上的一些线性传感器）产生两个光路，当对焦准确时，通过两个光路分别形成的画面之间的偏移应该等于两个光路固有相位差。相位差方法速度快，精度也较高，但需要硬件的支持。事实上测距法和相位检测法并不需要反复迭代收敛的过程，通常一次计算就能知道准确焦距位置，并在下一帧驱动镜头到达此位置完成对焦，速度快。

手机上的对焦通过音圈马达/线圈来实现，通过驱动整个镜头组移动来实现。即调整镜头与CMOS之间的距离。

反差对焦是一种持续调整过程，而相位对焦是利用多lens和传感器，一次性算出距离（以牺牲部分像素作为代价），激光对焦？

常用的自动调焦评价函数包括灰度梯度类（拉普拉斯算子，灰度方差算子，梯度向量平方函数，差分绝对值之和，Robert算子和Sobel算子等）

OIS (Optical image stabilization) 与 EIS (Electrical image stabilization) 光学与电子防抖简介

早期的电子防抖：通过分析前后帧画面的变化，建立特征点，反求出在拍摄时的手机运动，之后再通过反求出来的运动轨迹反向补偿达到稳定画面的目的。电子防抖的缺点：
- 第一，由于对摄像机的反求需要分析画面，那么只有画面中的特征点越多、用于分析的帧越多、算法的精度越高，反求的结果才会越精准；然而这些都需要强大的算力支撑——而算力恰恰是手机这种移动设备所欠缺的。
- 第二，因为画面是反求摄像机运动的唯一参考，所以传统的电子防抖很容易被场景欺骗。
- 第三，由于反向补偿仅仅补偿图像位置，也就是说手抖导致的运动模糊电子防抖无法消除，所以对于整体画面来说，锐度会有间歇性下降。
光学防抖：光学防抖的原理是利用手机中已经有的陀螺仪进行手机运动姿态的采集，然后通过马达驱动单个镜头或者整个镜组移动来补偿运动。按照镜组的移动方式，光学防抖可以分为两种：平移式和移轴式。前者以诺基亚 Lumia 920 为代表，后者以 htc One (m7) 为代表。两种光学防抖各有优劣：其中平移式适合矫正设备平移时产生的抖动、纠偏幅度大、成本较高；而移轴式适合矫正设备在旋转时（航向、俯仰轴）产生的抖动，纠偏幅度较小，容易生产。由于采用移轴式光学防抖的镜组光轴通常都不垂直于像平面（例如图像传感器），所以会导致额外的画质损失；再加上前文所说纠偏幅度有限的问题，所以该方案已经极少被手机厂商使用。而平移式虽然能够保证光轴时刻垂直于像平面，但由于广角镜头的形变，无法完美纠正在旋转方向上的抖动，所以在视频录制时会出现类似果冻的画面效果。
陀螺仪电子防抖 Gyro EIS，如今在视频拍摄的功能上十分常见:
Hybrid Image Stabilization (HIS) 光学 + 电子混合防抖:
vivo X50 Pro上使用了微云台进行防抖：和 OIS 仅移动镜组不同的是，vivo X50 Pro所采用的微云台方案移动的是整个相机模组。也就是说，对于图像传感器来说，镜头的光轴在防抖的过程中并不会像光学防抖那样发生移动，所以不会产生因为光轴变化导致伪像，同时也不必担心镜组覆盖的像场不够导致边角光线损耗。所以微云台在结构上可以完美修正在航向和俯仰轴上的抖动而不产生伪像，同时还能实现比 OIS 更大的修正范围——按照 vivo 的说法是 3° 以上。

微云台结构最大的难点就是怎么把模组塞到轻薄的手机里。由于无法像 OIS 一样仅驱动光学镜组，微云台的防抖马达需要有足够动力驱动一整个相机模组一起运动，但传统三轴稳定器或者云台相机所使用的无刷电机往往体积巨大，难以塞入手机中；而贸然缩小马达尺寸又会因为难以克服活动组件之间的摩擦等不利影响导致响应速度难以跟上手抖的速度。

vivo 的办法是开源节流：开源方面，使用在 OIS 中常用的线性电机作为动力驱动，相对于云台相机常用的无刷电机，线性电机更容易做小，形状也更规则有利于手机内部的堆叠；而节流部分则通过滚珠悬架的方式来减少摩擦力（也就是异形磁动框架和双滚珠悬架）。
iPhone 12 Pro Max传感器位移式光学图像防抖：不移动镜头，转而去移动重量更轻的传感器。这样就有可能在更小的体积内实现类似于浮动镜组方案的光学防抖效果。

ToF相机

ToF全称是(Time-of-Flight) Camera，3D飞行时间(Time-of-Flight TOF)技术正在给机器视觉行业带来革命性变化。通过使用低成本的CMOS像素阵列和主动调制光源从而实现3D成像。结构紧凑，易于使用，加上高精度和高帧率，使TOF相机具有广泛应用。

工作原理

Time of flight成像是一种主动成像方式，即相机系统向目标发射激光，通过测量传感器接受到目标反射光的时间计算到目标的距离。测量照射和反射之间的相移（phase shift）并将其转换为距离。通常，是通过固体激光器进行照明，波长在人眼不可见的近红外范围 (~850nm) 工作的LED。成像传感器设计响应相同的光谱接收光，并将光子能量转换为电流。注意，进入传感器的光有一个环境分量和一个反射分量。

为了检测照明和反射之间的相位变化，光源是脉冲（Pulsed）或者调制后的连续波 (continuous-wave) ，通常是正弦或方波。方波更为常用，因为更容易通过数字电路实现。

点云

在TOF传感器中，测量二维可寻址数组中每个像素的距离，从而得到深度图（depth map）。深度图是3D点的集合(每个点也称为 voxel )。QVGA传感器拥有320 x 240 voxels 的深度图。深度图的2D表示是灰度图像，如图中汽水罐示例所示图4强度越亮，voxel越接近。

相近概念：双目测量，各种深度相机包括TOF，结构光，激光扫描等

屏幕

内存与闪存

主要分为以RAM和ROM为代表的内存（主存储器），和以机械硬盘或固态硬盘为代表的外存（辅存储器）。内外存的定义是之前传承下来的，在集成在设备内部的存储空间，可以被称为内存，其余则是外存。

运存，又称RAM (Random Access Memory)，基本等于电脑的内存条。目前主流安卓手机都是6G、8G甚至12G。而苹果只有3-4G内存，这是因为ios的封闭生态使得app不能随意占用后台，因而也就没有必要提供那么多的内存。

ROM - ROM又分一次性固化、光擦除和电擦除重写两种类型。

Flash 存储器（FLASH EEPROM - Read-only Memory）又称闪存，快闪。它是EEPROM的一种。它结合了ROM和RAM的长处。不仅具备电子可擦除可编辑（EEPROM）的性能，还不会断电丢失数据同时可以快速读取数据。功能和电脑的硬盘类似，作用是提供存储空间。数据出厂前被存入ROM并永久保存，只能读出，不能再写入或删除，掉电后数据也不会丢失。ROM一般用于存放计算机的基本程序和数据。应用广泛的就是NAND闪存。NANAD闪存拥有体积小、读取速度快、空间大等优点，因此多被用来作固态硬盘和手机存储。

UFS，则是指一种闪存的存储规范格式。目前已经发展至UFS3.0，是2020年旗舰机的标准配置。至于中端机，则可能依然是UFS2.1协议，在应用安装与打开、文件数据传输速度上，会逊色于3.0；而苹果并不使用UFS，而使用NVMe技术，比UFS质量更好

电脑上的内存（运行内存条）和外存（机械硬盘或固态硬盘），手机上的RAM代表运行内存、ROM代表存储空间就可以了。

相机、传感器与镜头相关

无反相机(mirrorless camera)是什么？

Mirrorless_Camera

全称为无反光镜可换镜头相机，它是采用不使用反光镜和五菱镜的光学观景窗系统来进行取景，这样的相机可以交换镜头，满足各种拍摄需求，而正因为采用了无反光镜和五菱镜的光学观景窗系统取景，所以它拍摄的照片片幅会比较大。

「无反相机」是如何发展起来的？3

EVF取景器即Electronic Viewfinder(电子取景器)。它可以看作是LCD取景器的缩小版并结合了单反取景器的特点。

光学取景器即Optical View Finder，OVF。

卡片机？

卡片机属于数码相机中的一种，通常是指那些普通的消费级数码相机。卡片机的影像传感器尺寸一般较小，低端机使用1/2.3英寸;高端机使用1/1.8英寸，一般不能更换镜头，取景方式基本上都是通过液晶屏取景(同无反相机)。

全画幅是指多大？

全画幅（或称全片幅，135全画幅，英语：Full Frame，德语：Kleinbild Film）是一个摄影方面的术语，指的是感光面积为36×24 mm尺寸大小的规格。这一规格被用于描述镜头的成像圈指标和感光元件的尺寸。

满画幅(APS-H，30.3×16.6mm)

半幅（Half-frame）指的是一类成像时候仅使用标准的底片格式一半尺寸大小的规格。半幅概念即为全幅的一半，也被称作半格，相应的半幅相机也被称作半格机。最常见的半幅指的是135胶片的一半大小，约为 18x24mm 。

APS-C型画幅是在满画幅(APS-H，30.3×16.6mm)的左右两头各挡去一端，长宽比为3:2(24.9×16.6mm)，于135底片同比例，因为大小与APS-C型胶片几乎相同，因此被称为APS-C型画幅。

Sensor - 传感器

imx是索尼的cmos图像传感器的型号，谈到手机上的CMOS感光元件，相信大家最先想到的索尼的IMX系列。尽管目前市面上还有豪威（OV）、三星（ISOCELL）等竞争者

小米的年度旗舰机是MIX系列，注意顺序。

Bayer Format 与4合1 Sensor

手机与相机的各品牌Sensor大小: Sensor_Size

目前使用的最大sensor是35”full frame”，即全画幅。

Quad Bayer(4 Cell)技术是这两年最好的手机sensor技术，这个技术很好的补偿了小pixel size在低光时的损失。将用户使用场景分成了高光使用小像素高分辨率，低光中”大像素”低噪声: Quad_Bayer

最早在手机camera sensor中推广4 Cell技术是三星,但是当时国内的厂商主要是在前摄中使用.配合柔光灯推出了很多很多柔光拍摄的手机.4 Cell的技术很好进行了美白,成为了国产手机独特的卖点.这个和当时的4 Cell中的remosaic技术是在软件中实现有很大关系.由于是软件实现,所以无法实时出全分辨率图片

而在这之后发展中很重要的一步就是Sony将remosaic功能由软件放到了sensor中,做到可以实时出全分辨率的图像.这使得4cell sensor 进入后摄的集成变得更简单,不需要ISP做任何修改(ISP的修改更慢).尤其华为P20pro的夜景效果使得4 Cell sensor在夜景拍摄中站稳了脚跟.而这次三星108M更进一步的体现了4 Cell的优势。

除此之外，4 Cell中的单帧HDR确实是目前视频HDR中很靠谱的方案之一: Quad_bayer_HDR

Quad Bayer中是如何实现Remosaic的？

EnneaBayer（3x3 Bayer）那就除以 9，HexadacaBayer 就除以 16

Samsung has its own version, branded ‘Tetracell’ and a nine photodiode-per-color variant called ‘Nonacell.’

Quad Bayer Sensor and micro-lens (Quad Pixel AF)

2x2, 1 microlens (Sony IMX766)
2x2, PD pixels (8 photosites total), 4 microlens (Sony IMX989, probably Sony LYT-900)
3x3 (Samsung)
4x4 (Samsung - Used on Honor Magic 6 Pro tele) - Can be binned to 2x2
In low light, the four photodiodes behind each color patch can have their output combined (binned), so that they collectively act as a single, large pixel with better noise performance. The image is 1/4 the sensor’s nominal resolution.
In high-contrast scenes, every other row of the sensor can be read-out early, meaning it retains highlights that would otherwise be clipped. This highlight information can be combined with the midtone and shadow information to give a 1/4 resolution image with wider dynamic range than a regular sensor.
In high resolution scenes, an attempt is made to re-interpret the Quad Bayer data into something closer to Bayer data, to give a full resolution image. This won’t be as detailed as an actual Bayer image with the same pixel count, but it still gives much more detail than the other two modes, and hence is more detailed than the 1/4 resolution sensor needed to match the low light mode’s performance.

The OM-1’s Quad Pixel AF system also uses color filters that extend across four photodiodes, but it uses a single, large microlenses in front of each quartet of photodiodes, powering its X-type PDAF system.

This isn’t what’s happening in the OM System OM-1, though. Like a Quad Bayer sensor, its Quad Pixel AF system uses a Bayer color filter pattern where each colored patch extends across four photodiodes, instead of one. However, the OM-1 has large microlenses that extend across these groups of four photodiodes.

This design has direct parallels with Canon’s Dual Pixel AF system. But instead of having left- and right-looking 1/2 pixels, the OM-1 has Up/Left-, Up/Right-, Down/Right- and Down/Left-looking 1/4 pixels. This means the camera can derive X-shaped AF sensitivity, rather than the solely horizontal AF sensitivity of Canon’s system.

We’ve been very impressed by the OM-1’s autofocus results, so far. Despite the partial view of the scene received by each photodiode to give the AF system its sense of distance, Sony Semiconductor suggests that it’s still possible to utilize some of the Quad Bayer modes with the Quad Pixel AF arrangement. For now, though, OM Digital Solutions appears not to.

关于AF 即自动对焦

手动对焦: M
自动对焦: AF-S/AF-C/AF-A 单次(single)伺服,连续(continuous)伺服与自动(continuous)伺服

简单记一下就是：

1、AF-A：自动伺服自动对焦——由相机自动判断拍摄物体的移动性，选择对焦方式。（一般不建议采用这个）

2、AF-S：单次自动对焦——多用于拍摄静止物体，半按快门相机进行一次对焦，对焦既被锁定，按下快门拍摄。（平时拍摄推荐使用这个模式，适应大多数拍摄情况）

3、AF-C：连续自动对焦——多用于拍摄移动物体，半按快门相机进行连续的对焦，可以随时释放快门拍摄。（使用连拍进行运动题材拍摄时，建议这个模式，其它情况下不推荐使用）

4、MF：手动对焦（手动对焦时，可以选择实时取景模式，然后放大数倍进行手动精确对焦）

PDAF -

Stands for Phase-Detection Autofocus, which creates two copies of the image, then adjusts the lens elements until the two images merge (that is, until they are in phase). The main advantage of this type of autofocus is speed.

手机相机描述中，对于不同镜头，有7P lens等描述，是指什么？

多片透镜组成，光线通过时，镜片们会层层过滤杂光（红外线等），实际上所有镜头并不是单层的，都是一组材料复合在一起，以实现更好的成像，这是非常复杂的工艺和运算方法。多层镜头组合，它们会互相矫正过滤。每多一片最终成像就会更趋向完美一些，但相应造价也更高一些。所以，理论上镜头片数越多，成像就越真实。从材质上看，镜头可分为塑料透镜（Plastic）和玻璃透镜（Glass），玻璃透镜透光性以及成像质量要更好，但成本也更高，所以手机镜头大多由塑料镜片组成。假若镜头由6片塑料镜片组成，我们就称其为6P（Plastic）镜头；而假如镜头由4层塑料镜片+1层玻璃镜片组成，我们就应当称其为4P1G镜头。

手机拍照

现阶段大部分手机摄像头模组中的sensor(传感器，感光元件)的设计比例为4:3，因此在图像拍照默认比例为4:3下，所利用的有效感光面积最大。

Introduction to Mobile Photography

移动摄影简介