我们联系了索尼，试图了解更多关于即将推出的谷歌Pixel和Pixel XL手机以及小米Mi 5S使用的IMX378传感器的信息。遗憾的是，索尼目前还无法发布Exmor RS IMX378传感器的数据表，但它们非常有帮助，可以为我们提供一些之前未发布的关于IMX378的信息。
首先，名字本身就不对。虽然有传言称该产品将成为之前Nexus 5X和Nexus 6P使用的IMX377等Exmor R系列背光(BSI)CMOS传感器的一部分，但我们在索尼的联系方式告诉我们，IMX378将被视为索尼Exmor RS系列堆叠式BSI CMOS传感器的一部分。
从IMX377到IMX378的很多方面，包括像素尺寸(1.55m)和传感器尺寸(7.81 mm)保持不变，但增加了一些关键功能。也就是说，它现在是与PDAF的堆叠BSI CMOS设计，增加了索尼的SME-HDR技术，对高帧率(慢动作)视频有更好的支持。
堆叠式互补金属氧化物半导体
背光本身是一个非常有用的功能。自2010年HTC Evo 4G以来，在过去的几年里，它已经成为旗舰智能手机中几乎标准的功能。它可以使相机捕捉更多的光线(以增加噪音为代价)。移动一些传统上位于光电二极管前面和前光传感器后面的结构。
背光用CMOS传感器的设计
出乎意料的是，与大多数相机技术不同，背光在DSLR之前首次出现在手机中，这在很大程度上是由于难以制造大型BSI传感器。第一个BSI APS-C传感器是2014年在其NX1相机中发现的三星S5KVB2，第一个全画幅传感器是去年以来在Sony7RII中发现的索尼Exmor R IMX251。
堆叠式BSI CMOS技术通过将更多的电路从顶层移动到光电二极管后面的支撑衬底，进一步推进了这一步。这不仅使索尼能够大大减小图像传感器的尺寸(允许在相同的占用面积上使用更大的传感器)，而且使索尼能够单独打印像素和电路(即使在不同的制造工艺中)，从而降低缺陷风险，提高产量，并实现光电二极管和支持电路之间的更专业化。
索尼Exmor R vs Exmor RS BSI vs堆叠式BSI CMOS图像传感器
比例辅助通气
Cmglee相位检测自动对焦示例PDAF IMX378增加了相位检测自动对焦功能，去年Nexus手机和IMX377都不支持该功能。它使相机能够有效地利用传感器上不同点之间的光强差异来确定相机要聚焦的物体是在焦点的前面还是后面，并相应地调整传感器。与过去在许多相机上看到的传统的基于对比度的自动对焦相比，这在速度和精度上取得了很大的进步。因此，我们看到了使用PDAF手机的绝对爆炸式增长，这已经成为一个巨大的营销流行语，并被视为整个行业相机营销的核心。
虽然对焦不如三星Galaxy S7的双光电二极管PDAF(也称为“双像素PDAF”和“双像素自动对焦”)快，但它通过包含两个光电二极管，允许每个像素用于相位检测。对于每个像素，PDAF和激光自动对焦的组合应该仍然是有效的组合。
高帧速率/hfr
最近，有很多关于高帧率相机(用于消费应用和专业电影制作)的讨论。能够以更高的帧速率拍摄不仅可以用来以正常速度创建令人难以置信的平滑视频(这对于体育和其他高速场景非常理想)，还可以在一切都变慢时创建一些非常有趣的视频。
慢动作菠萝落水不幸的是，高帧率拍摄视频非常困难。即使你的相机传感器可以以更高的帧率拍摄，手机的图像信号处理器也很难跟上。所以Nexus 5X和6P使用的IMX377虽然可以拍摄300 Hz 720p视频和120 Hz 1080p视频，但是我们只能看到Nexus 5X的120 Hz 720p和6P的240 Hz 720p。即使Nexus设备的频率被限制在30 Hz，IMX377也可以在60 Hz下执行4k视频。
像素手机可以同时提供120 Hz 1080p视频和240 Hz 720p视频，这归功于与IMX378相关的提升。IMX378在1080p时的功能提升了240 Hz。
该传感器还可以更快地拍摄全分辨率连拍照片，10位输出增加到60 Hz，12位输出增加到40 Hz(分别从40 Hz和35 Hz增加)，这将有助于减少使用HDR时的运动模糊和相机抖动。
传统上，HDR对于视频是一种妥协。您可以将帧速率降低一半，也可以将分辨率降低一半。结果，很多原始设备制造商甚至都不担心，三星和索尼是为数不多的实施它的公司。甚至三星Galaxy Note 7也仅限于1080p 30 Hz录制，部分原因是HDR视频的计算成本较高。
红色数字电影摄影机公司被称为
HDRx ，Sony称为Digital Overlap HDR(DOL-HDR)，是两种主要的HDR视频传统方法中的第一种，其工作原理是拍摄两个连续的图像，一个曝光较暗，一个曝光较亮，然后合并它们一起创建一个视频帧。虽然这可以让您保持相机的完整分辨率(并为两个单独的帧设置不同的快门速度)，但由于两个帧之间的时间间隔(尤其是快速移动的对象)，通常会导致问题。此外，对于处理器来说，跟上DOL-HDR的步伐可能非常困难，电话的ISP负责将单独的帧合并在一起。另一种传统方法(索尼称其为Binning Multiplexed Exposure HDR(BME-HDR))为传感器中的每两行像素对设置不同的曝光设置，以同时创建两个半分辨率图像，然后将其合并在一起放入一个用于视频的HDR帧。尽管此方法避免了与HDRx相关的问题，即帧速率的降低，但它还有其他问题，特别是分辨率的降低以及在两组线之间如何更改曝光的限制。
空间多路曝光(SME-HDR)是Sony使用的一种新方法，可以使他们以传感器可以的全分辨率和全帧速拍摄HDR。它是“ 空间变化曝光”的一种变体，它使用专有算法使Sony能够捕获以棋盘格样式排列的暗像素和亮像素的信息，并推断出暗图像和亮图像的全分辨率图像。
不幸的是，索尼无法为我们提供有关确切模式的更详细的说明，他们可能永远也无法透露它-在采用尖端技术时，公司往往会把牌打得离他们的胸膛非常近，可以在HDR中看到，甚至Google都拥有自己的HDR照片专有算法，称为HDR +。不过，仍然有一些公开可用的信息可用于整理信息。哥伦比亚大学的Shree K. Nayar发表了几篇论文(其中一篇与Sony的Tomoo Mitsunaga合作)，其中包含使用空间变化曝光的不同方法以及可以实现此效果的不同布局。以下是在RGBG图像传感器上具有四个曝光级别的布局示例。这种布局声称能够实现单个捕获的全分辨率HDR图像，而空间分辨率则仅损失约20%，具体取决于场景(与Sony宣称的SME-HDR相同)。
索尼已经在一些图像传感器中使用了SME-HDR，包括最近已广受欢迎的IMX214(用于Asus Zenfone 3 Laser，Moto Z和Xperia X Performance )，但与去年使用的IMX377相比，它是IMX378的新增功能。启用SME-HDR时，它可使摄像机传感器在60 Hz时输出10位全分辨率和4k视频。尽管该过程中其他地方的瓶颈将导致下限的提高，但与IMX377的能力相比，这是一个了不起的进步，并且预示着未来将有美好的事情发生。
与IMX377相比，IMX378的重大改进之一是它能够处理更多的片上图像处理，从而减轻了ISP的工作量(尽管ISP仍然能够请求RAW图像数据，具体取决于如何OEM决定使用传感器)。它可以处理许多小的事情，例如缺陷校正和本地镜像，但是更重要的是，它还可以处理BME-HDR或SME-HDR，而无需涉及ISP。通过为将来的电话上的ISP释放一些开销，这有可能成为未来的主要差异。
我们要再次感谢索尼为创建本文提供的所有帮助。我们非常感谢Sony在帮助确保此功能的准确性和深度方面所付出的辛勤工作，尤其是允许我们发现有关IMX378的一些以前未发布的信息。
话虽这么说，真是太可惜了，很难访问其中的某些信息，甚至是基本产品信息。当公司试图在其网站上放置信息时，它通常是相当难以访问和不完整的，很大程度上是因为它通常被视为公司员工的次要问题，他们更专注于其主要工作。处理公众关系的专职人员可以为公众提供和访问这种类型的信息，这有很大的不同，而且我们看到有些人试图在闲暇时间做到这一点。即使在Sony Exmor Wikipedia文章本身上，在几个月的时间里，只有一个人在业余时间奠定了从几乎毫无用处的基础上进行学习的基础1,715字节的文章多年来一直是差不多的，而现在我们可以看到有185个不同的编辑者的〜50,000字节的文章。可以说，这是在线上有关Sony Exmor传感器产品线的最佳信息存储库，在其他文章上我们可以看到非常相似的模式。一位专职作家可以在客户比较各种产品的难易程度以及受过教育的感兴趣的消费者对该主题的态度方面产生重大变化，这可能会产生深远的影响。但这是另一个话题。
与往常一样，我们不知道这些硬件更改将如何影响设备本身。很显然，我们将不会获得4k 60 Hz HDR视频(并且可能根本不会获得HDR视频，因为Google尚未提及)，但是更快的全分辨率拍摄可能会极大地帮助HDR +，我们将看到新型传感器的改进也以其他类似的小而实质的方式滴入了手机。