本篇文章只干一件事::手机相机是如何将风景变成图片的?
一颗小小的芯片上集成了一百多亿个晶体管,其集成的各个模块共同支撑手机功能实现,如负责手机应用流畅切换的、支持游戏画面快速加载的,专门负责实现运算和应用实现的以及手机拍照担当的等等。按照书上的介绍,大致绘制了一块预览图:
,即图像信号处理器的缩写,主要用来处理前端图像信号,它能够将光信号变成电信号,是图像处理的核心器件。因此其性能会直接影响手机的拍照、摄像效果。
当打开手机准备拍照时,镜头会首先把被摄景物投影在图像传感器上。与此同时,影像处理器会通过测光、测距算出合适的参数并指示镜头对焦。随着拍照键的按下,会完成一次曝光,并通过的处理将其变成图片。大致流程如下:
参考文章:CMOS图像传感器
,即互补金属氧化物半导体,是一种可记录光线变化的半导体,主要利用硅和锗做成的半导体,使其在上共存着型和型半导体,这两个互补效应所产生的电流即可被处理芯片记录和解读称图像(数电书中也有介绍)。图像传感器,简称,即采用工艺的图像传感器,一种利用光电技术原理所制造的图像传感元件。
按道理输出的是的,每个像素点都感知 个分量的数字这样最准确。但是这样需要套感光板,而且的套数据还需要时间同步和对齐,这样成本高,难度大。所以,实际中通常采用一个叫色彩滤波阵列的滤光板,放在一个感光板上。,即彩色滤波列阵,由于本身是无法感受光的波长,也就是不能感知颜色,的作用是为了让能够感受色彩,目前主流采用阵列,也称或者,一般有四种:,,,。比如下面的模式:
像素,是图像传感器的最小感光单元,像素阵列排列在一起形成了图像传感器的感光区域。
像素尺寸,是指图像传感器单个感光元件的尺寸,一般我们能看到两种表述,比如或者。像素的尺寸越大,接收光子的数量就越多,同光照条件和曝光时间内产生的电荷也越多。
博主我从手机里导出了和对应的数据:
值为,对应索引为,而的值为,转换为颜色值就是。
局部放大图像,代码及结果如下:
看了相关的参考资料,这里的情况很复杂,内容太多太多啦,博主我就简单的梳理了以下,仅供参考:
篇幅有限,下面就仅看一下是如何进行操作的。正如上述所说,再具体一点,就是将无颜色的图像转为三通道的彩色图像,示例图如下:
效果如下:
参考博客如下:
1. ISP全流程简介:https://www.ngui.cc/article/show-954304.html
2. 我收藏的几篇知乎文章:https://www.zhihu.com/collection/865188946
是最近几年才出来的一个新的技术概念,当面对越来越高的场景复杂度和特殊的图像质量要求时,传统正面临了参数库逐渐庞大、调试困难、开发周期逐步拉长等挑战。以技术为辅助,通过机器学习的方法来强化的功能就成为技术发展的重要方向,由此诞生了。
在年,英特尔实验室的《Learning to see in the dark》论文中提出,可以通过整个神经网络来实现的全部功能。在这篇论文中,通过一个图进入,然后输出或者图像。到目前为止,还没有听说哪家的ISP产品是由整个神经网络完成的。
参考文章:AI视觉芯片干货分享:深度讲解AI ISP的技术原理([https://zhuanlan.zhihu.com/p/467137601](AI视觉芯片干货分享:深度讲解AI ISP的技术原理))