IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 摄像头的MIPI接口、DVP接口和CSI接口 -> 正文阅读

[人工智能]摄像头的MIPI接口、DVP接口和CSI接口

电脑摄像头接口是USB接口,智能手机的摄像头接口是MIPI接口,还有一部分的摄像头(比如说某些支持DVP接口的硬件)是DVP接口。

USB是串行通用串行总线(Universal Serial Bus)的简称,而MIPI是移动行业处理器接口(Mobile Industry Processor Interface),DVP是数字视频端口(digital video port)的简称,CSI是相机串行接口(CMOS Sensor Interface)的简称。

Camera工作原理介绍

工作过程

外部光线穿过 lens 后,经过 color filter 滤波后照射到 Sensor 面上,Sensor 将从 lens上传导过来的光线转换为电信号,再通过内部的 AD 转换为数字信号。如果 Sensor 没有集 成 DSP,则通过 DVP 的方式传输到baseband,此时的数据格式是 RAW DATA。如果集成 了 DSP, RAW DATA 数据经过 AWB、 则 color matrix、 lens shading、 gamma、 sharpness、 AE 和 de-noise 处理,后输出 YUV 或者 RGB 格式的数据。

最后由CPU送到framebuffer中显示,这就可以看到camera拍摄到的景象了。

Camera主要部件

camera 主要是由 lens 和 sensor IC 两部分组成,其中有的 sensor IC 集成 了DSP,有的没有集成,但也需要外部 DSP 处理。camera由下面几部分组成:

lens(镜头) 一般 camera 的镜头结构是有几片透镜组成,分有塑胶透镜(Plastic)和玻璃透 镜(Glass)
,通常镜头结构有:1P,2P,1G1P,1G3P,2G2P,4G 等。

sensor(图像传感器) Senor 是一种半导体芯片,有两种类型:CCD(Charge Coupled Device)即电荷耦合器件的缩写 和CMOS(Complementary?Metal-Oxide?Semiconductor)互补金属氧化物半导体。

CCD传感器,电荷信号先传送,后放大,再A/D,成像质量灵敏度高、分辨率好、噪声小;处理速度慢;造价高,工艺复杂。

CMOS传感器,电荷信号先放大,后A/D,再传送;成像质量灵敏度低、噪声明显;处理速度快;造价低,工艺简单。

sensor 将从 lens 上传导过来的光线转换为电信号, 再通过内部的 AD 转换为数字信号。 由于 sensor 的每个 pixel
只能感光 R 光或者 B 光或者 G 光, 因此每个像素此时存贮的是单色的, 我们称之为 RAW DATA 数据。

要想将每个像素的 RAW DATA 数据还原成三基色,就需要 ISP 来处理。 ISP(图像信号处理) 主要完成数字图像的处理工作,把 sensor 采集到的原始数据转换为显示支持 的格式。

CAMIF(camera 控制器) 芯片上的 camera 接口电路,对设备进行控制,接收 sensor 采集的数据交给 CPU,并送入
LCD 进行显示。

MIPI接口

MIPI摄像头常见于手机、平板中,支持500万像素以上高清分辨率。它的全称为 “Mobile Industry Processor
Interface”,分为 MIPI DSI 和 MIPI CSI,分别对应于视频显示和视频输入标准。目前,MIPI摄像头在嵌入式产品中,比如行车记录仪、执法仪、高清微型相机、网络监控相机等得到广泛应用。
MIPI的定义

MIPI联盟,即移动产业处理器接口(Mobile Industry Processor Interface 简称MIPI)联盟。

MIPI(移动产业处理器接口)是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。

MIPI的特点

MIPI是差分串口传输,速度快,抗干扰。主流手机模组现在都是用MIPI传输,传输时使用4对差分信号传输图像数据和一对差分时钟信号;最初是为了减少LCD屏和主控芯片之间连线的数量而设计的,后来发展到高速了,支持高分辨率的显示屏,现在基本上都是MIPI接口了。

MIPI摄像头有三个电源:VDDIO(IO电源),AVDD(模拟电源),DVDD(内核数字电源),不同sensor模组的摄像头供电不同

AVDD有2.8V或3.3V的;DVDD一般使用1.5V或更高,不同厂家的设计不同,1.5V可能由sensor模组提供或外部供给,可以使用外部供电则建议使用外部供,电压需大于内部的DVDD;VDDIO电压应与MIPI信号线的电平一致,若信号线是2.8V电平,则VDDIO也应供2.8V,有些sensor模组也可以不供VDDIO,由内部提供。

MIPI的camera接口叫 CSI,MIPI的display接口叫DSI。

DVP

DVP总线PCLK极限约在96M左右,而且走线长度不能过长,所有DVP最大速率最好控制在72M以下,PCB layout较容易画

IPI总线速率lvds接口耦合,走线必须差分等长,并且需要保护,故对PCB走线以及阻抗控制要求高一点(一般来讲差分阻抗要求在85欧姆~125欧姆之间)。

DVP是并口,需要PCLK、VSYNC、HSYNC、D[0:11]——可以是8/10/12bit数据,具体情况要看ISP或baseband是否支持

MIPI是LVDS低压差分串口,只需要要CLKP/N、DATAP/N——最大支持4-lane,一般2-lane可以搞定

MIPI接口比DVP的接口信号线少,由于是低压差分信号,产生的干扰小,抗干扰能力也强

DVP接口在信号完整性方面受限制,速率也受限制。500W还可以勉强用DVP,800W及以上都采用MIPI接口。

CSI接口

基本概念

CSI-2接口规范是由MIPI(Mobile Industry Processor Interface)联盟组织于2005年发布的关于相机串行接口,它作为一种全新的相机设备和处理器之间的接口框架,给便携式、手机摄像头等相关产业提供了一种灵活且高速的设备接口[28]。此前,传统摄像头接口一般都包括了数据总线、时钟总线、同步信号线控制线等,物理接口框图如下所示:

在这里插入图片描述
这种摄像头物理接口所占用的数据线较多,逻辑设计上也比较复杂,需要严格同步包括水平同步信号,垂直同步信号以及时钟信号,这对摄像头这端以及接收器这端都提出了较高的要求

在高速传输的过程中,直接使用数字信号作为数据容易被其他外部信号干扰,不如差分信号的稳定性,这样也大大限制了其传输的速率以及相机最大能够实时传输的图像质量。

基于CSI-2摄像头数据传输过程使用了数据差分信号对视频中像素值进行传输,同时CSI-2传输接口能够非常灵活的进行精简或者扩展

对于接口较少的应用场景,CSI-2接口可以只使用一组差分数据信号线以及一组差分时钟线就能够完成摄像头的数据串行传输过程,这样便减少了负载,同时也能够满足一定的传输速率

对于大阵列的CCD相机,CSI-2接口也能够扩展其差分数据线,从而满足多组数据线并行传输的高速要求。

在这里插入图片描述
CSI-2接口中也集成了控制接口CCI(Camera Control Interface),CCI是一个能够支持400KHz传输速率的全双工主从设备通信控制接口,它能够兼容现有很多处理器的IIC标准接口,因此可以非常方便地实现Soc上CCI Master Module到 CSI-2 TX 端CCI Slave Module的控制

CSI物理协议层规定

MIPI联盟除了在摄像头的接口上进行全新的规定以外还对CSI-2接口的软件架构进行了进一步的制定,CSI-2软件框架主要分成三层,分别为应用层、协议层、物理层,而对于协议层又可以细分为像素字节打包层/解包层、LLP(Low LevelProtocol)层、通道管理层(Lane Management),其主要系统软件框图如下所示:

在这里插入图片描述
CSI协议层设计:

应用层:主要设计了上层数据流的编码以及解码格式,规定了像素转换为字节的映射关系;

协议层:主要包括了像素/字节打包/字节解包层,LLP层提供了串行传输数据的同步机制,通道管理层提供了数据位宽可扩展功能,从而灵活的适应不同的应用场景;

物理层:定义了基本传输介质规范,确定了CSI-2协议物理层的输入输出特性参数,并确定其电气特性以及时钟时序。

在现实生活中,摄像头随处可见,但是对于一个电子工程师来讲,理解摄像头的使用方法还是非常有必要的,一般来讲,摄像头的接口主要有MIPI接口、DVP接口、CSI接口三大类,下面说说我对这三大类的理解。

工具/原料

  • 摄像头接口-MIPI、DVP、CSI

方法/步骤

  1. 我们常用的电脑摄像头接口是USB接口,而常见的智能手机上的摄像头是MIPI接口,还有一部分的摄像头(比如说某些支持DVP接口的硬件)是DVP接口;通俗的讲,USB是串行通用串行总线(Universal Serial Bus)的简称,而MIPI是移动行业处理器接口(Mobile Industry Processor Interface),DVP是数字视频端口(digital video port)的简称,CSI是相机串行接口(CMOS Sensor Interface)的简称。

  2. DVP总线PCLK极限约在96M左右,而且走线长度不能过长,所有DVP最大速率最好控制在72M以下,PCB layout较容易画;MIPI总线速率lvds接口耦合,走线必须差分等长,并且需要保护,故对PCB走线以及阻抗控制要求高一点(一般来讲差分阻抗要求在85欧姆~125欧姆之间)。

  3. 3

    DVP是并口,需要PCLK、VSYNC、HSYNC、D[0:11]——可以是8/10/12bit数据,具体情况要看ISP或baseband是否支持;MIPI是LVDS低压差分串口,只需要要CLKP/N、DATAP/N——最大支持4-lane,一般2-lane可以搞定。MIPI接口比DVP的接口信号线少,由于是低压差分信号,产生的干扰小,抗干扰能力也强。最重要的是DVP接口在信号完整性方面受限制,速率也受限制。500W还可以勉强用DVP,800W及以上都采用MIPI接口。

    END

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-05-11 16:27:02  更:2022-05-11 16:28:01 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 6:27:34-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码