当前位置:首页  >  行业资讯  > 正文

RK3588-Camera:MIPI-CSI调试之通路解析

RK3588-Camera:MIPI-CSI调试之通路解析
2023-06-10 23:17:25 来源:jf_30051736

一、简介

专栏总目录


(资料图片)

本文介绍RK3588平台的Camera:MIPI-CSI调试之通路解析

MIPI联盟,即移动产业处理器接口(Mobile Industry Processor Interface 简称MIPI)联盟。MIPI(移动产业处理器接口)是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。

目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化,从而减少手机设计的复杂程度和增加设计灵活性。

CSI & DSI

• CSI ( Camera Serial Interface ):摄像头接口

• DSI ( Display Serial Interface ):显示接口

二、 名词解释:

ISP ( Image Signal Processor ): 即图像信号处理模块, 主要作用是对前端图像传感器输出的信号做后期处理,依赖于 ISP 才能在不同的光学条件下都能较好的还原现场细节。VICAP( Video capture ):视频捕获单元

三、RK3588 的camera通路:

多sensor支持:

单路硬件isp最多支持4路复用,isp复用情况支持分辨率如下:2路复用:最大分辨率3840x2160,dts对应配置2路rkisp_vir设备。3路或4路复用:最大分辨率2560x1536,dts对应配置3或4路rkisp_vir设备。硬件支持最多采集7路sensor:6mipi + 1dvp,多sensor软件通路如下:

下图是RK3588 camera连接链路示意图,可以支持7路camera。

四、 链路解析:

图中:mipi camera2---> csi2_dphy1 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2

对应节点:imx415 ---> csi2_dphy0 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2

链接关系:sensor---> csi2 dphy---->mipi csi host--->vicap

实线链路解析: Camera sensor ---> dphy ---> 通过mipi_csi2模块解析mipi协议---> vicap ( rkcif节点代表vicap )

虚线链路解析:vicap ---> rkcif_mipi_lvds2_sditf ---> isp

每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。

五、RK3588硬件通路框图

rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。

六、详细解析:

imx415 : Camera sensorcsi2_dphy0 : rk3588支持2个dphy硬件,这里我们称之为dphy0_hw/dphy1_hw ,,两个dphy硬件都可以工作在full mode 和split mode两种模式下。

当使用dphy0_hw:

full mode:节点名称使用csi2_dphy0,最多支持4 lane。当dphy0_hw使用full mode时,链路需要按照csi2_dphy1这条链路来配置,但是节点名称csi2_dphy1需要修改为csi2_dphy0,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy1(使用0/1 lane)、csi2_dphy2(使用2/3 lane),每个phy最多支持2 lane。

当使用dphy1_hw:

full mode:节点名称使用csi2_dphy3,最多支持4 lane。当dphy1_hw使用full mode时,链路需要按照csi2_dphy4这条链路来配置,但是节点名称csi2_dphy4需要修改为csi2_dphy3,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy4(使用0/1 lane)、csi2_dphy5(使用2/3 lane),每个phy最多支持2 lane。

dcphy:rk3588支持两个dcphy,节点名称分别为csi2_dcphy0/csi2_dcphy1。每个dcphy硬件支持RX/TX同时使用,对于camera输入使用的是RX。支持DPHY/CPHY协议复用;需要注意的是同一个dcphy的TX/RX只能同时使用DPHY或同时使用CPHY。其他dcphy参数请查阅rk3588数据手册。

使用上述mipi phy节点,需要把对应的物理节点配置上。(csi2_dcphy0_hw/csi2_dcphy1_hw/csi2_dphy0_hw/csi2_dphy1_hw)

每个mipi phy都需要一个csi2模块来解析mipi协议,节点名称分别为mipi0_csi2~mipi5_csi2。

rk3588所有camera数据都需要通过vicap,再链接到isp。rk3588仅支持一个vicap硬件,这个vicap支持同时输入6路mipi phy,及一路dvp数据,所以我们将vicap分化成rkcif_mipi_lvds~rkcif_mipi_lvds5、rkcif_dvp等7个节点,各个节点的绑定关系需要严格按照框图的节点序号配置。

每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。

rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。

直通与回读模式:•直通:指数据经过vicap采集,直接发送给isp处理,不存储到ddr。需要注意的是hdr直通时,只有短帧是真正的直通,长帧需要存在ddr,isp再从ddr读取。

•回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。

•在dts配置时,一个isp硬件,如果只配置一个虚拟节点,默认使用直通模式,如果配置了多个虚拟节点默认使用回读模式。

七、单路Camera的dts配置说明:( 以imx415摄像头为例 )

案例场景:这里使用的是csi2_dphy0的单路camera配置:链路配置: imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2
&i2c3 {status = "okay";imx415: imx415@1a {status = "okay";compatible = "sony,imx415";reg = < 0x1a >;clocks = < &cru CLK_MIPI_CAMARAOUT_M3 >;clock-names = "xvclk";pinctrl-names = "default";pinctrl-0 = < &mipim0_camera3_clk >;power-domains = < &power RK3588_PD_VI >;pwdn-gpios = < &gpio1 RK_PB0 GPIO_ACTIVE_HIGH >;reset-gpios = < &gpio4 RK_PA0 GPIO_ACTIVE_LOW >;rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "CMK-OT2022-PX1";rockchip,camera-module-lens-name = "IR0147-50IRC-8M-F20";port {imx415_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam0 >;data-lanes = < 1 2 3 4 >;};};};camera_imx219: camera-imx219@10 {status = "disabled";compatible = "sony,imx219";reg = < 0x10 >;clocks = < &clk_cam_24m >;clock-names = "xvclk";rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "rpi-camera-v2";rockchip,camera-module-lens-name = "default";port {imx219_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam1 >;data-lanes = < 1 2 >;};};};};&csi2_dphy0_hw {status = "okay";};&csi2_dphy0 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipidphy0_in_ucam0: endpoint@1 {reg = < 1 >;remote-endpoint = < &imx415_out0 >;data-lanes = < 1 2 3 4 >;};mipidphy0_in_ucam1: endpoint@2 {reg = < 2 >;remote-endpoint = < &imx219_out0 >;data-lanes = < 1 2 >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;csidphy0_out: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi2_csi2_input >;};};};};&mipi2_csi2 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_input: endpoint@1 {reg = < 1 >;remote-endpoint = < &csidphy0_out >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_output: endpoint@0 {reg = < 0 >;remote-endpoint = < &cif_mipi2_in0 >;};};};};&rkcif {status = "okay";};&rkcif_mipi_lvds2 {status = "okay";port {cif_mipi2_in0: endpoint {remote-endpoint = < &mipi2_csi2_output >;};};};&rkcif_mipi_lvds2_sditf {status = "okay";port {mipi_lvds2_sditf: endpoint {remote-endpoint = < &isp0_vir0 >;};};};&rkcif_mmu {status = "okay";};&rkisp0 {status = "okay";};&isp0_mmu {status = "okay";};&rkisp0_vir0 {status = "okay";port {#address-cells = < 1 >;#size-cells = < 0 >;isp0_vir0: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi_lvds2_sditf >;};};};&pinctrl {camera {cam_pwdn_gpio: cam-pwdn-gpio {rockchip,pins = < 1 RK_PB0 RK_FUNC_GPIO &pcfg_pull_up >;};};};

八、 调试技巧

8.1 i2c设备的通用调试命令:查看设备是否挂载到i2c总线下:

i2cdetect -y 3

8.2 摄像命令

Linux系统摄像命令:
gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw,format=NV12,width=3840,height=2160, framerate=30/1 ! xvimagesink

Android系统:

Android系统自带相机APP。点击APP,看摄像画面是否正常显示。

8.3 imx415 相关的log信息

dmesg | grep imx415

8.4 查看拓扑结构

media-ctl -d /dev/media0 -p

审核编辑:汤梓红

标签:

(责任编辑:news01)
RK3588-Camera:MIPI-CSI调试之通路解析

RK3588-Camera:MIPI-CSI调试之通路解析

RK3588-Camera:MIPI-CSI调试之通路解析
06-10 23:17:25
速看:英国监管机构阻止微软收购动视暴雪 后者获准参与上诉程序

速看:英国监管机构阻止微软收购动视暴雪 后者获准参与上诉程序

月10日消息,软件巨头微软计划以690亿美元收购游戏开发商动视暴雪(Act
06-10 22:55:15
离职原因有哪些选项(离职原因有哪些) 世界今热点

离职原因有哪些选项(离职原因有哪些) 世界今热点

1、内容简介:员工离职是企业的损失,尤其核心员工的离职。2、所以作为
06-10 22:35:36
大运会火炬手邹敬园:希望全世界大学生感受到成都的文化_环球新资讯

大运会火炬手邹敬园:希望全世界大学生感受到成都的文化_环球新资讯

今日,成都大运会火炬“蓉火”传递正式在首站城市——北京开启。奥运冠
06-10 22:32:36
哈尔滨“商转公”热点十问十答!戳这里快速了解 前沿资讯

哈尔滨“商转公”热点十问十答!戳这里快速了解 前沿资讯

哈尔滨“商转公”热点十问十答!戳这里快速了解,热点,商转公,商业贷款,
06-10 21:58:47
力挺!小波特低迷场均7分 马龙:他不会掉出轮换 绝不质疑他

力挺!小波特低迷场均7分 马龙:他不会掉出轮换 绝不质疑他

北京时间6月10日,NBA总决赛G4即将开打,掘金将继续客场挑战热火。赛前
06-10 21:45:20
二氯甲烷沸点多少度(二氯甲烷沸点)

二氯甲烷沸点多少度(二氯甲烷沸点)

1、极少量是多少?理论上混有水的话沸点会升高,但是如果沸点升高了这么
06-10 21:21:16
全球热点!合同环境服务模式特点 合同环境服务行业市场发展及未来前景分析

全球热点!合同环境服务模式特点 合同环境服务行业市场发展及未来前景分析

环境产业发展至今,无论是政府环境管理战略转变下采购内容的变化,或是
06-10 21:09:44
世界热门:阿尔卡拉斯:只有百分之一的机会也不想留遗憾

世界热门:阿尔卡拉斯:只有百分之一的机会也不想留遗憾

”阿尔卡拉斯赛后说,“前两盘比赛打得非常非常激烈,强度很高,我开始
06-10 21:19:43
全球热推荐:2023高考今日落幕,多地公布志愿填报时间

全球热推荐:2023高考今日落幕,多地公布志愿填报时间

中新网北京6月10日电(韦香惠)10日,2023全国高考将全部落幕,目前,全国多
06-10 20:32:49
权志龙经纪合约正式到期, YG称计划协商单独合作

权志龙经纪合约正式到期, YG称计划协商单独合作

有网友发现YG艺人目录中没有BIGBANG,引发权志龙解约的猜测,随后YG股
06-10 20:33:23
亚油酸的功效与作用的作用(亚油酸的功效与作用)_当前热议

亚油酸的功效与作用的作用(亚油酸的功效与作用)_当前热议

来为大家解答以上的问题。亚油酸的功效与作用的作用,亚油酸的功效与作
06-10 20:07:15
尿微量白蛋白高是怎么回事(尿蛋白高是怎么回事)

尿微量白蛋白高是怎么回事(尿蛋白高是怎么回事)

1、出现尿蛋白高的现象患者朋友一定要注意,不要不去在意,这都身体可
06-10 19:52:54
高中生与大学生记者,曝光男子为找回80回后曹雪芹文笔,蜗居8平米23年

高中生与大学生记者,曝光男子为找回80回后曹雪芹文笔,蜗居8平米23年

《零乡》更像是与你面对面亲切交谈一样的以非虚构、跨文体、自传、百科
06-10 19:30:40
61岁亚视一哥享受单身,自夸年年18岁!前任曾华倩批其大男子主义

61岁亚视一哥享受单身,自夸年年18岁!前任曾华倩批其大男子主义

6月7日,据港媒报道,亚视最近举办了66周年庆典,为了隆重其事,主办方
06-10 19:21:51
每日视讯:消息称荣耀下月重返印度市场,realme 的 Madhav Sheth 出任 CEO

每日视讯:消息称荣耀下月重返印度市场,realme 的 Madhav Sheth 出任 CEO

IT之家6月10日消息,根据印度媒体EconomicTimes报道,荣耀正在组建印度
06-10 19:20:44
新闻1+1丨升级后的“村BA”,“村味”如何延续?

新闻1+1丨升级后的“村BA”,“村味”如何延续?

去年7月,在贵州省黔东南州台盘村举办的一场村级篮球赛,因为火热的现
06-10 18:50:24
每日关注!6-3、6-4、6-0!鲁德闯进法网决赛,兹维列夫坦言心服口服

每日关注!6-3、6-4、6-0!鲁德闯进法网决赛,兹维列夫坦言心服口服

谈及自己复出后的表现,兹维列夫对自己给予了高度评价,并表示:“我在
06-10 18:20:40
华泰证券,北上资金很看好! 热讯

华泰证券,北上资金很看好! 热讯

昨天华泰证券尾盘成交了近22万手,很多人在问是怎么回事,其实就是华泰
06-10 18:22:53
中方驳斥:无中生有、信口雌黄、恶意诋毁! 看热讯

中方驳斥:无中生有、信口雌黄、恶意诋毁! 看热讯

松花江网,是经国家互联网信息办公室批准的国家一类新闻网站,吉林省重
06-10 18:11:14
黄鳝怎么做好吃_黄鳝好吃的做法 天天新资讯

黄鳝怎么做好吃_黄鳝好吃的做法 天天新资讯

黄鳝怎么做好吃,黄鳝好吃的做法很多人还不知道,现在让我们一起来看看
06-10 17:58:12
从南宁来到厦门 两件南侨机工文物落户陈嘉庚纪念馆_世界球精选

从南宁来到厦门 两件南侨机工文物落户陈嘉庚纪念馆_世界球精选

南侨机工钟裕清所用军用储物箱。南侨机工钟裕清所用铁锤,经历了血与火
06-10 17:52:12
环球看热讯:焦虑症最怕一味中成药(氟西汀爱情含义)

环球看热讯:焦虑症最怕一味中成药(氟西汀爱情含义)

来为大家解答以上问题。焦虑症最怕一味中成药,氟西汀爱情含义这个很多
06-10 17:36:04
今日观点!教育部印发《意见》 加强中小学地方课程和校本课程建设与管理

今日观点!教育部印发《意见》 加强中小学地方课程和校本课程建设与管理

为完善基础教育课程体系,发挥地方课程和校本课程育人功能,近日,教育
06-10 17:18:25
热消息:环卫母亲与高考儿子相拥而泣刷屏,普通人改变命运的努力打动人心

热消息:环卫母亲与高考儿子相拥而泣刷屏,普通人改变命运的努力打动人心

极目新闻评论员徐汉雄6月8日,河北定州市高考英语科目结束,一位身穿环
06-10 16:45:19
【共同缔造安全江夏⑭】摄影作品:电力阶梯

【共同缔造安全江夏⑭】摄影作品:电力阶梯

【共同缔造安全江夏⑭】摄影作品:电力阶梯---电力工人为了保障江夏区
06-10 16:29:26
“十年一遇”!数万人被疏散,加拿大山林野火为何失控? 环球速读

“十年一遇”!数万人被疏散,加拿大山林野火为何失控? 环球速读

中新网6月10日电 据美国哥伦比亚广播公司(CBS)报道,当地时间9日,
06-10 16:13:20

精彩推送