1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310515095.X(22)申请日 2023.05.09(71)申请人 创视微电子(成都)有限公司地址 610000 四川省成都市中国(四川)自由贸易试验区成都高新区天府大道中段1577号10楼(72)发明人 请求不公布姓名(74)专利代理机构 成都行之智信知识产权代理有限公司 51256专利代理师 马丽青(51)Int.Cl.H04N 23/69(2023.01)H04N 23/80(2023.01)(54)发明名称图像传感器及其数码变焦方法、成像系统及其变焦方法(57)摘要本发明涉及图
2、像采集技术领域,公开了一种图像传感器及其数码变焦方法、成像系统及其变焦方法。在当前帧的垂直消隐开始时生成当前帧的帧长调整量、读出模式信息、缩放倍数和裁剪信息;利用时序控制模块根据当前帧的帧长调整量延长当前帧的长度,利用读出控制模块根据读出模式信息控制像素矩阵在当前帧重新曝光;利用读出控制模块控制像素矩阵读出重新曝光后的像素,利用缩放模块根据缩放倍数执行缩放操作,利用裁剪模块根据裁剪信息执行裁剪操作,输出变焦后的图像。本发明可降低图像分辨率、防止丢失图像细节,避免在切换动作模式时会出现坏帧。权利要求书2页 说明书9页 附图4页CN 116506733 A2023.07.28CN 11650673
3、3 A1.一种可变焦且防坏帧的图像传感器,其特征在于,包括变焦控制模块,用于接收和解析外部的变焦指令信息,若变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,则在当前帧的垂直消隐开始时向时序控制模块发送当前帧的帧长调整量、向读出控制模块发送读出模式信息、向缩放模块发送缩放倍数以及向裁剪模块发送裁剪信息,并在下一帧开始时序控制模块发送当前帧的帧长调整量;若变焦指令中的变焦倍数缩放模块支持的缩放倍数,则在当前帧的垂直消隐开始时向缩放模块发送缩放倍数以及向裁剪模块发送裁剪信息;时序控制模块,用于在当前帧的垂直消隐开始时根据帧长调整量延长当前帧的长度,以及在下一帧开始时根据帧长调整量还原当前帧的长度;读
4、出控制模块,用于根据读出模式信息控制像素矩阵在当前帧重新曝光并在下一帧开始时读出重新曝光后的像素;缩放模块,用于在下一帧开始时根据缩放倍数执行缩放操作;裁剪模块,用于在下一帧开始时根据裁剪信息执行裁剪操作。2.根据权利要求1所述的一种可变焦且防坏帧的图像传感器,其特征在于,变焦控制模块包括帧长调整量计算单元,用于在当前帧的垂直消隐开始前,根据单帧长度对应的行数、像素矩阵读出的行数和曝光时长对应的行数计算出当前帧的帧长调整量;缩放倍数计算单元,用于根据变焦前的像素矩阵缩放倍数和变焦指令信息中的变焦倍数计算出需向缩放模块发送的缩放倍数。3.根据权利要求1所述的一种可变焦且防坏帧的图像传感器,其特征
5、在于,帧长调整量用于在当前帧的垂直消隐开始时延长当前帧的长度以及在下一帧开始时还原当前帧的长度;变焦指令信息包括变焦起始位置和变焦倍数;读出模式信息包括像素读出起始位置和像素读出方式;裁剪信息包括裁剪起始位置和裁剪大小。4.根据权利要求1所述的一种可变焦且防坏帧的图像传感器,其特征在于,还包括滤波模块,用于对像素矩阵的读出数据进行滤波;输出接口,用于输出经过缩放和裁剪后的数据。5.一种图像传感器的数码变焦方法,其特征在于,在图像传感器的内部执行以下步骤:接收和解析外部的变焦指令信息;若变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,则执行S11和S12:S11:在当前帧的垂直消隐开始时执行以下
6、操作:向时序控制模块发送当前帧的帧长调整量,向读出控制模块发送读出模式信息,向缩放模块发送缩放倍数,以及向裁剪模块发送裁剪信息;利用时序控制模块根据当前帧的帧长调整量延长当前帧的长度;利用读出控制模块根据读出模式信息控制像素矩阵在当前帧重新曝光;S12:在下一帧开始时执行以下操作:向时序控制模块发送当前帧的帧长调整量,利用时序控制模块根据当前帧的帧长调整量还原当前帧的长度;权利要求书1/2 页2CN 116506733 A2利用读出控制模块控制像素矩阵读出重新曝光后的像素;利用缩放模块根据缩放倍数执行缩放操作,利用裁剪模块根据裁剪信息执行裁剪操作,输出变焦后的图像;若变焦指令信息中的变焦倍数缩
7、放模块支持的缩放倍数,则执行S21和S22:S21:在当前帧的垂直消隐开始时,执行以下操作:向缩放模块发送缩放倍数;向裁剪模块发送裁剪信息;S22:在下一帧开始时,执行以下操作:利用缩放模块根据缩放倍数执行缩放操作,利用裁剪模块根据裁剪信息执行裁剪操作,输出变焦后的图像。6.根据权利要求5所述的一种图像传感器的数码变焦方法,其特征在于,S11中,当前帧的帧长调整量的获取方法为:在当前帧的垂直消隐开始前,根据单帧长度对应的行数a和像素矩阵读出的行数b,计算出垂直消隐长度对应的行数d,根据曝光时长对应的行数c和垂直消隐长度对应的行数d,计算出当前帧的帧长调整量e;当d(c+ofst)0时,ec+o
8、fstd,dab,ofst表示读出模式切换所需的时间;当d(c+ofst)0时,e0;缩放倍数的获取方法为:根据变焦前的读出方式对应的缩放倍数r1、变焦后的读出方式对应的变焦倍数r2、变焦前的像素矩阵缩放倍数n1和变焦指令信息中的变焦倍数n2,计算出需向缩放模块发送的缩放倍数n,n(r1/r2)(n1/n2)。7.根据权利要求5或6所述的一种图像传感器的数码变焦方法,其特征在于,S21中,缩放倍数的获取方法为:根据变焦前的像素矩阵缩放倍数n1和变焦指令信息中的变焦倍数n2,计算出需向缩放模块发送的缩放倍数n,nn1/n2。8.根据权利要求5或6所述的一种图像传感器的数码变焦方法,其特征在于,还
9、包括以下步骤:对像素矩阵的读出数据进行滤波;输出经过缩放和裁剪后的数据。9.一种高分辨率且防细节丢失的成像系统,其特征在于,包括控制模块、光学变焦模块、透镜控制模块和如权利要求14中任一所述的图像传感器;控制模块用于接收和解析用户下达的变焦指令,若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则向图像传感器发送变焦指令信息,驱动图像传感器根据变焦指令信息执行数码变焦;若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则向光学变焦模块发送变焦指令信息,驱动光学变焦模块根据变焦指令信息工作;光学变焦模块用于接收和解析控制模块发送的变焦指令信息,并向透镜控制模块发送驱动信息;透镜控制模块用于光学变
10、焦模块发送的驱动信息控制透镜与图像传感器之间的距离。10.一种高分辨率且防细节丢失的变焦方法,其特征在于,基于权利要求14中任一所述的图像传感器,包括以下步骤:接收和解析用户下达的变焦指令;若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则利用控制模块向图像传感器发送第一变焦指令信息,驱动图像传感器根据变焦指令信息执行数码变焦;若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则向光学变焦模块发送变焦指令信息,控制光学变焦模块驱动透镜控制模块调整来透镜与图像传感器之间的距离。权利要求书2/2 页3CN 116506733 A3图像传感器及其数码变焦方法、成像系统及其变焦方法技术领域0001本
11、发明涉及图像采集技术领域,具体而言,涉及一种图像传感器及其数码变焦方法、成像系统及其变焦方法。背景技术0002在利用手机、监控等设备进行拍照或摄像过程中,经常会通过变焦对拍摄图像进行放大。变焦主要包括光学变焦和数码变焦两种。光学变焦是在保证分辨率不变的前提下,通过调整镜片与图像传感器之间的距离的方式实现变焦,但调整镜片位置需要不同器件之间的交互,这种交互大大限制了变焦的响应时间,同时镜头大小也限制了变焦倍数。数码变焦是根据周边色彩情况,经特殊算法向拍摄图像中插入像素的方式实现变焦,相较于光学变焦而言,数码变焦的响应时间更快,但会导致图像分辨率降低以及画质下降。0003另外,图像传感器输出的图像
12、分辨率与像素矩阵的大小及其读出方式有关,像素矩阵越大,图像分辨率越高且图像细节越多。通常图像传感器会支持2种或2种以上的读出方式,全尺寸读出方式和V2H2加算读出方式。相较于V2H2加算读出方式而言,采用全尺寸读出方式读出的图像的分辨率更高且图像细节更多。0004此外,图像传感器的缩放功能可以按照显示分辨率将拍摄的图像等比率缩小,虽然经过缩放后会损失拍摄到的图像细节,但能将拍摄到的图像全景完整地显示出来;图像传感器的裁剪功能可以将拍摄到的图像细节完整保留,但只能按照显示分辨率裁剪出指定位置图像,而不能将图像全景完整地显示。图像传感器的缩放功能、裁剪功能和读出控制功能相互独立,且各功能需要按照提
13、前设置好的工作模式动作,如果中途需要修改动作模式,图像传感器会出现坏帧,导致出图异常。0005有鉴于此,特提出本申请。发明内容0006本发明的目的是提供一种图像传感器及其数码变焦方法、成像系统及其变焦方法,解决现有的数码变焦技术会降低图像分辨率、丢失图像细节,且在切换动作模式时会出现坏帧。0007本发明通过下述技术方案实现:0008一方面,提供一种可变焦且防坏帧的图像传感器,包括变焦控制模块、时序控制模块、读出控制模块、缩放模块和裁剪模块。其中,变焦控制模块用于接收和解析外部的变焦指令信息,若变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,则在当前帧的垂直消隐开始时向时序控制模块发送当前帧的帧
14、长调整量、向读出控制模块发送读出模式信息、向缩放模块发送缩放倍数以及向裁剪模块发送裁剪信息,并在下一帧开始时序控制模块发送当前帧的帧长调整量;若变焦指令中的变焦倍数缩放模块支持的缩放倍数,则在当前帧的垂直消隐开始时向缩放模块发送缩放倍数以及向裁剪模块发送裁剪信息。时序控制模块用于在当前帧的垂直消隐开始时根据帧长调整量延长当前帧的长度,以及在下一帧说明书1/9 页4CN 116506733 A4开始时根据帧长调整量还原当前帧的长度。读出控制模块用于根据读出模式信息控制像素矩阵在当前帧重新曝光并在下一帧开始时读出重新曝光后的像素。缩放模块用于在下一帧开始时根据缩放倍数执行缩放操作。裁剪模块用于在下
15、一帧开始时根据裁剪信息执行裁剪操作。0009进一步的,变焦控制模块包括帧长调整量计算单元和缩放倍数计算单元。其中,帧长调整量计算单元用于在当前帧的垂直消隐开始前,根据单帧长度对应的行数、像素矩阵读出的行数和曝光时长对应的行数计算出当前帧的帧长调整量。缩放倍数计算单元用于根据变焦前的像素矩阵缩放倍数和变焦指令信息中的变焦倍数计算出需向缩放模块发送的缩放倍数。0010进一步的,帧长调整量用于在当前帧的垂直消隐开始时延长当前帧的长度以及在下一帧开始时还原当前帧的长度;变焦指令信息包括变焦起始位置和变焦倍数;读出模式信息包括像素读出起始位置和像素读出方式;裁剪信息包括裁剪起始位置和裁剪大小。0011进
16、一步的,图像传感器还包括滤波模块和输出接口。其中,滤波模块用于对像素矩阵的读出数据进行滤波。输出接口用于输出经过缩放和裁剪后的数据。0012另一方面,提供一种图像传感器的数码变焦方法,在图像传感器的内部执行以下步骤:0013接收和解析外部的变焦指令信息;0014若变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,则执行S11和S12:0015S11:在当前帧的垂直消隐开始时执行以下操作:0016向时序控制模块发送当前帧的帧长调整量,向读出控制模块发送读出模式信息,向缩放模块发送缩放倍数,以及向裁剪模块发送裁剪信息;0017利用时序控制模块根据当前帧的帧长调整量延长当前帧的长度;0018利用读出控
17、制模块根据读出模式信息控制像素矩阵在当前帧重新曝光;0019S12:在下一帧开始时执行以下操作:0020向时序控制模块发送当前帧的帧长调整量,利用时序控制模块根据当前帧的帧长调整量还原当前帧的长度;0021利用读出控制模块控制像素矩阵读出重新曝光后的像素;0022利用缩放模块根据缩放倍数执行缩放操作,利用裁剪模块根据裁剪信息执行裁剪操作,输出变焦后的图像;0023若变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,则执行S21和S22:0024S21:在当前帧的垂直消隐开始时,执行以下操作:0025向缩放模块发送缩放倍数;0026向裁剪模块发送裁剪信息;0027S22:在下一帧开始时,执行以下操
18、作:0028利用缩放模块根据缩放倍数执行缩放操作,利用裁剪模块根据裁剪信息执行裁剪操作,输出变焦后的图像。0029进一步的,当前帧的帧长调整量的获取方法为:在当前帧的垂直消隐开始前,根据单帧长度对应的行数a和像素矩阵读出的行数b,计算出垂直消隐长度对应的行数d,根据曝光时长对应的行数c和垂直消隐长度对应的行数d,计算出当前帧的帧长调整量e;当d(c+说明书2/9 页5CN 116506733 A5ofst)0时,ec+ofstd,dab,ofst表示读出模式切换所需的时间;当d(c+ofst)0时,e0;缩放倍数的获取方法为:当变焦指令信息中的变焦倍数缩放模块支持的缩放倍数时,根据变焦前的像素
19、矩阵缩放倍数n1和变焦指令信息中的变焦倍数n2,计算出需向缩放模块发送的缩放倍数n,nn1/n2;当变焦指令信息中的变焦倍数缩放模块支持的缩放倍数时,根据变焦前的读出方式对应的缩放倍数r1、变焦后的读出方式对应的变焦倍数r2、变焦前的像素矩阵缩放倍数n1和变焦指令信息中的变焦倍数n2,计算出需向缩放模块发送的缩放倍数n,n(r1/r2)(n1/n2)。0030进一步的,帧长调整量用于在当前帧的垂直消隐开始时延长当前帧的长度以及在下一帧开始时还原当前帧的长度;变焦指令信息包括变焦起始位置和变焦倍数;读出模式信息包括像素读出起始位置和像素读出方式;裁剪信息包括裁剪起始位置和裁剪大小。0031进一步
20、的,数码变焦方法还包括以下步骤:对像素矩阵的读出数据进行滤波;输出经过缩放和裁剪后的数据。0032再一方面,提供一种高分辨率且防细节丢失的成像系统,包括控制模块、光学变焦模块、透镜控制模块和上述图像传感器。其中,控制模块用于接收和解析用户下达的变焦指令,若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则向图像传感器发送变焦指令信息,驱动图像传感器根据变焦指令信息执行数码变焦;若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则向光学变焦模块发送变焦指令信息,驱动光学变焦模块根据变焦指令信息工作。光学变焦模块用于接收和解析控制模块发送的变焦指令信息,并向透镜控制模块发送驱动信息。透镜控制模块用
21、于光学变焦模块发送的驱动信息控制透镜与图像传感器之间的距离。0033再一方面,提供一种高分辨率且防细节丢失的变焦方法,该方法基于上述图像传感器,包括以下步骤:0034接收和解析用户下达的变焦指令;0035若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则利用控制模块向图像传感器发送第一变焦指令信息,驱动图像传感器根据变焦指令信息执行数码变焦;0036若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则向光学变焦模块发送变焦指令信息,控制光学变焦模块驱动透镜控制模块调整来透镜与图像传感器之间的距离。0037本发明与现有技术相比,具有如下的优点和有益效果:00381、通过在现有图像传感器内部增设
22、了变焦控制模块,将图像传感器的原本相互独立的缩放功能、裁剪功能和读出控制功能进行了整合,通过变焦控制模块解析外部的变焦指令信息,根据解析结果分别控制图像传感器的缩放倍数、裁剪起始位置、裁剪大小、读出起始位置和读出方式来实现数码变焦。2、各动作模式切换发生在垂直消隐期间,因此可避免动作模式切换导致坏帧的问题。3、本申请提供的方法通过缩放和裁剪结合的方式来实现数码变焦,相较于常用数码变焦而言,该变焦方法使得图像能有更好的分辨率以及图像细节信息。附图说明0039为了更清楚地说明本发明示例性实施方式的技术方案,下面将对实施例中所需要说明书3/9 页6CN 116506733 A6使用的附图作简单地介绍
23、,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。0040图1为本发明实施例1提供的一种可变焦且防坏帧的图像传感器的系统架构图;0041图2为本发明实施例1提供的变焦指令信息中的变焦倍数超出缩放模块支持的缩放倍数的情况下图像传感器的变焦时序图;0042图3为本发明实施例1提供的变焦指令信息中的变焦倍数超出缩放模块支持的缩放倍数的情况下,经图像传感器变焦前后图像的变化情况示意图;0043图4为本发明实施例1提供的变焦指令信息中的变焦倍数未超出缩放模块支持的缩放倍数的情况下,图
24、像传感器的变焦时序图;0044图5为本发明实施例1提供的变焦指令信息中的变焦倍数未超出缩放模块支持的缩放倍数的情况下,经图像传感器变焦前后图像的变化情况示意图;0045图6为本发明实施例2提供的一种图像传感器的数码变焦方法流程图;0046图7为本发明实施例3提供的改进的成像系统的架构图。具体实施方式0047为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。0048实施例10049图1为本实施例提供的一种可变焦且防坏帧的图像传感器的系统架构图。改进后的图像传感器在传统的图像传感器
25、中增加了变焦控制模块,将传统的图像传感器的相互独立的读出控制功能、缩放功能和裁剪功能进行了整合,通过接收和解析外部的变焦指令信息并根据图像传感器的内部动作情况进行相应的控制,从而实现当图像传感器的动作模式切换时不会出现坏帧,并具有变焦功能。0050具体的,本实施例提供的图像传感器包括变焦控制模块、时序控制模块、读出控制模块、像素矩阵、滤波模块、缩放模块、裁剪模块和输出接口。接下来对各模块的功能及工作原理说明如下:0051当变焦控制模块接收到外部的变焦指令信息后,会判断变焦指令信息中的变焦倍数是否超出了图像传感器中缩放模块所支持的缩放倍数,根据不同的判断结果执行相应的控制方式来实现数码变焦。00
26、52第一种情况:变焦指令信息中的变焦倍数缩放模块支持的缩放倍数0053若变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,需要在缩放和裁剪结合的基础上,同时调整像素读出方式。变焦控制模块会在当前帧的垂直消隐开始前计算出当前帧的帧长调整量,目的是通过调整当前帧的长度来重新曝光,从而保证下一帧读出数据曝光时间满足原有的配置需求。0054在当前帧的垂直消隐开始时,变焦控制模块将当前帧的帧长调整量发送给时序控制模块,将像素读出起始位置和像素读出方式发送给读出控制模块,将缩放倍数发送给缩放模块,以及将裁剪开始位置和裁剪大小发送给裁剪模块。时序控制模块会根据接收到的说明书4/9 页7CN 116506733
27、 A7当前帧的帧长调整量延长当前帧的长度。读出控制模块会根据接收到的像素读出起始位置和像素读出方式控制像素矩阵在当前帧重新曝光并在下一帧开始时读出重新曝光后的像素。另外,在下一帧开始时,变焦控制模块还会向时序控制模块发送当前帧的帧长调整量,目的是将当前帧的帧长还原至原始帧长。0055在下一帧开始时,缩放模块根据接收到的缩放倍数对像素矩阵读出的重新曝光后的图像进行缩放,裁剪模块根据接收到的裁剪起始位置和裁剪大小对缩放后的图像进行裁剪,输出变焦结果。0056举例说明:0057现有一个像素矩阵的大小为33.2M(7680pix*4320pix),按照V2H2加算读出方式读出8.3M(3840pix*
28、2160pix)的图像数据,并且按照2倍缩放倍数、不进行裁剪的模式,输出1080P、规格2.07M(1920pix*1080pix)的图像数据,将图像数据以帧长A的方式传输。若此时变焦控制模块接收到变焦倍数为4倍、变焦开始位置为10行的外部变焦指令信号。由于变焦倍数4倍缩放倍数2倍,超过了缩放模块支持的缩放倍数,则需要对读出方式进行调整以实现4倍变焦。由于读出方式需要调整,变焦控制模块会在当前帧的垂直消隐开始时向时序控制模块发送当前帧的帧长调整量B;并且,变焦控制模块会向读出控制模块发送模式切换信息(像素读出方式和像素读出起始位置),将像素读出方式从V2H2加算读出方式调整为全尺寸读出方式,以
29、便将更多的图像细节信息读出,使得读出像素数由8.3M变成33.2M。另外,变焦控制模块向缩放模块发送变化后的缩放倍数,将缩放倍数从2倍调整为1倍;向裁剪模块发送裁剪信息(裁剪起始位置和裁剪大小),使裁剪模块从具有更多细节信息的33.2M像素中裁剪出2.07M(1920*1080)的数据。0058图2为变焦指令信息中的变焦倍数超出缩放模块支持的缩放倍数的情况下,图像传感器的变焦时序图。根据图2的分析可得出以下几点:0059第一,当变焦指令信息中的变焦倍数缩放模块支持的缩放倍数时,需要进行读出模式切换(曝光和读出动作变化)。由于曝光动作发生在当前帧,读出动作发生在下一帧,如果不对像素矩阵重新曝光,
30、那么曝光与读出动作不匹配就会出现坏帧,因此需调整帧长来满足重新曝光所需要的时间。0060第二,当前帧的垂直消隐开始时,变焦控制模块向时序控制模块发送了当前帧的帧长调整量,时序控制模块根据帧长调整量调整当前帧的垂直消隐长度用来重新曝光;并在下一帧开始时,向时序控制模块发送了当前帧的帧长调整量,将当前帧的帧长还原到原始长度,从而保证了变焦后帧率不变。0061第三,当前帧的垂直消隐期间,变焦控制模块向缩放模块发送了缩放倍数,向裁剪模块发送了裁剪信息,缩放模块和裁剪模块在下一帧开始时即根据各自收到的信息动作,从而实现了变焦。0062第四,缩放倍数、裁剪开始位置和裁剪大小等信息均是在垂直消隐期间发送(垂
31、直消隐:一帧数据传送结束下帧数据传送开始前的空闲期间,功能模块没有动作),因此也不会出现因为功能动作模式切换导致出现坏帧的情况。0063图3为变焦指令信息中的变焦倍数超出缩放模块支持的缩放倍数的情况下,经图像传感器变焦前后图像的变化情况。对图3分析可以得出:0064变焦前,像素矩阵按照V2H2加算(同色垂直2列水平方向2行合并)读出,2倍缩放,说明书5/9 页8CN 116506733 A8不进行裁剪的方式进行图像输出。通过V2H2加算的读出方式,会损失部分像素矩阵的细节,实现像素矩阵的2倍缩放,再通过缩放模块将画面按照一定比例缩放,虽然会损失部分细节,但可以将像素矩阵拍摄到的画面全景显示。当
32、变焦控制模块接收到变焦信息之后,由于变焦指令信息中的变焦倍数(图例变焦倍数为4倍)缩放模块支持的缩放倍数,因此需要调整读出方式以及缩放倍数,组合完成对应的变焦倍数。将读出方式由V2H2加算读出调整为全尺寸读出,还原读出方式损失的信息。再调整缩放倍数将原本因缩放损失的细节信息还原,缩放倍数调整量变焦倍数/读出方式切换前后缩放倍数变化。最后将指定位置裁剪出符合输出的大小,裁剪过程中不会有细节损失。最终可看到对应位置的画面变大且细节被展现出来。0065第二种情况:变焦指令信息中的变焦倍数缩放模块支持的缩放倍数0066若变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,变焦控制模块会在当前帧的垂直消隐开
33、始时向缩放模块发送变化后的缩放倍数信息,向裁剪功能发送变化后的裁剪起始位置以及裁剪大小信息,仅通过缩放和裁剪结合的方式就能够实现变焦,因此当前帧的帧长调整量为零。缩放模块以及裁剪模块会在下一帧开始时对输入图像进行相应处理。0067举例说明如下:0068现有一个像素矩阵的大小为33.2M(7680pix*4320pix),按照V2H2加算方式读出8.3M(3840pix*2160pix)的图像数据,并且当前以2倍缩放倍数,不裁剪的模式,按照1080P输出规格为2.07M(1920pix*1080pix)的图像数据,并对输出的图像数据进行传输。变焦控制模块接收到变焦倍数为2倍,变焦开始位置为10行
34、的外部变焦指令信息。由于变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,则仅需要调整缩放倍数以及裁剪位置即可完成对应变焦,当前帧的帧长调整量为零。变焦控制模块在当前帧的垂直消隐开始时,向缩放模块发送缩放倍数信息,将缩放倍数从2倍调整为1倍,将原本缩放所丢弃的细节信息还原,像素数由2.07M变成8.3M,但最终输出规格为2.07M,需要向裁剪模块发送裁剪的起始位置以及大小的信息,裁剪出2.07M(1920*1080)的数据;这样最终输出既保留了细节也得到了2倍变焦后数据。0069如图4为变焦指令信息中的变焦倍数未超出缩放模块支持的缩放倍数的情况下,图像传感器的变焦时序图。根据图4的分析可得出以下
35、几点:0070第一,当变焦指令信息中的变焦倍数缩放模块支持的缩放倍数时,仅通过缩放和裁剪结合的方式就能够实现变焦,因此当前帧的帧长调整量为零。0071第二,当前帧的垂直消隐期间,变焦控制模块发送缩放倍数至缩放模块,发送裁剪开始位置及裁剪大小信息给裁剪模块,缩放模块和裁剪模块即可在下一帧开始时就按照各自收到的信息进行动作,实现变焦。0072第三,由于缩放倍数和裁剪开始位置及大小信息是在垂直消隐期间发送(垂直消隐:一帧数据传送结束下帧数据传送开始前的空闲期间,功能模块没有动作),因此也不会出现因为功能动作模式切换导致出现坏帧的情况。0073图5为变焦指令信息中的变焦倍数未超出缩放模块支持的缩放倍数
36、的情况下,经图像传感器变焦前后图像的变化情况。对图5分析可以得出:0074变焦前,像素矩阵按照V2H2加算(同色垂直2列水平方向2行合并)读出,2倍缩放,说明书6/9 页9CN 116506733 A9不进行裁剪的方式进行图像输出。通过V2H2加算的读出方式,会损失部分像素矩阵的细节,实现像素矩阵的2倍缩放,再通过缩放模块将画面按照一定比例缩放,虽然会损失部分细节,但可以将像素矩阵拍摄到的画面全景显示。变焦控制模块接收到变焦信息后,由于变焦指令信息中的变焦倍数(图例变焦倍数为2倍)缩放模块支持的缩放倍数,仅通过缩放和裁剪结合的方式即可满足变焦动作。调整缩放倍数将原本因缩放损失的细节信息还原,并
37、将指定位置裁剪出符合输出的大小,裁剪过程中不会有细节损失。最终可以看到对应位置的画面变大且细节被展现出来。0075需说明的是,1、基于上述各功能模块的工作原理及控制流程便得到了具有更多细节、开始位置为第10行且4倍变焦的图像。由于读出方式切换以及缩放裁剪动作控制,将采集到的图像信息还原,实现数字变焦,相较于现有数码变焦,扩大后的数据均为采集到的数据,使变焦后的图像能有更好的分辨率以及图像细节信息。2、本实例中的变焦倍数是通过缩放和裁剪结合的方式实现的(对应情况二);进一步的,缩放和裁剪的基础上再加入读出方式的切换,能够进一步扩大可支持的变焦倍数范围(对应情况一)。图3和图5中虽然以按照常见ba
38、yer(拜耳)排列的像素矩阵说明,但不仅限于这种排列,只要对应像素矩阵的排列支持多种读出方式且多种读出方式之间存在缩放比例关系,本申请的变焦方法都可适用。读出方式之间缩放比例关系越多或缩放支持的缩放比例越多,系统可支持的变焦倍率越多。3、本申请能够在图像传感器内部实现数字变焦,降低系统复杂度,使成像系统更加容易实现。4、利用图像传感器内部数据流传输的特性,使时序以及相关功能更加容易实现,并且不需要较大的存储介质,在一定程度上减小系统的规模。0076实施例20077实施例1对应的,本实施例提供一种图像传感器的数码变焦方法,该方法在图像传感器的内部执行,主要包括如图6所示的以下步骤:0078步骤1
39、:接收和解析外部的变焦指令信息,变焦指令信息包括变焦起始位置和变焦倍数,0079步骤2:若变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,则执行S11和S12:0080S11:在当前帧的垂直消隐开始时执行以下操作:向时序控制模块发送当前帧的帧长调整量,向读出控制模块发送读出模式信息(像素读出起始位置和像素读出方式),向缩放模块发送缩放倍数,以及向裁剪模块发送裁剪信息(裁剪起始位置和裁剪大小);利用时序控制模块根据当前帧的帧长调整量延长当前帧的长度;利用读出控制模块根据读出模式信息控制像素矩阵在当前帧重新曝光。0081S12:在下一帧开始时执行以下操作:向时序控制模块发送当前帧的帧长调整量,利用
40、时序控制模块根据当前帧的帧长调整量还原当前帧的长度;利用读出控制模块控制像素矩阵读出重新曝光后的像素;利用缩放模块根据缩放倍数执行缩放操作,利用裁剪模块根据裁剪信息执行裁剪操作,输出变焦后的图像。0082其中,帧长调整量的获取方法为:在当前帧的垂直消隐开始前,根据一帧长度对应的行数a和像素矩阵读出的行数b,计算出垂直消隐长度对应的行数d,dab;根据曝光时间对应的行数c和垂直消隐长度对应的行数d,计算出帧长调整量e,当d(c+ofst)0时,不够重新曝光,帧长调整量ec+ofstd;当d(c+ofst)0时,足够重新曝光,帧长调整量e说明书7/9 页10CN 116506733 A100,其中
41、,ofst表示读出模式切换所需的时间。缩放倍数的获取方法为:根据变焦前的读出方式所对应的缩放倍数r1,变焦后的读出方式所对应的缩放倍数r2,变焦前缩放倍数n1,变焦倍数y,计算出向缩放模块发送的缩放倍数n,n(r1/r2)(n1/y)。0083步骤3:若变焦指令信息中的变焦倍数缩放模块支持的缩放倍数,则执行S21和S22:0084S21:在当前帧的垂直消隐开始时,执行以下操作:向缩放模块发送缩放倍数;向裁剪模块发送裁剪信息。0085S22:在下一帧开始时,执行以下操作:利用缩放模块根据缩放倍数执行缩放操作,利用裁剪模块根据裁剪信息执行裁剪操作,输出变焦后的图像。0086其中,缩放倍数的获取方法
42、为:根据变焦前的缩放倍数n1,变焦倍数y,计算出向缩放模块发送的缩放倍数n,nn1/y。0087需说明的是,当像素矩阵读出数据后还需要对像素矩阵的读出数据进行滤波。0088实施例30089传统的成像系统由控制模块根据外部指令来控制光学变焦和数模变焦,从而实现系统变焦。例如,当使用手机拍摄照片时,通过手指滑动屏幕或者选择扩大倍数时,控制模块会接收到需要扩大的位置信息和变焦倍数信息,根据接收到的信息相应地控制光学变焦模块和数码变焦模块。由于手机镜头固定且不能过于凸起而影响使用和美观,因此光学变焦的倍数有限,一般为2倍至5倍。当控制模块接收到的变焦倍数超过光学变焦倍数的限度时,就需要驱动数码变焦模块
43、进行处理。数码变焦是在图像数据量不变的情况下,通过算法推算出数据,并将推算出的数据插入图像中。由于插入的数据是通过算法推算所得,其与实际拍摄得到的数据存在偏差,导致被拍摄的物体在视觉上被放大,但实际得到的图像分辨率减小,拍摄得到的物体图像的细节也会丢失。0090针对传统的成像系统存在的上述缺陷,本实施例提供一种如图7所示的改进的成像系统。改进的成像系统将数码变焦模块集成到图像传感器内部,得到实施例1提供的图像传感器系统。改进后的成像系统,其分辨率高且防细节丢失,可应用于电子云台,实现画面平移观察细节。0091其中,控制模块用于接收和解析用户下达的变焦指令,若变焦指令中的变焦倍数光学变焦模块支持
44、的变焦倍数,则向图像传感器发送变焦指令信息,驱动图像传感器根据变焦指令信息执行数码变焦;若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则向光学变焦模块发送变焦指令信息,驱动光学变焦模块根据变焦指令信息工作。0092光学变焦模块用于接收和解析控制模块发送的变焦指令信息,并向透镜控制模块发送驱动信息。0093透镜控制模块用于光学变焦模块发送的驱动信息控制透镜与图像传感器之间的距离。0094实施例40095与实施例3对应的,本实施例提供一种高分辨率且防细节丢失的变焦方法,该方法统一基于实施例1提供的图像传感器,包括以下步骤:0096接收和解析用户下达的变焦指令;0097若变焦指令中的变焦倍数光学
45、变焦模块支持的变焦倍数,则利用控制模块向图说明书8/9 页11CN 116506733 A11像传感器发送第一变焦指令信息,驱动图像传感器根据变焦指令信息执行数码变焦;0098若变焦指令中的变焦倍数光学变焦模块支持的变焦倍数,则向光学变焦模块发送变焦指令信息,控制光学变焦模块驱动透镜控制模块调整来透镜与图像传感器之间的距离。0099以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。说明书9/9 页12CN 116506733 A12图1图2说明书附图1/4 页13CN 116506733 A13图3图4说明书附图2/4 页14CN 116506733 A14图5说明书附图3/4 页15CN 116506733 A15图6图7说明书附图4/4 页16CN 116506733 A16