视觉传感器、图像处理设备以及视觉传感器的操作方法.pdf

上传人:柴****2 文档编号:10124993 上传时间:2021-06-04 格式:PDF 页数:50 大小:2.06MB
收藏 版权申诉 举报 下载
视觉传感器、图像处理设备以及视觉传感器的操作方法.pdf_第1页
第1页 / 共50页
视觉传感器、图像处理设备以及视觉传感器的操作方法.pdf_第2页
第2页 / 共50页
视觉传感器、图像处理设备以及视觉传感器的操作方法.pdf_第3页
第3页 / 共50页
文档描述:

《视觉传感器、图像处理设备以及视觉传感器的操作方法.pdf》由会员分享,可在线阅读,更多相关《视觉传感器、图像处理设备以及视觉传感器的操作方法.pdf(50页完成版)》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010526059.X (22)申请日 2020.06.10 (30)优先权数据 10-2019-0076347 2019.06.26 KR (71)申请人 三星电子株式会社 地址 韩国京畿道 (72)发明人 徐宗奭李贤九丁喜宰 (74)专利代理机构 中科专利商标代理有限责任 公司 11021 代理人 李敬文 (51)Int.Cl. H04N 5/335(2011.01) H04N 5/341(2011.01) H04N 5/369(2011.01) (54)发明名称 视觉。

2、传感器、 图像处理设备以及视觉传感器 的操作方法 (57)摘要 一种视觉传感器包括: 像素阵列, 其包含以 矩阵布置的像素; 事件检测电路; 事件率控制器; 以及接口电路。 每个像素被配置为响应于检测到 入射光强度的变化而生成电信号。 事件检测电路 基于对从一个或多个像素接收的电信号进行处 理, 来检测在任何像素处是否已经发生入射光强 度的变化, 并且生成与确定入射光的强度已经发 生变化的一个或多个像素相对应的一个或多个 事件信号。 事件率控制器选择与像素阵列上的感 兴趣区域相对应的一个或多个事件信号, 作为一 个或多个输出事件信号。 接口电路与外部处理器 进行通信并将一个或多个输出事件信号传。

3、送给 外部处理器。 权利要求书4页 说明书22页 附图23页 CN 112153309 A 2020.12.29 CN 112153309 A 1.一种视觉传感器, 包括: 像素阵列, 包括以矩阵布置的多个像素, 每个像素被配置为响应于检测到入射光的强 度变化而生成单独的电信号; 事件检测电路, 被配置为基于对从所述多个像素中的一个或多个像素接收的电信号进 行处理, 来检测在所述多个像素的任何像素处是否已经发生入射光的强度变化, 并且生成 与所述多个像素中确定已经发生入射光的强度变化的一个或多个像素分别对应的一个或 多个事件信号; 事件率控制器, 被配置为从所述一个或多个事件信号中选择与所述像。

4、素阵列上的感兴 趣区域相对应的一个或多个事件信号, 作为一个或多个输出事件信号; 以及 接口电路, 被配置为与外部处理器进行通信并将所述一个或多个输出事件信号传送给 所述外部处理器。 2.根据权利要求1所述的视觉传感器, 其中, 所述事件率控制器被配置为: 响应于所述视觉传感器以第一操作模式进行操作, 选择与所述像素阵列的整个区域中 的任何像素相对应的任何事件信号作为所述一个或多个输出事件信号; 以及 响应于所述视觉传感器以第二操作模式进行操作, 选择仅与所述感兴趣区域中的任何 像素相对应的任何事件信号作为所述一个或多个输出事件信号。 3.根据权利要求2所述的视觉传感器, 其中, 所述事件率控。

5、制器还被配置为: 基于对在特定时间段期间在所述事件检测电路处生成的事件信号进行计数, 测量在所 述事件检测电路处生成的事件信号的量, 以及 基于在所述特定时间段内生成的事件信号的量是否小于参考值, 将所述视觉传感器的 操作模式选择性地设置为所述第一操作模式或所述第二操作模式中的一个。 4.根据权利要求3所述的视觉传感器, 其中, 所述事件率控制器还被配置为: 测量在每个特定时间段期间在所述事件检测电路处生 成的事件信号的量, 并且基于在每个特定时间段期间所计数的事件信号的量, 来动态地设 置在该特定时间段处所述视觉传感器的操作模式。 5.根据权利要求4所述的视觉传感器, 其中, 所述事件率控制。

6、器还被配置为: 将根据所述事件检测电路处生成事件信号的时间点而指派的权重分别施加到在特定 时间段单元中生成并测量的事件信号的量, 通过对施加了所述权重的值求平均来生成在所述特定时间段单元期间生成的滤波后 事件信号的量, 以及 基于在所述特定时间段单元期间在所述事件检测电路处生成的滤波后事件信号的量 来设置所述操作模式。 6.根据权利要求3所述的视觉传感器, 其中, 所述像素阵列包括多个感兴趣区域, 并且 所述事件率控制器还被配置为: 响应于在所述特定时间段期间生成的事件信号的量等于或大于第一参考值且小于第 权利要求书 1/4 页 2 CN 112153309 A 2 二参考值, 将所述视觉传感。

7、器的操作模式设置为所述第二操作模式, 并且选择与所述多个 感兴趣区域中的任何感兴趣区域相对应的一个或多个事件信号作为所述一个或多个输出 事件信号, 以及 响应于在所述特定时间段期间生成的事件信号的量等于或大于所述第二参考值, 将所 述视觉传感器的操作模式设置为第三操作模式, 并且选择与所述多个感兴趣区域中的至少 一个感兴趣区域相对应的一个或多个事件信号作为所述一个或多个输出事件信号, 其中与 所述至少一个感兴趣区域相关联的重要性值比与所述多个感兴趣区域中的剩余感兴趣区 域相关联的重要性值大。 7.根据权利要求2所述的视觉传感器, 其中, 所述事件率控制器还被配置为: 响应于所述视觉传感器以所述。

8、第二操作模式进行操 作, 降低所述感兴趣区域中的一个或多个像素的灵敏度。 8.根据权利要求2所述的视觉传感器, 其中, 所述事件检测电路被配置为: 基于去噪阈值来确定由所述多个像素生成的一个或多个 信号是噪声事件, 并且避免生成与所述噪声事件相对应的事件信号, 以及 所述事件率控制器还被配置为: 响应于所述视觉传感器以所述第二操作模式进行操 作, 增加所述去噪阈值, 使得所生成的事件信号的量减少。 9.根据权利要求1所述的视觉传感器, 其中, 所述事件率控制器还被配置为: 将所述像素阵列分类为多个块, 每个单独的块包括所述多个像素中的一个或多个像素 的单独集合, 对与所述多个块中的每个块相对应。

9、的事件信号的各单独的量进行计数, 以及 将与一段时间上量的变化等于或大于阈值的事件信号的量相对应的块识别为所述感 兴趣区域。 10.根据权利要求9所述的视觉传感器, 其中, 所述事件率控制器还被配置为: 基于所述感兴趣区域的位置在第一帧上执行运动估计, 以及 基于所述运动估计的结果, 确定在第二帧上所述感兴趣区域的位置的移动。 11.一种图像处理设备, 包括: 视觉传感器, 被配置为: 捕获对象的图像, 生成与包括在像素阵列中的多个像素相对应的多个事件信号, 每个事件信号是基于所 述对象相对于所述视觉传感器的移动而生成的, 以及 响应于所述视觉传感器以第一操作模式或第二操作模式中的选定操作模式。

10、进行操作, 分别选择性地传送所有的所述多个事件信号或所述多个事件信号中的事件信号的有限选 择, 作为一个或多个输出事件信号, 所述事件信号的有限选择与所述多个像素之中包括在 所述像素阵列的感兴趣区域中的一个或多个像素相对应; 和 处理器, 被配置为处理所述一个或多个输出事件信号以检测所述对象的移动。 12.根据权利要求11所述的图像处理设备, 其中, 所述视觉传感器被配置为: 基于将在特定时间段期间生成的事件信号的量与阈值进行 权利要求书 2/4 页 3 CN 112153309 A 3 比较, 来选择性地以所述第一操作模式或所述第二操作模式中的选定操作模式进行操作。 13.根据权利要求11所。

11、述的图像处理设备, 还包括: 照度传感器, 其中, 所述视觉传感器被配置为: 基于由从所述照度传感器接收到的信息所表示的照 度是否等于或大于参考照度, 来选择性地以第一操作模式或第二操作模式中的选定操作模 式进行操作。 14.根据权利要求11所述的图像处理设备, 其中, 所述视觉传感器被配置为将包括所述一个或多个输出事件信号的多个帧传送给所述 处理器, 并且 所述视觉传感器被配置为: 当以所述第二操作模式进行操作时, 增加当所述视觉传感 器在以所述第二操作模式进行操作时所述多个帧被传送的区段之间的空白区段的长度, 以 比当所述视觉传感器以所述第一操作模式进行操作时所述多个帧被传送的区段之间的空。

12、 白区段的长度长。 15.根据权利要求11所述的图像处理设备, 其中, 所述视觉传感器被配置为: 当以所述第二操作模式进行操作时, 设置多个感兴趣区域, 设置不同感兴趣区域中的像素的不同灵敏度, 并且设置与不同感兴趣区域中的像素相关联 的不同去噪阈值。 16.一种操作视觉传感器的方法, 所述方法包括: 在包括多个像素的像素阵列上定义至少一个感兴趣区域, 所述多个像素中的每个像素 被配置为响应于由该像素接收的光的强度变化而生成事件信号; 通过对在特定的第一时间段期间生成的多个事件信号进行计数, 来检测在所述特定的 第一时间段中生成的事件信号的量; 基于确定在所述特定的第一时间段中生成的事件信号的。

13、量等于或大于阈值, 来选择性 地控制所述视觉传感器以选定操作模式进行操作; 以及 基于所述视觉传感器以所述选定操作模式进行操作, 将所述多个事件信号中的事件信 号的有限选择传送给外部处理器, 所述事件信号的有限选择与所述至少一个感兴趣区域相 对应。 17.根据权利要求16所述的方法, 还包括: 基于确定在所述特定的第一时间段中生成的事件信号的量小于阈值, 来选择性地控制 所述视觉传感器以单独的选定操作模式进行操作; 以及 基于所述视觉传感器以所述单独的选定操作模式进行操作, 将所述多个事件信号中的 所有事件信号传送给所述外部处理器。 18.根据权利要求16所述的方法, 还包括: 当所述视觉传感。

14、器在以选定操作模式进行操作时, 增加与关于所述至少一个感兴趣区 域发生噪声事件的确定相关联的参考值; 以及 在特定的第二时间段期间, 基于去噪阈值来确定由所述多个像素生成的一个或多个信 号是噪声事件, 并且避免传送与所述噪声事件相对应的事件信号。 19.根据权利要求16所述的方法, 还包括: 基于所述视觉传感器以选定操作模式进行操作, 降低与所述至少一个感兴趣区域相对 权利要求书 3/4 页 4 CN 112153309 A 4 应的一个或多个像素的灵敏度。 20.根据权利要求16所述的方法, 还包括: 基于所述视觉传感器以选定操作模式进行操作, 降低所述外部处理器中的数据传输速 率。 权利要。

15、求书 4/4 页 5 CN 112153309 A 5 视觉传感器、 图像处理设备以及视觉传感器的操作方法 0001 相关申请的交叉引用 0002 本申请要求于2019年6月26日在韩国知识产权局提交的韩国专利申请No.10- 2019-0076347的权益, 该申请的公开内容通过引用全部并入本文中。 技术领域 0003 本发明构思涉及视觉传感器, 更具体地, 涉及被配置为调整所传送的事件数据的 量的视觉传感器、 包括视觉传感器的图像处理设备以及视觉传感器的操作方法。 背景技术 0004 当事件(例如, 入射在视觉传感器上的光的强度变化)发生时, 视觉传感器(例如, 动态视觉传感器)生成关于该。

16、事件(例如, 与事件相关联)的信息, 即事件信号, 并将事件信 号提供给处理器。 由于光(例如, 入射光)的强度变化主要发生在由视觉传感器正在检测的 对象的轮廓处, 因此视觉传感器不生成关于背景的不必要的信息, 并且要由处理器处理的 数据量可以快速减少。 另外, 当在长时间段期间发生大量(例如, 数量、 计数等)事件并且要 传送给处理器的事件数据(例如, 指示所述事件的发生的事件信号)的量超过系统的传送限 制时, 在传送事件数据的过程中可能发生数据损失。 发明内容 0005 本发明构思的一些示例实施例提供了一个或多个视觉传感器、 包括一个或多个视 觉传感器的一个或多个图像处理设备、 以及一个或。

17、多个视觉传感器的一种或多种操作方 法, 其中所述一个或多个视觉传感器均被配置为在通过所述一个或多个视觉传感器传送事 件数据的过程中减少或防止数据损失。 0006 根据一些示例实施例, 视觉传感器可以包括像素阵列, 所述像素阵列包括以矩阵 布置的多个像素, 每个像素被配置为响应于检测到入射光的强度变化而生成单独的电信 号。 视觉传感器可以包括事件检测电路, 所述事件检测电路被配置为基于对从多个像素中 的一个或多个像素接收的电信号进行处理, 来检测在多个像素中的任何像素处是否已经发 生入射光的强度变化, 并且生成与多个像素中确定已经发生入射光的强度变化的一个或多 个像素分别对应的一个或多个事件信号。

18、。 视觉传感器可以包括事件率控制器, 所述事件率 控制器被配置为从一个或多个事件信号中选择与像素阵列上的感兴趣区域相对应的一个 或多个事件信号, 作为一个或多个输出事件信号。 视觉传感器可以包括接口电路, 所述接口 电路被配置为与外部处理器进行通信并将所述一个或多个输出事件信号传送给外部处理 器。 0007 根据一些示例实施例, 一种图像处理设备可以包括视觉传感器, 视觉传感器被配 置为: 捕获对象的图像, 生成与包括在像素阵列中的多个像素相对应的多个事件信号, 每个 事件信号是基于对象相对于视觉传感器的移动而生成的, 以及响应于视觉传感器以第一操 作模式或第二操作模式中的选定操作模式进行操作。

19、, 选择性地将所有所述多个事件信号或 说明书 1/22 页 6 CN 112153309 A 6 所述多个事件信号中的事件信号的有限选择作为一个或多个输出事件信号分别进行传送, 所述事件信号的有限选择与多个像素中的包括在像素阵列的感兴趣区域中的一个或多个 像素相对应。 图像处理设备还可以包括处理器, 所述处理器被配置为处理一个或多个输出 事件信号以检测对象的移动。 0008 根据一些示例实施例, 一种操作视觉传感器的方法可以包括在包括多个像素的像 素阵列上定义至少一个感兴趣区域, 多个像素中的每个像素被配置为响应于由该像素接收 的光的强度变化而生成事件信号。 所述方法可以包括通过对在特定的第一。

20、时间段期间生成 的多个事件信号进行计数, 来检测在特定的第一时间段中生成的事件信号的量。 所述方法 可以包括基于确定在特定的第一时间段中生成的事件信号的量等于或大于阈值, 来选择性 地控制视觉传感器以选定操作模式进行操作。 所述方法可以包括基于视觉传感器以选定操 作模式进行操作, 将多个事件信号中的事件信号的有限选择传送给外部处理器, 事件信号 的有限选择与至少一个感兴趣区域相对应。 附图说明 0009 根据以下结合附图的描述, 将更清楚地理解本发明构思的示例实施例, 在附图中: 0010 图1是示出根据本发明构思的示例实施例的图像处理设备的框图; 0011 图2是示出发生事件信号损失的情况的。

21、曲线图; 0012 图3是示出根据本发明构思的一些示例实施例的视觉传感器的框图; 0013 图4A和图4B均示出根据本发明构思的一些示例实施例的从视觉传感器输出的事 件数据的格式; 0014 图5A和图5B均是用于描述根据本发明构思的一些示例实施例的从视觉传感器输 出与感兴趣区域相对应的事件信号的方法的图; 0015 图6是示出根据本发明构思的示例实施例的视觉传感器的框图; 0016 图7是示出像素的一些示例实施例的电路图; 0017 图8A、 图8B、 图8C和图8D是分别示出指示图7所示的光电转换元件与放大器之间的 连接关系的示例实施例的电路图; 0018 图9是示出根据本发明构思的一些示。

22、例实施例的视觉传感器的操作方法的流程 图; 0019 图10是示出根据本发明构思的一些示例实施例的视觉传感器的操作方法的流程 图; 0020 图11是用于描述根据本发明构思的一些示例实施例的确定视觉传感器的操作模 式的方法的图; 0021 图12A和图12B是示出图3所示的事件率控制器的实施例的框图; 0022 图13示出根据本发明构思的一些示例实施例的设置视觉传感器的感兴趣区域的 方法的示例; 0023 图14示出根据本发明构思的一些示例实施例的估计视觉传感器的感兴趣区域的 位置的方法; 0024 图15A、 图15B和图15C示出根据一些示例实施例的对从视觉传感器输出的事件数 据的速率进行。

23、调整的方法; 说明书 2/22 页 7 CN 112153309 A 7 0025 图16是示出根据本发明构思的一些示例实施例的图像处理设备的框图; 0026 图17是示出根据一些示例实施例的视觉传感器的操作方法的流程图; 0027 图18是示出根据一些示例实施例的视觉传感器的操作方法的流程图; 以及 0028 图19是示出根据本发明构思的一些示例实施例的采用视觉传感器的电子设备的 示例的框图。 具体实施方式 0029 图1是示出根据本发明构思的一些示例实施例的图像处理设备的框图。 0030 根据本发明构思的一些示例实施例的图像处理设备10可以安装在(例如, 可以包 括在)具有(例如, 被配置。

24、为执行)图像感测功能和/或光感测功能的电子设备中。 例如, 图像 处理设备10可以安装在诸如相机、 智能电话、 物联网(IoT)设备、 平板个人计算机(PC)、 个人 数字助理(PDA)、 便携式多媒体播放器(PMP)、 导航设备、 无人机和高级驾驶员辅助系统 (ADAS)等的电子设备中。 另外, 图像处理设备10可以提供作为交通工具、 家具、 制造设备、 门、 各种测量设备等中的元件。 0031 参考图1, 图像处理设备10可以包括视觉传感器100和处理器200。 0032 视觉传感器100(可以互换地称为图像传感器和/或光传感器)可以响应于检测和/ 或吸收入射到视觉传感器100的至少一部分。

25、上的光的至少一部分而生成电信号。 视觉传感 器100可以包括像素的阵列(例如, 像素阵列), 其中阵列中的每个像素被配置为单独地接收 和感测(例如, 检测、 吸收等)入射光。 为了感测入射光, 像素可以被配置为响应于接收、 吸收 等所述入射光而输出(例如, 生成、 传送等)电信号。 在一些示例实施例中, 可以处理由视觉 传感器100的像素阵列的像素输出的电信号, 以生成外部场景的图像, 该图像包括所述场景 内的对象的图像, 其中, 从视觉传感器100的像素阵列的每个像素输出的电信号用于生成所 生成的图像的对应像素。 用于生成图像的所述处理可以由视觉传感器100执行、 由处理器 200基于由视觉。

26、传感器100的像素生成的所述信号被传送给处理器200而执行、 或由其任意 组合等来执行。 以这种方式, 场景和/或场景中的对象可以由视觉传感器100和/或图像处理 设备10 “成像” 。 0033 在一些示例实施例中, 图像处理设备10和/或其中包括图像处理设备10的电子设 备可以包括单独的视觉传感器100, 该视觉传感器100用于与操作为动态视觉传感器的视觉 传感器100相分离地生成场景和/或对象的一个或多个图像。 例如, 图1的图像处理设备10的 视觉传感器100可以仅将事件信号EVS传送给处理器200, 而单独的视觉传感器101可以包括 单独的像素阵列, 并且可以生成和/或传送可以被处理。

27、以生成外部场景和/或对象的图像的 信号。 0034 视觉传感器100可以感测入射光的强度变化, 并且可以响应于感测到所述变化而 输出(例如, 生成、 传送等)一个或多个事件信号(EVS)。 视觉传感器100可以包括动态传感 器, 该动态传感器输出(例如, 生成、 传送等)与检测到其上的入射光变化的视觉传感器100 的像素(即, 其中发生事件的像素)(例如, 视觉传感器100的像素阵列中像素上的入射光的 强度已经改变的所述像素)相对应的事件信号EVS。 像素处的入射光的强度变化可以由视觉 传感器100的像素阵列捕获(例如, 成像)的对象的移动、 视觉传感器100的移动、 和/或图像 处理设备10。

28、的移动而引起。 重申, 这种变化可以由被成像的对象相对于视觉传感器100的移 说明书 3/22 页 8 CN 112153309 A 8 动而引起。 视觉传感器100可以周期性地或非周期性地将事件信号EVS传送给处理器200。 视 觉传感器100可以以分组单元或帧单元将事件信号EVS传送给处理器200。 例如, 视觉传感器 100的像素阵列可以基于像素阵列的像素PX来捕获对象的图像(例如, 可以对对象进行成 像), 其中像素PX响应于在像素PX处接收和/或吸收入射光而生成一个或多个电信号。 当被 成像的对象相对于视觉传感器100移动时, 在一个或多个像素PX上的入射光的强度可以由 于该移动而改。

29、变, 并且所述一个或多个像素PX可以响应于所述改变而生成一个或多个电信 号, 所述一个或多个电信号可以使视觉传感器100生成与入射光强度已经改变的像素PX相 对应的一个或多个事件信号EVS。 因此, 视觉传感器100可以生成与由于被成像的对象的移 动而入射光强度改变的像素PX相对应的多个事件信号, 因此可以基于被成像的对象相对于 视觉传感器100的移动来生成事件信号EVS。 0035 视觉传感器100可以将事件信号EVS选择性地传送给处理器200。 在与视觉传感器 100的像素阵列(图3的110)相对应地生成的事件信号EVS之中, 视觉传感器100可以向处理 器200传送根据与设置在像素阵列1。

30、10上的感兴趣区域相对应的像素PX的有限选择而生成 的事件信号EVS, 因此视觉传感器100可以将事件信号EVS的有限选择传送给处理器200。 重 申, 视觉传感器100可以在以某些操作模式进行操作时将任何或所有生成的事件信号EVS传 送给处理器200, 并且在以一种或多种其他单独的操作模式进行操作时, 仅将所生成的事件 信号EVS中的一些(或一个)传送给处理器200, 而避免传送(例如, 从传送中排除)所生成的 事件信号EVS中的剩余的一个或多个事件信号EVS。 0036 在一些示例实施例中, 当(例如, 在特定时间段内)发生过量(例如, 数量、 计数等) 事件时, 或在(例如, 在特定时间。

31、段内)预期过量事件要发生的情况下, 视觉传感器100可以 选择性地将事件信号EVS传送给处理器200(例如, 仅将所生成的事件信号EVS中的一些传送 给处理器200, 并排除将所生成的事件信号EVS的其他一些传送给处理器200)。 另外, 视觉传 感器100可以调整事件发生条件和/或检测条件(例如, 阈值)以减少在任何给定的时间点生 成和/或传送的事件信号EVS的量(例如, 数量、 计数等)。 在一些示例实施例中, 视觉传感器 100可以将相对于视觉传感器100的像素阵列的感兴趣区域而设置的事件发生条件或检测 条件设置为与相对于视觉传感器100的像素阵列的其他区域而设置的事件发生条件或检测 条。

32、件不同。 在一些示例实施例中, 视觉传感器100可以相对于视觉传感器100的像素阵列的 多个感兴趣区域来不同地设置事件发生条件或检测条件。 0037 处理器200可以处理从视觉传感器100接收的事件信号EVS, 并且基于所述处理来 检测正在由视觉传感器100进行成像的对象的移动(或者例如基于由视觉传感器100和/或 视觉传感器101生成的信号, 由图像处理设备10识别的图像(例如, 被生成、 捕获等的图像) 上对象的移动)。 处理器200可以包括专用集成电路(ASIC)、 现场可编程门阵列(FPGA)、 专用 微处理器、 微处理器、 通用处理器等。 在一些示例实施例中, 处理器200可以包括应。

33、用处理器 或图像处理器。 0038 视觉传感器100和/或处理器200中的一些或全部可以被包括在处理电路的一个或 多个实例中(例如, 包括逻辑电路的硬件; 硬件/软件组合, 诸如执行软件的处理器; 或其组 合), 可以包括处理电路的一个或多个实例, 和/或可以由处理电路的一个或多个实例实现。 例如, 处理电路更具体地可以包括但不限于中央处理单元(CPU)、 算术逻辑单元(ALU)、 数字 信号处理器、 微型计算机、 现场可编程门阵列(FPGA)、 片上系统(SoC)、 可编程逻辑单元、 微 说明书 4/22 页 9 CN 112153309 A 9 处理器、 专用集成电路(ASIC)等。 在一。

34、些示例实施例中, 处理电路可以包括: 存储指令程序 的非暂时性计算机可读存储设备(例如, 存储器), 例如, 固态驱动器(SSD); 处理器, 被配置 为执行指令程序以实施视觉传感器100和/或处理器200的某些或全部的功能。 0039 另外, 视觉传感器100和处理器200可以分别被实现为集成电路(IC)。 例如, 视觉传 感器100和处理器200可以包括单独的半导体芯片。 备选地, 视觉传感器100和处理器200可 以被实现在单个芯片中。 例如, 视觉传感器100和处理器200可以被实现为单个片上系统 (SoC)。 0040 图2是示出发生事件信号EVS的数据损失的情况的曲线图。 0041。

35、 参考图2, 水平轴表示逝去的时间, 垂直轴表示在任何给定的时间点处从视觉传感 器100传送给处理器200的事件信号EVS的量(例如, 数量、 计数等)。 在将事件信号EVS传送给 处理器200的过程中, 可能发生事件信号EVS的损失, 即, 数据损失。 当长时间段上发生大量 事件(例如, 在视觉传感器的像素阵列的一个或多个像素上的入射光的强度变化)并且从视 觉传感器100传送给处理器200的事件信号EVS的量(即该时间段上传送数据的量、 数据传输 速率等)超过系统限制(也称为可以在任何给定时间从视觉传感器传送给处理器的传送数 据的阈值量)(例如, 视觉传感器100和处理器200之间的通信通道。

36、的传输速度限制)时, 可能 发生数据损失。 因此, 图像处理设备10的性能(例如, 图像处理设备10检测对象的移动的精 确度)可能降低。 0042 然而, 在根据一些示例实施例的图像处理设备10中, 如以上参考图1所述, 视觉传 感器100可以将在视觉传感器100处生成的一个或多个事件信号EVS选择性地传送给处理器 200, 这可以包括选择性地传送在一个或多个特定时间段期间在视觉传感器100处生成的事 件信号EVS的有限选择(例如, 仅一些或一个), 并且与在一个或多个特定时间段期间所生成 的所有事件信号EVS从视觉传感器100传送给处理器200的情况下所传送的事件信号EVS的 量相比, 可以。

37、减少所传送的事件信号EVS的量。 因此, 可以减少或防止在视觉传感器100和处 理器200之间传送事件信号EVS的过程中的数据损失。 因此, 可以提高图像处理设备10的性 能, 例如, 通过图像处理设备10检测对象的移动的精确度。 0043 图3是示出根据本发明构思的示例性实施例的视觉传感器100的框图。 0044 参考图3, 视觉传感器100可以包括像素阵列110、 事件检测电路120、 事件率控制器 130和接口电路140。 像素阵列110、 事件检测电路120、 事件率控制器130和接口电路140可以 分别被实现为集成电路(IC)。 例如, 像素阵列110、 事件检测电路120、 事件率。

38、控制器130和接 口电路140可以包括单独的半导体芯片。 备选地, 像素阵列110、 事件检测电路120、 事件率控 制器130或接口电路140中的两个或更多个可以在单个芯片中实现。 例如, 事件检测电路 120、 事件率控制器130和接口电路140可以被实现为单个片上系统(SoC)。 0045 像素阵列110、 事件检测电路120、 事件率控制器130和接口电路140中的一些或全 部可以被包括在处理电路的一个或多个实例(例如, 包括逻辑电路的硬件; 硬件/软件组合, 诸如执行软件的处理器; 或其组合)中, 可以包括处理电路的一个或多个实例, 和/或可以由 处理电路的一个或多个实例实现。 例如。

39、, 处理电路可以更具体地包括但不限于中央处理单 元(CPU)、 算术逻辑单元(ALU)、 数字信号处理器、 微型计算机、 现场可编程门阵列(FPGA)、 片 上系统(SoC)、 可编程逻辑单元、 微处理器、 专用集成电路(ASIC)等。 在一些示例实施例中, 处理电路可以包括: 存储指令程序的非暂时性计算机可读存储设备(例如, 存储器), 例如, 说明书 5/22 页 10 CN 112153309 A 10 固态驱动器(SSD); 以及处理器, 被配置为执行指令程序以实现像素阵列110、 事件检测电路 120、 事件率控制器130和接口电路140中的一些或全部的功能。 0046 像素阵列11。

40、0可以包括以矩阵布置的多个像素。 多个像素PX均可以感测入射光。 在 一些示例实施例中, 多个像素PX均可以响应于在各像素PX处接收的入射光而生成一个或多 个电信号, 并且可以基于(例如, 在处理器200处)处理由像素PX响应于接收到入射光而生成 的信号来生成包括对象的图像在内的外部场景的图像。 所述图像可以由单独的像素阵列 110生成, 该单独的像素阵列110可以包括在单独的视觉传感器(例如, 在图1中所示的视觉 传感器101)中。 多个像素PX均可以感测事件, 在事件中, 接收的光的强度(例如, 各像素PX上 的入射光的强度)增大或减小。 例如, 多个像素PX中的每一个可以通过在列方向上延。

41、伸的列 线和在行方向上的延伸的行线而连接到事件检测电路120。 用于通知(例如, 指示)事件的发 生和事件的极性信息(即, 事件是光强度增大的开启事件还是光强度减小的关闭事件)的电 信号可以响应于所述事件的发生(例如, 响应于在所述像素PX处接收和/或吸收的入射光的 强度变化)从其中发送所述事件的像素PX输出(例如, 在像素PX处生成并从像素PX传送)到 事件检测电路120。 0047 事件检测电路120可以从像素阵列110读出事件并处理事件。 例如, 像素阵列110的 像素PX可以响应于像素PX上的入射光的强度变化而输出电信号, 并且事件检测电路120可 以接收并处理由像素PX输出的所述电信。

42、号, 以确定在像素PX处的事件的发生。 响应于这样 的确定, 事件检测电路120可以生成与像素PX相对应的事件信号EVS(也称为与像素PX处的 事件发生相对应和/或与事件本身相对应的事件信号EVS), 其中事件信号EVS包括(例如, 指 示)发生的事件的极性(例如, 入射光强度在像素PX处是增大还是减小)、 其中发生事件的像 素PX的地址、 以及指示事件何时发生的时间戳。 重申, 事件检测电路120可以被配置为基于 对从多个像素PX中的一个或多个像素PX接收的一个或多个电信号进行处理, 来检测在多个 像素PX的任何像素PX处是否已经发生入射光的强度改变, 并且事件检测电路120可以生成 与多个。

43、像素PX中的确定已发生入射光的强度变化的一个或多个像素PX分别对应的一个或 多个事件信号EVS。 0048 事件检测电路120可以以像素单元、 包括多个像素的像素组单元、 列单元、 或帧单 元来处理像素阵列110中发生的事件(例如, 处理从像素阵列110的各个像素PX输出的电信 号)。 0049 事件率控制器130可以调整要传送给处理器200的(在事件检测电路120处生成的) 事件信号EVS的量。 在一些示例实施例中, 事件率控制器130可以从在给定时间段中在事件 检测电路120处生成的全部事件信号EVS(在给定时间段期间生成的、 与包括在像素阵列110 的整个区域110-E中的任何像素PX相。

44、对应的全部事件信号EVS)中, 仅选择在该给定时间段 中生成的、 基于包括在像素阵列110的ROI 110-R中的特定像素PX处发生的事件的事件信号 EVS(例如, 仅与包括在像素阵列110的ROI 110-R中的特定像素PX相对应的事件信号EVS)。 例如, 事件率控制器130可以选择事件信号EVS的有限选择, 其仅包括在给定时间段期间生 成的、 与包括在像素阵列110的ROI 110-R中的像素阵列110的像素PX的有限选择相对应的 事件信号EVS, 其中在给定时间段中生成的事件信号EVS的有限选择可以比在给定时间段中 生成的所有事件信号EVS少, 因此事件信号EVS中的至少一个可以不被选。

45、择(例如, 可以将其 从事件信号EVS的有限选择中排除)。 事件率控制器130可以将选择的事件信号(在下文中称 说明书 6/22 页 11 CN 112153309 A 11 为输出事件信号EVS_O)输出到接口电路140, 或者控制事件检测电路120将输出事件信号 EVS_O输出到接口电路140, 从而可以避免输出未被选择的任何事件信号EVS(例如, 排除所 述未被选择的事件信号EVS被传送给接口电路140)。 重申, 事件率控制器130可以被配置为 从在事件检测电路120处生成的一个或多个事件信号EVS中选择与像素阵列上的感兴趣区 域(ROI)相对应的一个或多个事件信号EVS的选择, 作为。

46、一个或多个输出事件信号EVS_O, 所 述一个或多个输出事件信号EVS_O可以包括事件信号EVS的有限选择, 因此可以排除在事件 检测电路120处生成的事件信号EVS中的一个或多个。 0050 在一些示例实施例中, 事件率控制器130可以减少在事件检测电路120处生成的事 件信号EVS的量。 事件率控制器130可以调整事件发生条件或事件检测条件(例如, 事件发生 阈值或事件检测阈值), 并且因此可以对事件检测电路120响应于从像素阵列110接收到一 个或多个电信号来选择性地生成一个或多个事件信号时所依据的阈值。 例如, 事件发生条 件可以包括像素PX的灵敏度, 并且事件检测条件可以包括事件检测。

47、时段、 去噪条件(例如, 去噪阈值)等。 0051 在一些示例实施例中, 当在给定时间段(例如, 一段时间)内发生过量事件或预期 发生过量事件(例如, 至少满足阈值量的事件量)时, 事件率控制器130可以减少要传送的事 件信号EVS的量或者减少在事件检测电路120处生成的事件信号EVS的量。 例如, 事件率控制 器130可以对特定的(或备选地, 预定的)时间单元(一段时间、 时间段等)中的事件信号EVS 的数量(量)进行计数, 并且当所计数的事件信号EVS的量等于或大于特定(或备选地, 预定 的)参考值(在本文中也称为阈值或阈值量)时, 事件率控制器130可以响应地确定在特定时 间单元期间发生。

48、了过量的事件。 例如, 事件率控制器130可以基于被捕获的对象的亮度、 对 象周围的照度、 由像素阵列110(参见图1)接收的光的量(例如, 强度)等来确定是否发生了 预期有过量事件的条件。 因此, 事件率控制器130可以控制一个或多个事件信号EVS的生成 和/或传送, 使得输出事件信号EVS_O的量不满足或不超过阈值量(例如, 如图2所示的系统 限制)。 0052 接口电路140可以接收由事件率控制器130传送的输出事件信号EVS_O, 并且根据 特定的(或者, 备选地, 预定的)协议将输出事件信号EVS_O传送给处理器200(参见图1)。 因 此, 接口电路140可以被配置为与相对于视觉传。

49、感器100的外部处理器(例如, 处理器200)进 行通信, 并且将一个或多个输出事件信号EVS_O传送给外部处理器。 接口电路140可以根据 特定的(或者, 备选地, 预定的)协议将输出事件信号EVS_O打包在单独的信号单元、 分组单 元或帧单元中以生成事件数据EDT, 并且将事件数据EDT传送给处理器200。 例如, 接口电路 140可以包括AER接口、 移动工业处理器接口(MIPI)和并行接口中的一种。 处理器200可以处 理所传送的输出事件信号EVS_O或接口电路140所传送的事件信号EVS, 以检测由视觉传感 器100的像素阵列110成像的对象的移动。 0053 在下文中, 根据本发明。

50、构思, 对事件信号EVS或输出事件信号EVS_O进行输出, 这样 的表述指示了事件信号EVS或输出事件信号EVS_O通过接口电路140被转换为事件数据EDT, 并且事件数据EDT被传送给处理器200。 0054 图4A和图4B各自示出了根据本发明构思的一些示例实施例的从视觉传感器100输 出的事件数据的格式。 0055 参考图4A, 可以将包括至少一个事件信号EVS的分组PK输出作为事件数据(EDT)。 说明书 7/22 页 12 CN 112153309 A 12 分组PK可以包括事件信号EVS的时间戳TS、 列地址C_ADDR、 行地址R_ADDR、 以及极性信息 POL, 并且上述布置顺。

展开阅读全文
内容关键字: 视觉 传感器 图像 处理 设备 以及 操作方法
关于本文
本文标题:视觉传感器、图像处理设备以及视觉传感器的操作方法.pdf
链接地址:https://www.zhuanlichaxun.net/pdf/10124993.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1 
 


收起
展开