双通道显微相机和颗粒图像的融合方法.pdf

上传人:li****8 文档编号:14328137 上传时间:2024-01-21 格式:PDF 页数:18 大小:2.26MB
收藏 版权申诉 举报 下载
双通道显微相机和颗粒图像的融合方法.pdf_第1页
第1页 / 共18页
双通道显微相机和颗粒图像的融合方法.pdf_第2页
第2页 / 共18页
双通道显微相机和颗粒图像的融合方法.pdf_第3页
第3页 / 共18页
文档描述:

《双通道显微相机和颗粒图像的融合方法.pdf》由会员分享,可在线阅读,更多相关《双通道显微相机和颗粒图像的融合方法.pdf(18页完成版)》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310613120.8(22)申请日 2023.05.26(71)申请人 广州市艾贝泰生物科技有限公司地址 511442 广东省广州市番禺区南村镇兴南大道483号四楼A区(72)发明人 杨世敬孔汉铭周文静聂江龙史振志(74)专利代理机构 北京集佳知识产权代理有限公司 11227专利代理师 周伟(51)Int.Cl.G01N 21/84(2006.01)G01N 21/64(2006.01)G01N 21/01(2006.01)G02B 21/00(2006.01)G02B 21/36(200。

2、6.01)(54)发明名称一种双通道显微相机和颗粒图像的融合方法(57)摘要本发明公开了一种双通道显微相机和颗粒图像的融合方法,方法包括检测到成像位置放置有待测样品时,调用双色校正光源对待测样品进行照射并获取明场图像和荧光图像,分别提取明场图像和荧光图像中的标识特征坐标,根据标识特征坐标计算荧光图像对应的几何变换系数,当检测到待测样品包括颗粒时,调用双色校正光源和荧光激发光源对待测样品进行照射,获取明场颗粒图像和荧光颗粒图像,根据几何变换系数校正荧光颗粒图像,得到荧光校正图像,融合荧光校正图像和明场颗粒图像,生成颗粒融合图像。从而实现在无需颗粒作为参照物下的图像校正和图像融合,从而提高颗粒融合。

3、图像的融合精度和图像质量。权利要求书2页 说明书11页 附图4页CN 116609329 A2023.08.18CN 116609329 A1.一种双通道显微相机,其特征在于,包括沿第一光轴依次设置的物镜、第一分光片、第二分光片、管镜、第三分光片、第二光源滤光片和明场相机;以及沿第二光轴设置的光源组件,所述第二光轴垂直于所述第一光轴并相交于第一分光片;以及沿第三光轴设置的荧光激发光源,所述第三光轴垂直于所述第一光轴并相交于第二分光片;以及沿第四光轴依次设置的第一光源滤光片和荧光相机,所述第四光轴垂直于所述第一光轴并相交于第三分光片。2.根据权利要求1所述的双通道显微相机,其特征在于,所述光源组。

4、件包括双色校正光源;所述双色校正光源包括第一校正光源和第二校正光源。3.根据权利要求1所述的双通道显微相机,其特征在于,所述光源组件包括第一校正光源、第二校正光源和第四分光片;所述第一校正光源与所述第四分光片沿所述第二光轴设置;所述第二校正光源沿第五光轴设置,所述第五光轴垂直于所述第二光轴并相交于所述第四分光片;其中,所述第四分光片的透射光波长范围为620nm680nm,反射光波长范围为460nm570nm。4.根据权利要求1所述的双通道显微相机,其特征在于,所述第一分光片的透射光波长范围为400nm650nm,反射光波长范围为500nm650nm;所述第二分光片的透射光波长范围为510nm7。

5、50nm,反射光波长范围为400nm500nm;所述第三分光片的透射光波长范围为620nm680nm,反射光波长范围为460nm570nm。5.一种颗粒图像的融合方法,其特征在于,应用于与权利要求14任一项所述的双通道显微相机通信连接的处理器,所述方法包括:当检测到成像位置放置有待测样品时,调用光源组件对所述待测样品进行照射并获取明场图像和荧光图像;分别提取所述明场图像和所述荧光图像中的标识特征坐标;根据所述标识特征坐标计算所述荧光图像对应的几何变换系数;当检测到所述待测样品包括颗粒时,调用光源组件和所述荧光激发光源对所述待测样品进行照射,获取明场颗粒图像和荧光颗粒图像;根据所述几何变换系数校。

6、正所述荧光颗粒图像,得到荧光校正图像;融合所述荧光校正图像和所述明场颗粒图像,生成颗粒融合图像。6.根据权利要求5所述的方法,其特征在于,所述当检测到成像位置放置有待测样品时,调用光源组件对所述待测样品进行照射并获取明场图像和荧光图像的步骤,包括:当检测到成像位置放置有待测样品时,调用光源组件依次输出第一照射光和第二照射光,经过第一分光片反射至物镜;通过所述物镜分别对所述第一照射光和所述第二照射光进行聚焦照射至所述待测样品;当所述待测样品被所述第一照射光照射时,通过明场相机获取所述待测样品对应的明权利要求书1/2 页2CN 116609329 A2场图像;当所述待测样品被所述第二照射光照射时,。

7、通过荧光相机获取所述待测样品对应的荧光图像。7.根据权利要求5所述的方法,其特征在于,所述分别提取所述明场图像和所述荧光图像中的标识特征坐标的步骤,包括:分别定位所述明场图像和所述荧光图像中的标识特征;对所述标识特征进行边缘提取,并进行形状拟合,得到拟合区域;提取所述拟合区域的区域中心坐标作为标识特征坐标。8.根据权利要求5所述的方法,其特征在于,所述标识特征坐标包括第一特征坐标和第二特征坐标,所述几何变换系数可以包括图像缩放系数、图像旋转系数和图像偏移系数;所述根据所述标识特征坐标计算所述荧光图像对应的几何变换系数的步骤,包括:计算所述明场图像对应的第二特征坐标和所述明场图像对应的第一特征坐。

8、标之间的欧几里得距离,得到第一特征距离;计算所述荧光图像对应的第二特征坐标和所述荧光图像对应的第一特征坐标之间的欧几里得距离,得到第二特征距离;计算所述第一特征距离与所述第二特征距离之间的比值,得到所述荧光图像对应的图像缩放系数;按照预设的点积公式结合所述第一特征距离和所述第二特征距离,确定所述荧光图像对应的图像旋转系数;根据所述图像旋转系数和所述图像缩放系数,对所述荧光图像对应的第一特征坐标进行仿射变换,得到更新标识特征坐标;计算所述更新标识特征坐标和所述荧光图像对应的第一特征坐标之间的差值,得到图像偏移系数。9.根据权利要求8所述的方法,其特征在于,所述按照预设的点积公式结合所述第一特征距。

9、离和所述第二特征距离,确定所述荧光图像对应的图像旋转系数的步骤,包括:计算所述明场图像对应的第二特征坐标和所述明场图像对应的第一特征坐标之间的第一差值,得到第一向量;计算所述明场图像对应的第二特征坐标和所述明场图像对应的第一特征坐标之间的第二差值,得到第二向量;计算所述第一向量与所述第二向量的点积;计算所述第一特征距离和所述第二特征距离之间的距离乘值;计算所述点积与所述距离乘值之间的比值的反余弦值,得到所述荧光图像对应的图像旋转系数。10.根据权利要求8所述的方法,其特征在于,所述根据所述图像旋转系数和所述图像缩放系数,对所述荧光图像对应的第一特征坐标进行仿射变换,得到更新标识特征坐标的步骤,。

10、包括:采用所述图像旋转系数和所述图像缩放系数构建仿射变换矩阵;采用所述仿射变换矩阵对所述荧光图像对应的第一特征坐标进行仿射变换,得到更新标识特征坐标。权利要求书2/2 页3CN 116609329 A3一种双通道显微相机和颗粒图像的融合方法技术领域0001本发明涉及颗粒荧光显微技术领域,尤其涉及一种双通道显微相机和颗粒图像的融合方法。背景技术0002随着科技水平的不断发展,通过显微成像对颗粒形态表型进行定性和定量研究。当前的主要手段是通过显微成像,获取图像,并对图像数据进行进一步的处理分析。而显微图像拍摄和采集过程中,有多种成像方式可以选择,比如荧光显微成像、暗场显微成像、明场显微成像、相差显。

11、微成像、分干涉相差显微成像等方法。0003在荧光成像设备中,需要同时使用两种成像光路通道对颗粒进行明场和荧光图像采集,以获取颗粒的形态结构和物质含量信息,由于两种成像光路通道中存在装配偏差,两种成像光路通道中相机所获取的图像存在偏差无法直接融合使用,需要使用图像处理程序对两种图像的共同特征物进行处理匹配计算出对应的偏差值,进而处理两种通道的相机图像进行融合。0004而现有的荧光成像设备通常使用图像匹配的共同特征物是颗粒,通过激发颗粒后呈荧光色,经过荧光相机获取后得到颗粒的荧光图像,而颗粒可能并不能一直处于静止状态,由于其形态和数量的差异以及无规律运动或是颗粒间合并等影响,导致明场图像和荧光图像。

12、的偏差值出现变化,进而造成图像融合的准确度降低。发明内容0005本发明提供了一种双通道显微相机和颗粒图像的融合方法,解决了现有的荧光成像设备在进行颗粒的明场图像和荧光图像融合时,两种图像的偏差值会由于其形态和数量的差异以及无规律运动或是颗粒间合并等影响,导致明场图像和荧光图像的偏差值出现变化,造成图像融合的准确度降低的技术问题。0006本发明提供的一种双通道显微相机,包括沿第一光轴依次设置的物镜、第一分光片、第二分光片、管镜、第三分光片、第二光源滤光片和明场相机;0007以及沿第二光轴设置的双色校正光源,所述第二光轴垂直于所述第一光轴并相交于第一分光片;0008以及沿第三光轴设置的荧光激发光源。

13、,所述第三光轴垂直于所述第一光轴并相交于第二分光片;0009以及沿第四光轴依次设置的第一光源滤光片和荧光相机,所述第四光轴垂直于所述第一光轴并相交于第三分光片。0010可选地,所述光源组件包括双色校正光源;0011所述双色校正光源包括第一校正光源和第二校正光源。0012可选地,所述光源组件包括第一校正光源、第二校正光源和第四分光片;0013所述第一校正光源与所述第四分光片沿所述第二光轴设置;说明书1/11 页4CN 116609329 A40014所述第二校正光源沿第五光轴设置,所述第五光轴垂直于所述第二光轴并相交于所述第四分光片;0015其中,所述第四分光片的透射光波长范围为620nm680。

14、nm,反射光波长范围为460nm570nm。0016可选地,所述第一分光片的透射光波长范围为400nm650nm,反射光波长范围为500nm650nm;0017所述第二分光片的透射光波长范围为510nm750nm,反射光波长范围为400nm500nm;0018所述第三分光片的透射光波长范围为620nm680nm,反射光波长范围为460nm570nm。0019可选地,所述第一光源滤光片的透光波长范围为525nm10nm;0020所述第二光源滤光片的透光波长范围为625nm15nm。0021可选地,所述第一校正光源输出的第一照射光波长范围为630nm15nm;0022所述第二校正光源输出的第二照射。

15、光波长范围为525nm15nm;0023所述荧光激发光源输出的激发光波长范围为488nm5nm。0024本发明还提供了一种颗粒图像的融合方法,用于与上述任一所述的双通道显微相机通信连接的处理器,所述方法包括:0025当检测到成像位置放置有待测样品时,调用光源组件对所述待测样品进行照射并获取明场图像和荧光图像;0026分别提取所述明场图像和所述荧光图像中的标识特征坐标;0027根据所述标识特征坐标计算所述荧光图像对应的几何变换系数;0028当检测到所述待测样品包括颗粒时,调用光源组件和所述荧光激发光源对所述待测样品进行照射,获取明场颗粒图像和荧光颗粒图像;0029根据所述几何变换系数校正所述荧光。

16、颗粒图像,得到荧光校正图像;0030融合所述荧光校正图像和所述明场颗粒图像,生成颗粒融合图像。0031可选地,所述当检测到成像位置放置有待测样品时,调用光源组件对所述待测样品进行照射并获取明场图像和荧光图像的步骤,包括:0032当检测到成像位置放置有待测样品时,调用光源组件依次输出第一照射光和第二照射光,经过第一分光片反射至物镜;0033通过所述物镜分别对所述第一照射光和所述第二照射光进行聚焦照射至所述待测样品;0034当所述待测样品被所述第一照射光照射时,通过明场相机获取所述待测样品对应的明场图像;0035当所述待测样品被所述第二照射光照射时,通过荧光相机获取所述待测样品对应的荧光图像。00。

17、36可选地,所述分别提取所述明场图像和所述荧光图像中的标识特征坐标的步骤,包括:0037分别定位所述明场图像和所述荧光图像中的标识特征;0038对所述标识特征进行边缘提取,并进行形状拟合,得到拟合区域;说明书2/11 页5CN 116609329 A50039提取所述拟合区域的区域中心坐标作为标识特征坐标。0040可选地,所述标识特征坐标包括第一特征坐标和第二特征坐标,所述几何变换系数可以包括图像缩放系数、图像旋转系数和图像偏移系数;所述根据所述标识特征坐标计算所述荧光图像对应的几何变换系数的步骤,包括:0041计算所述明场图像对应的第二特征坐标和所述明场图像对应的第一特征坐标之间的欧几里得距。

18、离,得到第一特征距离;0042计算所述荧光图像对应的第二特征坐标和所述荧光图像对应的第一特征坐标之间的欧几里得距离,得到第二特征距离;0043计算所述第一特征距离与所述第二特征距离之间的比值,得到所述荧光图像对应的图像缩放系数;0044按照预设的点积公式结合所述第一特征距离和所述第二特征距离,确定所述荧光图像对应的图像旋转系数;0045根据所述图像旋转系数和所述图像缩放系数,对所述荧光图像对应的第一特征坐标进行仿射变换,得到更新标识特征坐标;0046计算所述更新标识特征坐标和所述荧光图像对应的第一特征坐标之间的差值,得到图像偏移系数。0047可选地,所述按照预设的点积公式结合所述第一特征距离和。

19、所述第二特征距离,确定所述荧光图像对应的图像旋转系数的步骤,包括:0048计算所述明场图像对应的第二特征坐标和所述明场图像对应的第一特征坐标之间的第一差值,得到第一向量;0049计算所述明场图像对应的第二特征坐标和所述明场图像对应的第一特征坐标之间的第二差值,得到第二向量;0050计算所述第一向量与所述第二向量的点积;0051计算所述第一特征距离和所述第二特征距离之间的距离乘值;0052计算所述点积与所述距离乘值之间的比值的反余弦值,得到所述荧光图像对应的图像旋转系数。0053可选地,所述根据所述图像旋转系数和所述图像缩放系数,对所述荧光图像对应的第一特征坐标进行仿射变换,得到更新标识特征坐标。

20、的步骤,包括:0054采用所述图像旋转系数和所述图像缩放系数构建仿射变换矩阵;0055采用所述仿射变换矩阵对所述荧光图像对应的第一特征坐标进行仿射变换,得到更新标识特征坐标。0056从以上技术方案可以看出,本发明具有以下优点:0057本发明提供了一种双通道显微相机,其包括沿第一光轴依次设置的物镜、第一分光片、第二分光片、管镜、第三分光片、第二光源滤光片和明场相机,以及沿第二光轴设置的光源组件,第二光轴垂直于第一光轴并相交于第一分光片,以及沿第三光轴设置的荧光激发光源,第三光轴垂直于第一光轴并相交于第二分光片,以及沿第四光轴依次设置的第一光源滤光片和荧光相机,第四光轴垂直于第一光轴并相交于第三分。

21、光片。通过使用光源组件对待测样品进行照射,使得无论是否包含颗粒或是不包含颗粒,均可以获取到待测样品的全景明场图像和荧光图像,且对显微相机进行结构简化,有效降低使用成本。说明书3/11 页6CN 116609329 A60058同时还提供了一种颗粒图像的融合方法,当检测到成像位置放置有待测样品时,调用光源组件对待测样品进行照射并获取明场图像和荧光图像,分别提取明场图像和荧光图像中的标识特征坐标,根据标识特征坐标计算荧光图像对应的几何变换系数,当检测到待测样品包括颗粒时,调用光源组件和荧光激发光源对待测样品进行照射,获取明场颗粒图像和荧光颗粒图像,根据几何变换系数校正荧光颗粒图像,得到荧光校正图像。

22、,融合荧光校正图像和明场颗粒图像,生成颗粒融合图像。从而实现在无需颗粒作为参照物下的图像校正和图像融合,从而提高颗粒融合图像的融合精度和图像质量。附图说明0059为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。0060图1为本发明实施例一提供的一种双通道显微相机的结构示意图;0061图2为本发明实施例提供的一种搭载双色校正光源的双通道显微相机的结构示意图;0062图3为本发明实施例中的双。

23、色校正光源的结构示意图;0063图4为本发明实施例提供的一种未搭载双色校正光源的双通道显微相机的结构示意图;0064图5为本发明实施例二提供的一种颗粒图像的融合方法的步骤流程图;0065图6a为本发明实施例的一种在明场图像中标识特征的标识特征坐标提取示意图;0066图6b为本发明实施例的一种在荧光图像中标识特征的标识特征坐标提取示意图;0067图7为本发明实施例提供的一种几何变换参数确定过程的步骤流程图。具体实施方式0068本发明实施例提供了一种双通道显微相机和颗粒图像的融合方法,用于解决现有的荧光成像设备在进行颗粒的明场图像和荧光图像融合时,两种图像的偏差值会由于其形态和数量的差异以及无规律。

24、运动或是颗粒间合并等影响,导致明场图像和荧光图像的偏差值出现变化,造成图像融合的准确度降低的技术问题。0069为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。0070请参阅图1,图1为本发明实施例一提供的一种双通道显微相机的结构示意图。0071本发明提供的一种双通道显微相机,包括沿第一光轴依次设置的物镜200、第一分光片500、。

25、第二分光片600、管镜800、第三分光片700、第二光源滤光片900和明场相机1100;0072以及沿第二光轴设置的光源组件30,第二光轴垂直于第一光轴并相交于第一分光片500;说明书4/11 页7CN 116609329 A70073以及沿第三光轴设置的荧光激发光源400,第三光轴垂直于第一光轴并相交于第二分光片600;0074以及沿第四光轴依次设置的第一光源滤光片1000和荧光相机1200,第四光轴垂直于第一光轴并相交于第三分光片700。0075分光片指的是用于将入射光以指定比率分割为两条不同光束的光学组件。通常以倾斜45 使用,一面镀分光膜,另一面镀增透膜,它能把入射光分成反射光和透射光。

26、两部分。在本实施例中包括第一分光片500、第二分光片600和第三分光片700,三者分别设置有不同的反射光波长和透射光波长,用于对不同波长的光进行反射或透射。0076光轴指的是指光束(光柱)的中心线,也是双通道显微相机内各通道的对称轴,光束绕此轴转动,一般没有任何光学特性的变化,本实施例中包括第一光轴、第二光轴、第三光轴和第四光轴。0077待测样品100安装在物镜200成像位置上,可以包括耗材和颗粒或是单独包括耗材。其中,耗材为承载颗粒的容器,不包含荧光物质,表面刻有至少两种特定形状特征如加号特征和圆圈特征。颗粒为显微成像的对象,其受到荧光激发光源照射能够发出荧光,例如微粒或细胞。0078待测样。

27、品100还可以包括细胞悬浮液或颗粒悬浮液,颗粒可以为不可溶的物体,例如活细胞、凝胶微粒、油滴、填充有液体的颗粒或固体颗粒,例如液体可以为含有活细胞的缓冲悬浮液。0079物镜200安装在待测样品100与第一分光片500之间,用于汇聚光源光束照射待测样品100,并将其成像于荧光相机1200或明场相机1100上。0080管镜800安装在第二分光片600与第三分光片700之间,用于配合物镜200使待测样品100成像于荧光相机1200或明场相机1100上。0081请参阅图1,双通道显微相机从待测样品100开始,沿第一光轴依次设置有物镜200、第一分光片500、第二分光片600、管镜800、第三分光片70。

28、0、第二光源滤光片900和明场相机1100。光源组件30沿第二光轴设置并输出光束与第一光轴相交于第一分光片500处,由第一分光片500反射至物镜200进行聚焦。荧光激发光源400沿第三光轴设置并输出光束,与第一光轴相交于第二分光片600处,由于第一分光片500对于透射和反射具有不同的波长限制,由第二分光片600反射至第一分光片500的光束透射至物镜200进行聚焦。为实现双通道显微相机,在第三分光片700处划分出第四光轴,沿第四光轴依次设置有第一光源滤光片1000和荧光相机1200。0082明场相机1100安装在第二光源滤光片900之后,接收待测样品100所形成的像,感应光信号转换为数字电路信号。

29、输出图像,荧光相机1200安装在第一光源滤光片1000之后,接收待测样品100所形成的像,感应光信号转换为数字电路信号输出图像。0083请参阅图2和图3,光源组件30包括双色校正光源300;0084双色校正光源300包括第一校正光源301和第二校正光源302。0085在本发明实施例中,在具体实现中,在双通道显微相机检测到成像位置放置有待测样品100后,调用双色校正光源300中的第一校正光源301输出波长范围为630nm15nm的第一照射光,经第一分光片500反射至物镜200后,由物镜200进行聚焦照射至待测样品100上。与此同时,启动明场相机1100对待测样品100进行扫描拍摄,将感应扫描得到。

30、的光信号说明书5/11 页8CN 116609329 A8转换为数电信号输出明场图像至处理器,等待进一步的图像融合。0086同样地,调用双色校正光源300中的第二校正光源302输出波长范围为525nm15nm的第二照射光,经第一分光片500反射至物镜200后,由物镜200进行聚焦照射至待测样品100上。启用荧光相机1200对待测样品100进行扫描拍摄,将感应扫描得到的光信号转换为数电信号输出荧光图像至处理器,等待进一步的图像融合。0087请参阅图3,图3示出了本发明实施例中的光源组件30的结构示意图。0088在本发明实施例中,光源组件30可以包括第一校正光源301和第二校正光源302,通过切换。

31、光源的方式实现对待测样品100的第一照射光和第二照射光的切换照射。0089其中,第一校正光源的主波长可以为630nm,第二校正光源的主波长可以为525nm。0090请参阅图4,图4示出了本申请的光源组件30的另一种结构。0091光源组件30包括第一校正光源301、第二校正光源302和第四分光片303;0092第一校正光源301与第四分光片303沿第二光轴设置;0093第二校正光源302沿第五光轴设置,第五光轴垂直于第二光轴并相交于第四分光片303。0094在本发明实施例中,光源组件30可以包括第一校正光源301、第二校正光源302和第四分光片303,通过将两个光源进行拆分设置,以减少光束之间的。

32、影响,提高成像质量。其中,第一校正光源301在接收到光束发射的信号时,输出波长范围为630nm15nm的第一照射光,透射第四分光片303后,经第一分光片500反射至物镜200后,由物镜200进行聚焦照射至待测样品100上。与此同时,启动明场相机1100对待测样品100进行扫描拍摄,将感应扫描得到的光信号转换为数电信号输出明场图像至处理器,等待进一步的图像融合。0095第二校正光源302在接收到光束发射的信号时,沿第五光轴输出波长范围为525nm15nm的第二照射光,经第四分光片303和第一分光片500反射至物镜200后,由物镜200进行聚焦照射至待测样品100上。启用荧光相机1200对待测样品。

33、100进行扫描拍摄,将感应扫描得到的光信号转换为数电信号输出荧光图像至处理器,等待进一步的图像融合。0096可选地,第一分光片500的透射光波长范围为400nm650nm,反射光波长范围为500nm650nm;0097第二分光片600的透射光波长范围为510nm750nm,反射光波长范围为400nm500nm;0098第三分光片700的透射光波长范围为620nm680nm,反射光波长范围为460nm570nm;0099第四分光片303的透射光波长范围为620nm680nm,反射光波长范围为460nm570nm。0100在本发明实施例中,第一分光片500、第二分光片600和第三分光片70在不同的。

34、波长范围下会呈现不同的光学性质,例如,第一分光片500会对波长范围400nm650nm的光束进行透射,对于波长范围500nm650nm的光束进行反射,对于第二分光片或第三分光片类似,在此不再赘述。0101可选地,第一光源滤光片1000的透光波长范围为525nm10nm;0102第二光源滤光片900的透光波长范围为625nm15nm。0103可选地,第一校正光源输出的第一照射光波长范围为630nm15nm;说明书6/11 页9CN 116609329 A90104第二校正光源输出的第二照射光波长范围为525nm15nm;0105荧光激发光源输出的激发光波长范围为488nm5nm。0106在本实施。

35、例中,在检测到有待测样品100包括有颗粒后,启动荧光激发光源,沿第三光轴输出主波长为波长范围为488nm5nm的激发光,经第二分光片600反射后,透射穿过第一分光片500,由物镜200进行聚焦照射至待测样品100上,实现对颗粒的激发。再通过荧光相机1200对待测样品100进行扫描拍摄,将感应扫描得到的光信号转换为数电信号输出颗粒荧光图像至处理器,以提供后续图像融合的数据基础。0107需要说明的是,第一校正光源可以为红光校正光源,第二校正光源可以为绿光校正光源,第一照射光可以为红光,第二照射光可以为绿光。第一光源滤光片用于透射第一照射光,例如红光滤光片。第二光源滤光片用于透射第二照射光,例如绿光。

36、滤光片。荧光激发光源用于输出特定的激发光,激发光能够激发颗粒发出荧光。0108在本发明实施例中,提供了一种双通道显微相机,其包括沿第一光轴依次设置的物镜、第一分光片、第二分光片、管镜、第三分光片、第二光源滤光片和明场相机,以及沿第二光轴设置的光源组件,第二光轴垂直于第一光轴并相交于第一分光片,以及沿第三光轴设置的荧光激发光源,第三光轴垂直于第一光轴并相交于第二分光片,以及沿第四光轴依次设置的第一光源滤光片和荧光相机,第四光轴垂直于第一光轴并相交于第三分光片。通过使用光源组件对待测样品进行照射,使得无论是否包含颗粒或是不包含颗粒,均可以获取到待测样品的全景明场图像和荧光图像,且对显微相机进行结构。

37、简化,有效降低使用成本。0109请参阅图5,图5为本发明实施例二提供的一种颗粒图像的融合方法的步骤流程图。0110本发明实施例提供了一种颗粒图像的融合方法,应用于与实施例一对应的双通道显微相机通信连接的处理器,方法包括:0111步骤401,当检测到成像位置放置有待测样品时,调用光源组件对待测样品进行照射并获取明场图像和荧光图像。0112在本发明实施例中,由于待测样品的种类可以有多种,且进行颗粒融合图像的获取时可能存在误差。可以在处理器检测到成像位置放置有待测样品时,调用光源组件对待测样品进行照射,以提供荧光场景和明场场景。0113与此同时,通过荧光相机获取待测样品对应的荧光图像,通过明场相机获。

38、取待测样品对应的明场图像,以得到后续图像校准的数据基础。0114可选地,步骤401可以包括以下子步骤:0115当检测到成像位置放置有待测样品时,调用光源组件依次输出第一照射光和第二照射光,经过第一分光片反射至物镜;0116通过物镜分别对第一照射光和第二照射光进行聚焦照射至待测样品;0117当待测样品被第一照射光照射时,通过明场相机获取待测样品对应的明场图像;0118当待测样品被第二照射光照射时,通过荧光相机获取待测样品对应的荧光图像。0119在本发明的一个示例中,当检测到成像位置放置有待测样品时,可以调用光源组件依次输出第一照射光和第二照射光,经过第一分光片反射至物镜,通过物镜分别对第一照射光。

39、和第二照射光进行聚焦照射至待测样品。当待测样品被第一照射光照射时,通过明说明书7/11 页10CN 116609329 A10场相机获取待测样品在物镜上的成像并转换为数字电路信号,得到对应的明场图像。当待测样品被第二照射光照射时,通过荧光相机获取待测样品在物镜上的成像并转换为数字电路信号,得到对应的荧光图像。0120其中,第一照射光能够在照射到颗粒时获取到明场图像,第二照射光能够在照射到颗粒时获取到荧光图像,具体可以依据颗粒的种类进行调整,例如在颗粒种类为细胞时,第一照射光可以为红光,第二照射光可以为绿光,荧光激发光源可以为蓝光激光光源。0121需要说明的是,可以多种方式检测成像位置是否放置有。

40、待测样品,例如在成像位置设置可按压凸起,当成像位置放置有待测样品时,该可按压凸起被压下,此时判定成像位置放置有了待测样品。还可以通过光电传感器对成像位置上的成像孔进行测距,若是未能检测到成像孔,则判定成像位置放置有了待测样品,具体实现方式本发明实施例并不限制。0122步骤402,分别提取明场图像和荧光图像中的标识特征坐标。0123进一步地,步骤402可以包括以下子步骤:0124分别定位明场图像和荧光图像中的标识特征;0125对标识特征进行边缘提取,并进行形状拟合,得到拟合区域;0126提取拟合区域的区域中心坐标作为标识特征坐标。0127在获取到明场图像和荧光图像后,可以分别定位明场图像和荧光图。

41、像中的标识特征,对该表示特征进行边缘提取,并进行形状拟合处理,得到拟合区域,再提取拟合区域的区域中心坐标作为标识特征坐标。0128如图6a图6b所示,图6a示出了本发明实施例的一种在明场图像中标识特征的标识特征坐标提取示意图,图6b示出了本发明实施例的一种荧光图像中标识特征的标识特征坐标提取示意图。0129以设置在耗材101上的加号特征103和圆形特征104为例,可以通过对加号特征103和圆形特征104进行边缘提取,边缘提取算法优选为canny,为了提高坐标信息的准确度,对提取的边缘进行圆拟合处理,得到圆形的拟合区域,再从拟合区域中提取区域中心坐标确定为标识特征坐标,其中明场图像即图6a中加号。

42、特征坐标W1(x1,y1);圆形特征坐标W2(x2,y2),荧光图像即图6b中加号特征FL1(x1,y1);圆形特征FL2(x2,y2)。0130其中,待测样品100还可能包括残余的颗粒102。0131在具体实现中,标识特征坐标的种类除加号和圆形外还可以有多种,在对标识特征进行边缘提取后,可以采用不同的图形进行后续的形状拟合,本发明实施例对此不做限定。0132步骤403,根据标识特征坐标计算荧光图像对应的几何变换系数。0133请参阅图7,标识特征坐标包括第一特征坐标和第二特征坐标,几何变换系数可以包括图像缩放系数、图像旋转系数和图像偏移系数,步骤403可以包括以下子步骤S11S16:0134S。

43、11、计算明场图像对应的第二特征坐标和明场图像对应的第一特征坐标之间的欧几里得距离,得到第一特征距离。0135S12、计算荧光图像对应的第二特征坐标和荧光图像对应的第一特征坐标之间的欧几里得距离,得到第二特征距离。0136在本发明实施例中,可以分别计算明场图像中第二特征坐标与第一特征坐标的第一特征距离L1,以及荧光图像中第二特征坐标与第一特征坐标的第二特征距离L2:说明书8/11 页11CN 116609329 A110137L1|W2W1|0138L2|FL2FL1|0139S13、计算第一特征距离与第二特征距离之间的比值,得到荧光图像对应的图像缩放系数。0140在本发明实施例中,通过计算第。

44、一特征距离与第二特征距离之间的比值,得到荧光图像对应的图像缩放系数 :0141 L1/L20142S14、按照预设的点积公式结合第一特征距离和第二特征距离,确定荧光图像对应的图像旋转系数。0143进一步地,步骤S14可以包括以下子步骤:0144计算明场图像对应的第二特征坐标和明场图像对应的第一特征坐标之间的第一差值,得到第一向量;0145计算明场图像对应的第二特征坐标和明场图像对应的第一特征坐标之间的第二差值,得到第二向量;0146计算第一向量与第二向量的点积;0147计算第一特征距离和第二特征距离之间的距离乘值;0148计算点积与距离乘值之间的比值的反余弦值,得到荧光图像对应的图像旋转系数。。

45、0149在本发明实施例中,计算明场图像对应的第二特征坐标和明场图像对应的第一特征坐标之间的第一差值,得到第一向量计算明场图像对应的第二特征坐标和明场图像对应的第一特征坐标之间的第二差值,得到第二向量进一步结合点积公式计算荧光图像对应的图像旋转系数:01500151S15、根据图像旋转系数和图像缩放系数,对荧光图像对应的第一特征坐标进行仿射变换,得到更新标识特征坐标。0152在本发明的一个示例中,步骤S15可以包括以下子步骤:0153采用图像旋转系数和图像缩放系数构建仿射变换矩阵;0154采用仿射变换矩阵对荧光图像对应的第一特征坐标进行仿射变换,得到更新标识特征坐标。0155在本发明实施例中,在。

46、得到图像旋转系数和图像缩放系数后,可以采用图像旋转系数和图像缩放系数构建仿射变换矩阵:01560157进一步采用仿射变换矩阵对荧光图像对应的第一特征坐标进行仿射变换,得到更新标识特征坐标FL1(x,y):说明书9/11 页12CN 116609329 A1201580159S16、计算更新标识特征坐标和荧光图像对应的第一特征坐标之间的差值,得到图像偏移系数。0160在得到更新标识特征坐标和第一特征坐标后,计算两者之间的差值得到图像偏移系数Offset:0161OffsetFL1 W10162至此获取到图像缩放系数、图像旋转系数和图像偏移系数,可以用于分别修正荧光图像的放大倍率偏差,角度偏差和位。

47、置偏差。0163步骤404,当检测到待测样品包括颗粒时,调用光源组件和荧光激发光源对待测样品进行照射,获取明场颗粒图像和荧光颗粒图像。0164在本发明实施例中,若是检测到待测样品包括颗粒时,此时可以再次调用光源组件内的第一校正光源对待测样品进行照射,通过明场相机获取对应的明场颗粒图像。调用荧光激发光源对待测样品进行照射,通过荧光相机获取到对应的荧光颗粒图像。0165步骤405,根据几何变换系数校正荧光颗粒图像,得到荧光校正图像。0166由于前述步骤S11S16已经得到全部几何变换系数,此时可以通过图像处理程序载入上述几何变换系数,对荧光颗粒图像进行校正后,将荧光颗粒图像校正为与明场图像同样的尺。

48、寸,得到荧光校正图像。0167步骤406,融合荧光校正图像和明场颗粒图像,生成颗粒融合图像。0168在本发明实施例中,对荧光校正图像和明场颗粒图像进行匹配融合,生成颗粒融合图像。0169例如,通过在不同颜色的通道分别选取荧光校正图像或明场颗粒图像实现图像融合,得到颗粒融合图像。0170在传统荧光成像设备中,需要同时使用两种成像光路通道对细胞进行明场和荧光图像采集,以获取细胞的形态结构和物质含量信息,由于两种成像光路通道中存在装配偏差,两种成像光路通道中相机所获取的图像存在偏差无法直接融合使用,需要使用图像处理程序对两种图像的共同特征物进行处理匹配计算出对应的偏差值,进而处理两种通道的相机图像进。

49、行融合。而现有的荧光成像设备通常使用图像匹配的共同特征物是细胞,通过蓝光激发细胞后呈绿光,经过荧光相机获取后得到细胞的荧光图像,而细胞的明场图像和荧光图像的偏差值会由于细胞的形态和数量的差异发生变化,进而造成图像融合的准确度降低。0171为此,本申请实施例以颗粒为细胞作为示例,提供一种细胞图像融合方法,在本实施例中,通过步骤401403计算得到的几何参数后,此时若检测到待测样品中包括细胞,则可以调用光源组件内的红光校正光源输出红光,对待测样品中的细胞进行照射,以获取到此时的明场细胞图像。在获取到明场细胞图像后,进一步调用荧光激发光源,例如蓝光激光光源输出蓝光对所述待测样品进行照射,得到荧光细胞。

50、图像;根据所述几何变换系数校正所述荧光细胞图像,得到荧光校正图像;融合所述荧光校正图像和所述明场细胞图像,生成说明书10/11 页13CN 116609329 A13细胞融合图像。由于图像校正并未使用到细胞,且在后续校正融合的过程通过不同光源实现双通道的图像获取后进行图像融合,从而提高图像融合的准确度。0172在本发明实施例中,当检测到成像位置放置有待测样品时,调用光源组件对待测样品进行照射并获取明场图像和荧光图像,分别提取明场图像和荧光图像中的标识特征坐标,根据标识特征坐标计算荧光图像对应的几何变换系数,当检测到待测样品包括颗粒时,调用光源组件和荧光激发光源对待测样品进行照射,获取明场颗粒图。

展开阅读全文
内容关键字: 双通道 显微 相机 颗粒 图像 融合 方法
关于本文
本文标题:双通道显微相机和颗粒图像的融合方法.pdf
链接地址:https://www.zhuanlichaxun.net/pdf/14328137.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1