Combining Visual Cues with Interactions for 3D–2D Registration in Liver Laparoscopy翻译
0. 摘要
在单目肝脏腹腔镜检查中，增强现实 (AR) 需要将术前 3D 肝脏模型配准到腹腔镜图像上。这是一个难题，因为术前形状与术中形状不同，并且肝脏在腹腔镜图像中仅部分可见。以前的方法或者是刚性模型手动配准，或者是结合视觉信息和生物力学模型的自动配准。本文提出了一种集上述方法优点于一身的新混合方法。视觉信息能够捕捉机器感知，而用户交互利用外科医生的先验知识和对患者解剖结构进行理解。本文分别在体模、动物离体和患者数据上评估配准准确性。所提出的配准在准确性方面都优于目前最先进的方法。平均配准误差低于文献中腹腔镜肝切除术中肿瘤切除术的 1 cm 肿瘤边缘。
1. 介绍
目前腹腔镜手术的主要难点之一是无法准确定位目标器官的内部解剖结构(由于缺乏触觉信息反馈)。这对于可能包含恶性肿瘤，需要精确切除肿瘤边缘的肝脏来说是一个特别重要的问题。克服这一难点，增强现实 (AR) 是一种很有前景的方法。它的关键思想是将从术前 CT重建的三维模型配准到腹腔镜图像上，肿瘤及其肿瘤边缘或血管结构信息在增强现实中显示。在手术的初始探索阶段，增强现实指导外科医生制定切除计划。下图 1 显示增强的腹腔镜图像示例。腹腔镜图像与肿瘤边界肝脏表面（腹腔镜不可见）以及沿着肿瘤边缘的计划切除路径进行投影重叠。与腹腔镜检查中使用的经典映射方法相比，文献12提出的 AR 系统可以应对肝脏从术前到术中阶段所经历的变形。此外，与从单独的屏幕映射到腹腔镜图像上相比，直接将腹腔镜图像与已注册的实质内结构的术前模型重叠，可以让外科医生对这些结构的真实位置有更直观的视觉效果。
######################无法加载图，系统监测违规##############
图1：增强的腹腔镜图像示例：肿瘤边界（红色）及其肿瘤边缘（绿色）投影到肝脏表面。可见下表面肿瘤（黄色）和主要血管（蓝色）。蓝色标记是规划的切除路径。 从肝脏表面到肿瘤的每一厘米处遍布红点。肿瘤边缘1cm范围进行切除，用于治疗结直肠癌肝转移 (CRLM) 和肝细胞癌 (HCC)。
基于 增强现实AR 的经典腹腔镜引导系统由两个阶段组成：
(i) 初始配准阶段：在此阶段术前 3D 模型与术中腹腔镜图像对齐或配准；
(ii) 更新阶段：在此期间，模型通过跟踪视觉信息自动注册到新的腹腔镜图像。
当前的系统充其量只能处理有限的平滑变化，例如由呼吸、心跳和手术器械操作引起的变化，但会因切割或撕裂等不规则变化而失败。 在这篇文章中，我们专注于初始平滑变形配准阶段 (i)，这是一个非常具有挑战性且目前被高度研究的问题。其原理如下图2所示。
######################无法加载图，系统监测违规##############
图2：术前 3D 肝脏模型与腹腔镜图像的配准。 从 CT 中提取术前 3D 模型，相机代表腹腔镜。 术前 3D 模型包括外表面为灰色的肝脏及其部分内部解剖结构，即黄色为表面下的肿瘤，蓝色为静脉。
注册问题的难度是双重的。 首先，肝脏在腹腔镜图像中仅部分可见；因为肝脏尺寸大且靠近腹腔镜。 其次，肝脏在术前模型和腹腔镜图像之间发生了显着变形；因为气腹（术中吹入二氧化碳气体）和手术器械对其的操作。 我们专注于常规腹腔镜检查，它在计算机视觉方面是一个单目针孔摄像头，并形成了手术室的标准。 很明显，任何为单眼腹腔镜设计的系统都可以扩展到立体腹腔镜。
目前，最有价值的注册方法有两个主要特点。首先，他们仅从图像内容解决注册，而不借助于外部硬件。其次，他们使用由肝脏、肿瘤和血管表面等组织结构组成的术前 3D 模型，这些组织结构通过术前CT数据分割方法重建而成。最先进的注册方法分为手动（文献15）和自动（文献1,11,17）两种。在文献 15 中，术前 3D 模型通过用户交互与腹腔镜图像刚性配准。在文献 1,11 和 17 中，术前模型通过Iterative Closest Point（ICP）按照生物力学模型进行变形，以匹配从腹腔镜图像中提取的视觉信息。这些视觉信息是解剖学标志，包括镰状韧带和下脊，以及轮廓。当前的手动和自动方法都存在重要的缺点，如下图 3 所示。在文献 15 中，刚性假设过于严格，无法准确模拟肝脏变形。在文献 1,11 和 17 中，视觉信息是稀疏的，并且没有足够的信息用来精准配准。尽管原因不同，但这两种情况都会导致配准错误，从而削弱 AR 的可靠性。
######################无法加载图，系统监测违规##############
图3：流行的方法和本文方法的配准结果。上左腹腔镜图像。上右基于视觉信息的自动方法配准结果（肝实质覆盖为灰色，轮廓线为黄色、蓝色和红色）。下左手动刚性配准方法的结果。下右是我们本文提出的混合方法的配准结果；通过基于笼子的触觉交互，将视觉信息与生物力学模型相结合；笼子控制点（红色点）编辑配准，同时利用视觉信息进行自动优化的过程。
我们提出了一种混合注册方法。关键思想是集手动和自动方法的优势高效互补。我们的混合方法通过将用户交互与视觉提示和生物力学模型相结合，扩展并利用了两者（手动和自动）的优势。换句话说，设备和用户感知都是有价值的，应该分别通过视觉信息和交互来考虑。在用户交互和视觉信息同时存在的情况下，我们的混合方法将所有约束捆绑在一个配准过程中。在没有用户交互的情况下，其配准类似于现有的自动方法；在没有视觉信息的情况下，其允许用户在生物力学模型的指导下编辑配准。与现有的手动方法相比，这是一个显着的改进，因为它允许用户充分表达他们在解剖学、先前经验和手操系统空间理解方面的专业知识。本文我们基于笼子模型，通过形状编辑实现了这一想法。笼子是一组围绕器官的控制点，拖动这些控制点以交互方式使模型变形。形状编辑是一个广泛研究的课题。笼子模型由于其灵活性而很好地解决了形变配准。
具体讲，我们使用 Qt 图形用户界面 (GUI) 实现了本文的混合方法。我们的系统完全可以通过触觉交互控制，并且可以快速直观的使用。我们以四种方式将我们的混合生物力学 (HB) 方法与之前的两种方法（手动刚性 MR配准 和文献11中的自动生物力学 AB配准）做比较。
- 第一次评估对象：硅肝体模，重建从 CT 重建获得的患者肝脏形状。模型发生变形，并使用 Structure-from-Motion 来重建它的真实 3D 形状。通过 4 个不同变形数据集（每个数据集 5 个视图）的 20 个视图进行测试配准。配准误差是术前模型和真实模型顶点之间的平均距离。配准误差用来对可见部分和隐藏部分进行评估。
- 第二次评估对象：7 名患者的 7 幅图像。由 5 名外科医生为每位患者进行配准。他们的手动交互包括 自动生物力学方法AB 和 混合方法HB 的视觉信息标记。获得的配准结果用于评估和比较用户间配准的差异性，以及用于配准的原始视图和从插入另一个光学套管针的腹腔镜获得的控制视图中的 2D 重投影误差。配准差异性（定义为顶点位置标准偏差的均方根），在配准的 3D 模型的所有顶点和可见顶点上进行评估。
- 第三次评估：包括腹腔镜图像中可见的肝脏的一组遮挡轮廓片段与原始视图和控制视图中注册的 3D 模型轮廓的边界之间的 2D 重投影误差测量。
- 第四次评估：包括测量离体羊肝的配准误差。将三个内部人工肿瘤注射到肝脏中。对肝脏的初始状态和变形状态进行 CT 扫描，分别获得术前和真实 3D 模型。对三种肿瘤的 MR、AB 和 HB方法 的两个腹腔镜视图的配准误差进行了评价。
2. 相关工作
我们综述了腹腔镜图像的术前 3D 肝脏模型的生物力学配准和 3D 形状编辑方面的相关工作。
2.1 肝脏术前模型配准
本节综述从在单目内窥镜中使用图像内容和使用其他方式的两种方法入手阐述术前肝脏模型配准。
单目内窥镜方法处理单个腹腔镜图像，其中手动标记的轮廓表征视觉信息 。具体讲，文献11 和 17 依赖于轮廓，即镰状韧带、下脊线以及轮廓；而文献1完全依赖于轮廓。 文献11还使用了一个阴影信息的方法，而 文献17利用环境先验建模气腹和重力的影响。 由于涉及内脏的未知边界条件，在体内利用这些环境先验仍然很困难。 这些方法对标准腹腔镜检查兼容是理想的。 它们的主要限制之一是闭塞部分仍然很难配准，这对配准的肿瘤和血管的位置有着直接的影响。
非单目内窥镜方法（文献11-21） 使用双目内窥镜重建术中肝脏形状的可见表面。在文献10中，肝脏的 3D 轮廓边界会在可见表面上自动分割并用于约束配准。 文献18的方法 在术前和术中表面网格上提取 3D 特征，并使用特征描述符和位置找到对应关系；然后通过刚性配准对齐这两个形状。文献21中重建术中肝脏形状的表面斑块。双目内窥镜使用光学定位系统进行跟踪。这允许在世界坐标中定位肝脏位置并使用它们进行配准。 文献8中使用跟踪笔在肝脏表面上标记。因为标记点的位置是已知的，所以可以直接进行配准。 文献16使用术中 CT 扫描进行配准。最后，文献7通过在 CT 体积内对腹腔镜远端本身成像并将其与阴影相结合，将术中 CT 扫描配准到腹腔镜图像上。这些方法都依赖于非标准腹腔镜检查或特殊硬件来解决配准问题。尽管如此，除了文献16，目前都没能解决配准肝脏隐藏部分的问题，极大限制了在 AR 中的使用。
2.2 交互式形状编辑
形状编辑是指通过一组控制点改变模型的表面，这些手柄可以是模型的一部分，也可以连接到模型。现有方法可分为四个主要类别，具体取决于此类手柄的分布方式：基于点（文献5）、基于曲线（文献4）、基于表面（文献9） 和基于笼子（文献20）的变形。
- 在基于点的方法中，用户提供一组点位移，每个位移都包括一个点及其预期的运动和影响区域。点的分布方式不取决于模型的形状，而更多地取决于用户的偏好。当这些点被移动时，器脏会被扭曲以匹配位移形变。【文献5】
- 在基于曲线的方法中，形变由一条或多条曲线控制，控制点分布形成一条线。变形器脏被扭曲以从源曲线映射到目标曲线。【文献4】
- 基于表面的方法包括器脏变形，在平移一组控制点来修改表面时。控制点直接位于模型的表面上。其主要困难之一是找到一种将器脏上的样本点附加到形变patch上的方法。【文献9】
- 基于笼子的方法包住器脏。这个笼子可以有一个固定的形状，例如一个长方体（文献20）或者可以适应形变物体的形状（文献19）。 这个笼子的形状可以通过重新定位控制点来改变。然后将产生的笼子形变转移到器脏上。
3. 方法
3.1 混合方法配准
我们首先描述我们方法的原理和流程。 然后，描述了生物力学模型和视觉信息约束的实现过程。 最终展示了这些如何与基于笼子的用户交互集成。
3.1.1 原理流程
我们的混合配准方法将术前 3D 模型和单个腹腔镜图像作为输入。 其原理是将生物力学模型与手动自动配准方法相结合。利用从图像中提取的用户交互和视觉信息来解决配准问题。因此，我们的方法依赖于三个约束条件，前两个是参考文献11。这些是基于 Neo-Hookean弹性模型、使用镰状韧带、作为曲线对应下脊线以及轮廓的生物力学模型。 第三个约束条件是基于笼子的约束，对用户交互进行建模。具体而言，术前3D模型由四面体网格（tetrahedral mesh）表征，基于位置的动力学原理（position-based dynamics）进行优化。
我们方法的流程如图 4 所示，7 个主要步骤，前两个步骤参考文献11。
- 第(1)步：用户在腹腔镜图像上标记镰状韧带、下脊线和轮廓。
- 第(2)步：用户在术前3D模型上标记对应的轮廓。
- 第(3)步：系统生成包围术前 3D 模型的笼子，用于在步骤 (6) 中进行用户交互。
- 第(4)步：将笼子的控制点和术前 3D 模型共四面体，获得单个整体四面体模型。
- 第(5)步：根据文献11的自动方法，仅使用视觉提信息计算初始配准。该初始配准是交互式配准所必需的。
- 第(6)步：用户通过移动笼子的控制点以交互方式调整配准。配准会实时更新，为用户提供实时反馈。在这一步重要的是，笼子的控制点和视觉信息都用于更新配准。
- 第(7)步：最后，一旦用户对配准结果满意，使用从术前 3D 模型转移的隐藏解剖元素来增强腹腔镜图像。
######################无法加载图，系统监测违规##############
图4，本文3D到2D形变肝脏配准混合方法的流程图。肝脏表面网格重叠灰色区域，黄色肿瘤，蓝色静脉。黄色线标记肝脏边缘轮廓、蓝色线标记镰状韧带、红色线标记下脊线。笼子是蓝色线框，线框红色顶点是其关联的控制点。
3.1.2 生物力学模型和视觉信息
生物力学模型是通过使用各向同性 Neo-Hookean 弹性模型增强术前 3D 模型而创建的（文献6）。这种非线性超弹性模型在以下三个条件下非常适用于腹腔镜中的配准，其中涉及中等形变；1）肝脏从镰状韧带和圆韧带中被释放后（出于可及性目的，总是在手术开始时进行）；2）在没有来自工具的强大的外力时；3）任何切除之前。相关的设备参数设置为肝脏测量的通用值，即Young’s modulus E = 60000 Pa 和Poisson比率v = 0.49（文献17）。轮廓约束依赖于解剖标志，即下脊线、镰状韧带和边缘轮廓来约束形变。
- 下脊线轮廓位于肝脏底部，几乎总是可见，并且具有非常独特的轮廓。
- 镰状韧带将肝脏连接到腹壁，它位于左右叶之间的分离区；其手术初期切开，让肝脏可以自由翻动；然后在肝脏外表面上清楚地看到它的位置。这两组轮廓片段是静止的。它们与术前 3D 模型中顶点的对应关系在整个配准过程中保持不变。
- 最后一组是肝脏边缘轮廓，使肝脏模型不会形变超出这些边界。
与脊和镰状韧带轮廓不同，边缘轮廓不是静止的，并且必须在配准过程中更新相关的约束。因为边缘轮廓对应于肝脏的上凸膈面（这是一个非常平滑的区域），随着手动优化的操作，轮廓曲线在表面上滑动调整。相比之下，由于下脊线的轮廓明显及狭窄的镰状韧带标记，本文用3D术前模型中的同一组顶点作为2D相关部分的对应关系，从而防止模型在优化期间在表面上自由“滑动”。所有这些轮廓约束都被在ICP技术优化算法中使用。我们没有明确地将诸如隔膜压力、气腹或肝脏预拉伸等物理因素作为配准过程的边界约束，因为这些在术前和术中都是不可测量的。相反，这些影响是由外科医生通过周围的笼子与术前 3D 模型的相互作用进行处理。
3.1.3 笼子用户交互
一个直观且易于使用的界面允许用户以其属性和视觉约束的方式调整肝脏的形状。 这个是通过笼子来实现的。这在调整的灵活性（即以适当的空间频率进行编辑的可能性）和用户友好性之间具有良好的折衷考虑。 笼子由一个由非常有限数量的控制点组成的网格。 这些是在文献19中定义的笼子初始化流程获得，为了笼子包围输入的术前3D模型。 笼子生成后，通过在所有顶点（即笼子、肝脏及其内部结构顶点）上应用的 Delaunay 四面体将其连接到术前3D模型。 在配准过程中，它们都使用相同的材料模型进行优化。 生成笼子的示例如图3所示。
在优化过程中笼子可移动并非易事。本文建议将笼子的所有控制点一劳永逸地嵌入从术前3D肝脏模型构建的四面体拓扑的体积模型中。另一种可能的解决方案是在每次迭代时根据模型形变创建一个笼子，但这会严重损害软件的可用性。当一个笼子的控制点在优化过程中移动时，所有与它相邻的肝脏模型的顶点都会相应地移动。这允许用户在模型区域上同时处理一组顶点。这些形变同时通过“生物力学模型和视觉信息约束”章节部分中描述的约束得到补偿。在优化期间，基于轮廓优化的单次迭代监测每一次笼子顶点位置的变化，以增加对形变的响应。
3.2 触觉图形用户界面
本文提到的GUI如图5所示，由四部分组成。
- 第一部分：可视化区域
显示腹腔镜图像和术前三维模型。用户可以通过触觉手势或者键盘鼠标来定位术前三维模型和标记轮廓。 - 第二部分：左侧工具栏
导入或者导出腹腔镜图像和术前三维模型。 - 第三部分：右侧工具栏
修改术前三维模型外观、标记视觉信息、启动配准。 - 第四部分：下侧工具栏
控制可视化区域大小，让用户激活笼子调整模式，并且实现其他复杂功能。
1）下图这个按钮设置从先前校准流程中获得的腹腔镜参数开启配准。
2）下图这个按钮加载腹腔镜图像。
3）下图这个按钮加载术前 3D 模型。
右侧工具栏中的控件标记腹腔镜图像和术前 3D 模型中的视觉信息。自动完成刚性配准，使术前模型与腹腔镜图像中的肝脏大致吻合。
4）单击下图这个按钮生成嵌套笼子。
5）用户通过点击下图按钮进行轮廓配准。然后可以平移和旋转术前 3D 模型，使其与图像大致吻合。
6）然后单击下图这个按钮启动基于轮廓的自动形变配准。
7）完成后，用户可以通过单击下图这个按钮继续使用笼子调整配准。在系统结合视觉信息和笼子进行实时配准显示的同时，笼子的顶点可以被拖动调整。
我们的 AR 软件安装运行 在Linux系统的PC上。 在手术室，这台计算机通过视频采集卡连接到内窥镜设备，采集腹腔镜视频图像。 计算机位于靠近其他屏幕的位置，便于外科医生直接查看增强部分（参见图 6）。 全套系统配备了一个触摸屏，外科医生可以直接使用。
4. 结果
待续