超声图像拼接及三维重建

0 基础知识

0.1 探头

凸形探头，线性探头，3D超声探头，

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aQKXxNcp-1635211280043)(https://cdn.shopify.com/s/files/1/0458/5573/5971/products/convex-probe-99c2-5ir-compatible-for-samsung-medison-head_large.jpg?v=1609595322)]

0.2 三维重建的流水线

0.2.1 数据采集

二维阵列扫描、机械扫描、跟踪徒手扫描和非跟踪徒手扫描

黑点发出超声波，组成了黄色的金字塔。

这三个都是3D的探头，对某块感兴趣区域，做持续的扫描。

在超声探头上，添加传感器获取位置和方向，就是freehand的扫描方式。有电磁，光学和声学传感器。还有没传感器的。

最流行的就是：电磁跟踪系统，有安装在探头上的电磁传感器以及跟踪传感器在探头上的位置和方向的电磁发射器。然后将记录的空间信息传送到计算机工作站进行重建和可视化。

光学：安装在探头上的标记物和一个或多个摄像机跟踪标记物。有商用的成品，北极星光学跟踪系统和Optotrak Certus是用于三维超声成像系统的两种商用光学跟踪器，都是北方数据公司(NDI)的产品。然而，光学跟踪系统中发现的问题是，安装在探头上的标记太大，导致超声扫描过程不方便[1，并且摄像机的视线不能被遮挡[1。

为了解决这个问题，文献[13]中的工作创建了一种带有惯性传感器的光学跟踪系统，用于徒手三维超声成像，而不需要相机等外部参考。实验是基于模型的，使用了CCD相机以及dsp，图片相对位置判断位置和方向。缺点 ：陀螺仪的漂移。

完全不加传感器的话，效果会很差。

0.2.2 重建

2D图像和位置方向 —> 去除噪声 —> 增强 —> 分给找到组织，

二元坐标转三维坐标。

0.2.3 体重建

确定体的大小，坐标，圆点，体素的大小。

先填充体，会有空体素，以及多个像素对应一个体素。

再把空体素算出来。

基于像素的方法(PBM，使用简单，结果模糊，最近邻确定)、基于体素的方法(VBM)和基于函数的方法(FBM，研究不多)

像素最近邻法(PNN)、体素最近邻法(VNN)、距离加权法(DW)、径向基函数法(RBF)、基于图像的算法

0.2.4 显示

面绘制和体绘制，多平面重建技术，GPU加速

0.2.5 渲染

光束投射法，区分组织和液体

0.2.6 应用

三维超声成像用于产科有两个主要优点。首先，三维超声成像可以用来确定胎儿数量、胎儿表面特征和胎盘位置[41]。体绘制可以很好地区分组织和周围的羊水，因此适合于三维观察。

1 Real-time freehand 3D ultrasound imaging

1.1 系统

定位装置型号：MiniBird, Ascension Technology Corporation,
Burlington, VT, USA

1.2 校准

确定B超和定位装置的数据延迟，尽量保证同步。

1.3 重构方法

原理就是将扫描到的图片上的x，y二维的坐标，转移到三维的x,y,z坐标。
使用the squared distance weighted (SDW) (Huang et al. 2005) and Bezier inter-polation (Huang et al. 2015)
加权平方距离插值(SDW)(Huang et al.。2005)和Bezier插值(Huang等人。2015年)两种方法。
这两种方法都要bin filling and hole filling.
可以知道，二维的点转到三维，肯定会很稀孰，所以需要插值填补，避免模糊。

1.3.1 SDW interpolation

1.3.2 Bezier interpolation

1.4 GPU重建

100ms的时间用于计算，大多数时间用来显示。

1.4.1

1.4.2

1.5 ray-casting 显示

光线投射体渲染是从3D体积数据创建2D图像的过程。
重建后，从3个角度查看

1.6 结论

• 选择四阶Bezier曲线来模拟体素强度
• 不能用与心脏等跳动的器官，成像速度跟不上形变的程度。
• 两种插值方法，需要20s或者6s，可以憋气避免形变
• 应用于相对静止的软组织，例如肌肉骨骼组织、静止器官

1.7 Bezier Interpolation for 3-D Freehand Ultrasound

这篇论文讲的就是本系统所使用的插值算法，确实3d重建了一个婴儿。同一个作者

2 An Inertial-Optical Tracking System for Portable, Quantitative, 3D Ultrasound

光学传感器（一个CCD相机，图片之前的差别来判断位置）和6轴陀螺仪，
系统整体更侧重于硬件

2.1 Stradwin

3D超声校准

缺点1：误差比较大
缺点2：不适合皮肤，图片之间的差别比较小，CCD景深1mm，不太能看出差别
缺点2：只使用了模型

3 形变问题

徒手3D成像是需要接触手臂的，如果是心脏等部位的话，考虑也不好补偿。

为了表征不同接触力下的组织变形，力传感器提供接触力测量:
Trajectory-based Deformation Correction in Ultrasound Images

4 Model-based correction of ultrasound image deformations due to probe pressure

4.1 方法

基于图像的配准方法和基于生物力学模型的方法。
图像：空间正则化，样条的插值， 加力传感器，在US探头上安装力传感器并为每个像素建立与接触力与像素位移相关的经验回归模型(使用已建立的美国散斑跟踪技术进行测量)

生物力学模型：需要知道要测量的组织的力学性质，然后预测力导致的变形。

生物力学模型，更真实。不过总是有一些强假设，可能 不适合真实情况。结合CT图像，结合弹性图像，做校准。需要一些其他设备

4.2 本文方法

首次允许在超声图像中使用从图像本身获得的组织机械参数的个性化估计来补偿探头压力，而不需要知道探头压力引起的空间凹陷，也不需要力传感器。
相似工作 ：L. Han et al., Development of patient-specific biomechanical models for predicting large breast deformation. Phys
Med Biol 57:455-472, 2012.

本文提出的是估计每幅图像相对于参考无变形图像的形变场的方法。该方法基于2D生物力学模型，该模型考虑了图像中描绘的组织的机械参数，以预测真实的变形场。这些参数与变形场一起被估计，以便最大化参考图像和校正图像之间的互信息。然后，通过应用反变形场来校正图像。

可以近似看作是一个配准问题，序列图像ABCDEFG，ABCD被校准，没校准的E和D配准。

4.3 详细方法

二维生物力学模型:一个数学公式，杨式模量，力分布，以及位移的关系
预测了组织在探针压力作用下所经历的位移场。假设软组织经历相对较小的位移，采用Pheiffer等人以前提出的线弹性模型来解决这一问题。[6]。该模型受Navier-Cauchy方程支配：

没有实际应用在徒手3d超声建模，做了两副图的证明和应变分析