三维点云中目标结构的拾取一直是交互设计领域非常具有挑战性的研究工作,主要原因就点云没有固定的形状结构,不方便拾取。
目前在三维点云拾取方面常用方法包括Cylinder Selection以及Cloud Lasso [1],Cylinder Selection主要使用用户圈选的线形成视景锥体,用该视景锥体去截取目标点云区域。这种方法简单高校,但是精度不高,因为无法选择更精确的目标对象。Cloud Lasso是直接受普通圈选的启发,在圈内部的所有大于一定密度域值的子聚类均会被选中。但是这些方法仍然有一些问题:
1)点云目标常常相互遮挡,深度方向有大量的候选目标
2)三维点云环境中比较难快速判断用户的选择意图
基于这些问题或挑战,本文设计了新的交互技术,称之为CAST[2]。CAST中一共包括三种交互技术来解决不同的拾取需求:1)SpaceCast;2)TraceCast;3)PointCast。
图1. Cloud Lasso与SpaceCast的结果对比
(一)SpaceCast。SpaceCast是Cloud Lasso的升级版,SpaceCast可以通过二维轮廓匹配选择更精确的结果。匹配过程主是是将Marching Cubes算法生成的点云聚类投影到二维,得到它的轮廓。最后与圈选形成的lasso(二维)进行匹配。被选择的聚类需要满足两个条件,位置lasso内部;其次二维投影面积大于0.8倍的lasso围成面积。图1表示Cloud Lasso与SpaceCast的结果,左边Cloud Lasso可以一次性选择多个目标对象,而SpaceCast只会选择离观察者最近的,轮廓最匹配的目标聚类,使得选择操作更精确。图2表示SpaceCast原理,选择的候选目标聚类VA(蓝色区域)满足上述两个条件,因此它被选中。
图2. SpaceCast原理
(二)TraceCast。TraceCast与SpaceCast相似,只不过lasso需要切割目标聚类,而不是在外围圈选。图3表示TraceCast的一个效果图。从图3中可以看出lasso需要切割目标聚类本身。图4表示TraceCast选择目标的原理图,圈选的lasso L与目标聚类投影到二维后的形状进行交操作,得到公共部分面积,只有公共部分面积最在的目标才会被选中。
图3. TraceCast结果
图4. TraceCast原理
(三)PointCast。在三种CAST系统交互,PointCast最简单与直观,因为用户只需要简单的点击就可以选择目标聚类。PointCast中将用户点击的ray经过的所有点进行密度分布统计,再对所有目标聚类进行密度分布统计,只有与ray的分布最相近的的目标聚类才会被选中。即使它被部分遮挡住,图5中,VA被选中,即使它被VB遮挡住了。
图5. PointCast原理
最后,本文对五种技术(两种现有的技术与CAST三种技术)进行完成的User study。总共使用4个数据,包括三个合成数据和一个模拟数据,如图6所示,User study的目标是让20位用户在这四个数据集中选择黄色的目标聚类,用户可以自行选择不同的交互技术进行目标拾取。图7是user study的实验环境,用户可以通过三种boolean操作来管理选中的结果集,分别是union, Subtraction和Intersection。
图6. 四个测试数据
图7. User study测试环境
在user study测试之后,作者们获取四个数据,五种技术1200份结果进行评估与分析,他们使用Null-Hypothesis Significance Testing(NHST)的F1与MCC对结果进行评估,计算过程如图8所示。
图8. F1与MCC计算公式
User study评估结果可看出,本文提出的CAST的三种技术在用户完成目标时间快速上有明显的优势,在F1与MC才及95%置信区间(Error bar)测量的结果上可以看出,五种技术的精确性都很高。
图9. 评估结果
图10. 整体评估结果(Error bar表示95%置信区间)
图11表示对模拟数据进行目标拾取的结果。从左到右分别表示CloudLasso (a), SpaceCast (b) TraceCast (c) 和 PointCast (d) 拾取得到的结果截图。
图11. 模拟数据目标拾取结果
本文提出的CAST三种技术不仅可以对实际的点云进行拾取,也可以对抽象的点云数据进行拾取,例如,Isabel数据的Pressure, water vapor, 和 x wind component形成的三维点云数据 (图12a) 也可以使用CAST拾取目标聚类。图12后三幅图分别表示用SpaceCast, TraceCast, 和 PointCast拾取Isabel数据中的目标聚类。
图12. Isabel抽象数据形成3D scatter plot点云的拾取结果
[1] Lingyun Yu, Konstantinos Efstathiou, Petra Isenberg, and Tobias Isenberg. Efficient structure-aware selection techniques for 3D point cloud visualizations with 2DOF input . IEEE Transactions on Visualization and Computer Graphics , 18(12):2245–2254, Dec. 2012.
[2] Lingyun Yu, Konstantinos Efstathiou, Petra Isenberg, and Tobias Isenberg. CAST: Effective and Efficient User Interaction for Context-Aware Selection in 3D Particle Clouds . IEEE Transactions on Visualization and Computer Graphics , 22(1):886–895, Jan. 2016.