Open3D

Kinect 获取数据和可视化

基于 Azure Kinect SDK 和 Open3D 实现灾害现场的三维重建。首先，通过获取 Kinect 的 IMU 数据、捕获彩色图像和深度图像，将图像数据转换为点云数据。随后，根据 IMU 数据实现点云的粗配准，使用彩色ICP算法实现点云的精配准。并将点云数据转换为三角网格数据即场景模型数据。最后，通过 Protocal Buffers 技术发送给客户端。客户端可在 HoloLens2 上进行智能可视化。然后，我们将点云数据转换为三角网格数据，生成场景模型数据。最后，使用 Protocal Buffers 技术将场景模型数据发送给客户端，实现在 HoloLens2 上进行可视化操作。通过完成以上步骤，我们可以高效地把灾后场景还原为一个准确的三维场景模型，使救援和重建工作变得更为快捷、高效。

三维重建笔记——从变换矩阵中提取并分析平移量

在编写点云变换和姿态估计代码时，我们经常需要从结果的变换矩阵中提取平移信息，并分析平移量的大小，帮助判断结果的准确性。本文将介绍如何从变换矩阵中提取平移向量，并计算其欧几里得长度。提取平移向量假设我们通过某种姿态估计算法得到了一个4x4的变换矩阵 result.transformation_ ,其中包含了旋转和平移信息。我们可以通过以下代码提取出平移部分:（以Open3D为例） core::Tensor translation = result.transformation_.Slice(0, 0, 3).Slice(1, 3, 4); Slice(0,0,3);表示从矩阵的第0维(行)，第0行开始，取3行，即前3行；Slice(1,3,4);表示从矩阵的第1维(列)，第3列开始，取1列，即第4列。最后获得一个3x1的平移向量，包含x、y、z三个方向的平移量。计算欧几里得长度有了平移向量后,我们可以计算其欧几里得长度,表示平移量的大小: double translation_norm = std::sqrt((translation * translation).Sum({0, 1}).Item<double>()); std::sqrt计算平方根，translation * translation 计算向量每个元素的平方，Sum 聚合，最终得到平移向量的L2范数，即欧几里得长度。分析平移量通过提取并计算平移向量的模长，我们可以分析相机或物体的移动距离，以及姿态估计结果的准确性。如果 translation_norm 的值过大，可能表示估计存在误差，需要反复优化算法。设置不同的阈值可以根据实际场景需求，判断平移量是否在允许的范围内。以上是从变换矩阵中提取和利用平移信息的简单示例，可以提供点云变换和姿态估计任务有用的辅助分析。

解决 Open3D 同时链接其他库时的 Undefined Reference 错误

当你的 Open3D 项目同时使用了 OpenCV 或 Protobuf 等其他库时，在链接库时可能会出现 Undefined Reference 的错误。这是因为 Open3D 默认使用的 C++ ABI 版本与其他库不一致导致的。为了解决这个问题，可以在重新编译安装 Open3D 时打开 -DGLIBCXX_USE_CXX11_ABI=ON 选项，即使用 C++11 ABI 版本。以下是具体的步骤：解决方法找到 Open3D 源码cd open3d 找不到请在 Github 上重新下载。重新编译安装 Open3D进入 Open3D 的源代码目录的 build 子目录进行编译安装。 cd build 在 build 子目录中执行 CMake 命令生成 Makefile。在命令行中添加 -DGLIBCXX_USE_CXX11_ABI=ON 选项。 cmake .. -DBUILD_SHARED_LIBS=ON -DGLIBCXX_USE_CXX11_ABI=ON -DCMAKE_BUILD_TYPE=Release 最后，执行 make 命令编译并安装 Open3D。 make -j6 sudo make install 使用 Open3D重新编译安装后的 Open3D 就能够正常链接其他库了。

基于 Open3D C++ 版实现点云数据的配准、相加和显示

本文介绍如何使用 Open3D C++ 库来进行点云的配准、相加和可视化显示。Open3D 是一个开源的多维数据处理工具箱，支持点云、图像和三维几何等多种类型的数据处理和可视化。点云读取使用 ReadPointCloud() 函数可以轻松读取 pcd 和 ply 点云文件： // 读取 pcd 和 ply 点云文件 auto source = std::make_shared<open3d::geometry::PointCloud>(); auto target = std::make_shared<open3d::geometry::PointCloud>(); open3d::io::ReadPointCloud("pcd-data/1.pcd", *source); open3d::io::ReadPointCloud("pcd-data/2.pcd", *target); // ply 文件同理 // open3d::io::ReadPointCloud("pcd-data/1.ply", *source); // open3d::io::ReadPointCloud("pcd-data/2.ply", *target); 点云上色为两份点云上上不同的颜色： source->PaintUniformColor({1, 0.706, 0}); // source 为黄色 target->PaintUniformColor({0, 0.651, 0.929});// target 为蓝色点云配准使用 Open3D 提供的 RegistrationICP() 函数进行点云配准。代码如下： // 为两个点云分别进行outlier removal //auto processed_source = source->RadiusOutlierRemoval(16, 0.5); //auto processed_target = target->RadiusOutlierRemoval(16, 0.5); double threshold = 1.0; // 移动范围的阀值 Eigen::Matrix4d trans_init = Eigen::Matrix4d::Identity(); // 运行ICP配准 open3d::pipelines::registration::RegistrationResult reg_p2p; // 这一步会返回点云的变换矩阵 reg_p2p = open3d::pipelines::registration::RegistrationICP( *source, *target, threshold, trans_init, open3d::pipelines::registration::TransformationEstimationPointToPoint()); // 将点云依照输出的变换矩阵进行变换 source->Transform(reg_p2p.transformation_); 点云相加这一步很简单，使用重载运算符 += 将两份点云数据相加： ...

构建 Open3D 官方 Azure Kinect 示例时找不到 AzureKinect*** 的解决方法

此文章旨在帮助解决 C++ 版 Open3D 编译时找不到 AzureKinect 相关函数的问题。问题描述在尝试构建官方Azure Kinect示例时（AzureKinectViewer.cpp、AzureKinectMKVReader.cpp和AzureKinectRecord.cpp）报错： [1/1] Linking CXX executable AzureKinectViewer FAILED: AzureKinectViewer : && /usr/bin/c++ CMakeFiles/AzureKinectViewer.dir/AzureKinectViewer.cpp.o -o AzureKinectViewer -L/usr/local/lib -L/usr/local/cuda/lib64 -Wl,-rpath,/usr/local/lib:/usr/local/cuda/lib64 /usr/lib/aarch64-linux-gnu/libk4a.so.1.4.1 /usr/local/lib/libOpen3D.so && : CMakeFiles/AzureKinectViewer.dir/AzureKinectViewer.cpp.o: In function `main': AzureKinectViewer.cpp:(.text+0x4fc): undefined reference to `open3d::io::AzureKinectSensor::ListDevices()' AzureKinectViewer.cpp:(.text+0x50c): undefined reference to `open3d::io::AzureKinectSensorConfig::AzureKinectSensorConfig()' AzureKinectViewer.cpp:(.text+0x75c): undefined reference to `open3d::io::AzureKinectSensor::AzureKinectSensor(open3d::io::AzureKinectSensorConfig const&)' AzureKinectViewer.cpp:(.text+0x76c): undefined reference to `open3d::io::AzureKinectSensor::Connect(unsigned long)' AzureKinectViewer.cpp:(.text+0x84c): undefined reference to `open3d::io::AzureKinectSensor::CaptureFrame(bool) const' AzureKinectViewer.cpp:(.text+0x93c): undefined reference to `open3d::io::AzureKinectSensor::~AzureKinectSensor()' AzureKinectViewer.cpp:(.text+0xb2c): undefined reference to `open3d::io::AzureKinectSensor::~AzureKinectSensor()' CMakeFiles/AzureKinectViewer.dir/AzureKinectViewer.cpp.o: In function `open3d::io::AzureKinectSensorConfig::~AzureKinectSensorConfig()': AzureKinectViewer.cpp:(.text._ZN6open3d2io23AzureKinectSensorConfigD2Ev[_ZN6open3d2io23AzureKinectSensorConfigD5Ev]+0xc): undefined reference to `vtable for open3d::io::AzureKinectSensorConfig' AzureKinectViewer.cpp:(.text._ZN6open3d2io23AzureKinectSensorConfigD2Ev[_ZN6open3d2io23AzureKinectSensorConfigD5Ev]+0x10): undefined reference to `vtable for open3d::io::AzureKinectSensorConfig' collect2: error: ld returned 1 exit status ninja: build stopped: subcommand failed. 这是因为安装Open3D时未开启Azure Kinect的支持选项。 ...