Arm Compute Library - Canny Edge 从导入的 opencv 图像返回不可用的数据

Posted 2023-02-16

【中文标题】Arm Compute Library - Canny Edge 从导入的 opencv 图像返回不可用的数据

【英文标题】：Arm Compute Library - Canny Edge returns unusable data from imported opencv image

【发布时间】：2018-10-08 13:48:34

【问题描述】：

我正在使用 arm 计算库 link 将 opencv 应用程序转换为更高效的代码库。

我想从 opencv mat 导入数据，我已经通过 this 成功完成了。

arm_compute::Image matACL;
matACL.allocator()->init(arm_compute::TensorInfo(mat.cols, mat.rows, arm_compute::Format::U8)); // Initialise tensor's dimensions
matACL.allocator()->import_memory(arm_compute::Memory(mat.data)); //Allocate the image without any padding.

//matACL.allocator()->import_memory(arm_compute::Memory(new cvMatData(mat.data)));

请注意，ACL 18.05 及更高版本需要一个已实现的内存接口，我已为其创建了一个gist。就是上面的注释行。

我可以在图像上运行不同的操作（例如阈值或高斯），我可以在 opencv 窗口中看到正确的输出，但是每当我使用精明的边缘检测器时，我都会得到一个混乱的输出图像。我前段时间在github 上发过，但他们也找不到解决办法。

我已经实现了 canny edge neon，就像在 NECannyEdge.cpp 文件中所做的那样，以更好地了解正在发生的事情。我将结果的数据复制到一个 opencv Mat 中并像这样保留指向它的指针。

这就是我将结果转换回 OpenCV Mat 的方式：

ptr = (unsigned char*)malloc(mat.cols*mat.rows*sizeof(unsigned char));

for(unsigned int z = 0 ; z < 0 ; ++z)

    for (unsigned int y = 0; y < mat.rows; ++y)
    
        memcpy(ptr + z * (mat.cols * mat.rows) + y * mat.cols, matACL.buffer() +
        matACL.info()->offset_element_in_bytes(Coordinates(0, y, z)), mat.cols * 
        sizeof(unsigned char));
    

还有一个替代方案：

Window output_window;
output_window.use_tensor_dimensions(shape, Window::DimY);
Iterator output_it(&matACL, output_window);
execute_window_loop(output_window,
[&](const Coordinates & id)

    memcpy(ptr + id.z() * (mat.cols * mat.rows) + id.y() * mat.cols, output_it.ptr(), mat.cols * sizeof(unsigned char));
, output_it);

图像有时会显示正确的精确边缘结果，但大多数时候它显示的是随机的可能未完成的数据。

我检查了它是否可能是竞争条件，但实现应该是单线程的，我无法弄清楚问题出在哪里。有人有想法吗？

如何成功使用来自 opencv 图像的数据在 arm 计算库的 canny 边缘检测器中使用？也许我错过了导入过程中的一些步骤？

谢谢，你好

【问题讨论】：

为了完整起见，请将 github 问题和代码的重要部分移至您的问题中。

完成@DmitriiZ。我希望这会有所帮助。

The image sometimes showes a correct... - 在我看来，这像是一个缓冲区步幅问题，但我对 ACL 不是很熟悉。您可能可以检查的一件事是它是否适用于“偶数”图像（512x512、256x256 等），并检查 ACL 图像使用什么样的步幅

我让它工作了@DmitriiZ。感谢您的帮助。

【参考方案1】：

我发现了哪里出错并开发了这个函数，它从 ACL 图像创建一个 OpenCV Mat：

void ACLImageToMat(arm_compute::Image &aCLImage, cv::Mat &cVImage, std::unique_ptr<uint8_t[]> &cVImageDataPtr)

    size_t width  = aCLImage.info()->valid_region().shape.x();
    size_t height = aCLImage.info()->valid_region().shape.y();

    cVImageDataPtr = std::make_unique < uint8_t[]>(width*height);
    auto ptr_src = aCLImage.buffer();


    arm_compute::Window input_window;
    input_window.use_tensor_dimensions(aCLImage.info()->tensor_shape());
    arm_compute::Iterator input_it(&aCLImage, input_window);
    int counter = 0;
    arm_compute::execute_window_loop(input_window,
        [&](const arm_compute::Coordinates & id)
        
            *reinterpret_cast<uint8_t *>(cVImageDataPtr.get() + counter++) = ptr_src[aCLImage.info()->offset_element_in_bytes(id)];
        ,
        input_it);


    cVImage = cv::Mat(cVImage.rows, cVImage.cols, CV_8UC1, cVImageDataPtr.get());

要为 Canny 初始化它，我做了以下操作：

    arm_compute::Image matACL;
    matACL.allocator()->init(arm_compute::TensorInfo(eye.cols, eye.rows, arm_compute::Format::U8));
    matACL.allocator()->import_memory(arm_compute::Memory(eye.data));

    arm_compute::Image matACLCanny;
    matACLCanny.allocator()->init(arm_compute::TensorInfo(eye.cols, eye.rows, arm_compute::Format::U8));

    arm_compute::NECannyEdge canny ;
    canny.configure(&matACL, &matACLCanny, 300, 150, 3, 1, arm_compute::BorderMode::REPLICATE);

    matACLCanny.allocator()->allocate();

    canny.run();

重要的是在配置精明边缘检测器之后调用输出图像的allocate 函数。前段时间我在 ACL 文档的某个地方找到了这个，但我不记得具体在哪里。

我希望这可以帮助那些在 ACL 和 OpenCV 之间转换图像时偶然发现的人！