结合opencv，在arm开发板上运行打开摄像头test文件，出现错误。。如下图：

Posted 2023-05-05

将交叉编译好的opencv，中.so文件放到ARM开发板下lib中，然后将编译好的打开摄像头的test在ARM开发板中运行，出现“can not open camera”错误，求大神指教！！如有知道的大神希望加我qq：1208489229，在此先谢谢啦。

参考技术A 整个项目的结构图：

编写DetectFaceDemo.java,代码如下：

[java] view
plaincopyprint?

package com.njupt.zhb.test;

import org.opencv.core.Core;

import org.opencv.core.Mat;

import org.opencv.core.MatOfRect;

import org.opencv.core.Point;

import org.opencv.core.Rect;

import org.opencv.core.Scalar;

import org.opencv.highgui.Highgui;

import org.opencv.objdetect.CascadeClassifier;

//

// Detects faces in an image, draws boxes around them, and writes the results

// to "faceDetection.png".

//

public class DetectFaceDemo

public void run()

System.out.println("\nRunning DetectFaceDemo");

System.out.println(getClass().getResource("lbpcascade_frontalface.xml").getPath());

// Create a face detector from the cascade file in the resources

// directory.

//CascadeClassifier faceDetector = new CascadeClassifier(getClass().getResource("lbpcascade_frontalface.xml").getPath());

//Mat image = Highgui.imread(getClass().getResource("lena.png").getPath());

//注意：源程序的路径会多打印一个‘/’，因此总是出现如下错误

/*

* Detected 0 faces Writing faceDetection.png libpng warning: Image

* width is zero in IHDR libpng warning: Image height is zero in IHDR

* libpng error: Invalid IHDR data

*/

//因此，我们将第一个字符去掉

String xmlfilePath=getClass().getResource("lbpcascade_frontalface.xml").getPath().substring(1);

CascadeClassifier faceDetector = new CascadeClassifier(xmlfilePath);

Mat image = Highgui.imread(getClass().getResource("we.jpg").getPath().substring(1));

// Detect faces in the image.

// MatOfRect is a special container class for Rect.

MatOfRect faceDetections = new MatOfRect();

faceDetector.detectMultiScale(image, faceDetections);

System.out.println(String.format("Detected %s faces", faceDetections.toArray().length));

// Draw a bounding box around each face.

for (Rect rect : faceDetections.toArray())

Core.rectangle(image, new Point(rect.x, rect.y), new Point(rect.x + rect.width, rect.y + rect.height), new Scalar(0, 255, 0));



// Save the visualized detection.

String filename = "faceDetection.png";

System.out.println(String.format("Writing %s", filename));

Highgui.imwrite(filename, image);




package com.njupt.zhb.test;
import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.core.MatOfRect;
import org.opencv.core.Point;
import org.opencv.core.Rect;
import org.opencv.core.Scalar;
import org.opencv.highgui.Highgui;
import org.opencv.objdetect.CascadeClassifier;

//
// Detects faces in an image, draws boxes around them, and writes the results
// to "faceDetection.png".
//
public class DetectFaceDemo
public void run()
System.out.println("\nRunning DetectFaceDemo");
System.out.println(getClass().getResource("lbpcascade_frontalface.xml").getPath());
// Create a face detector from the cascade file in the resources
// directory.
//CascadeClassifier faceDetector = new CascadeClassifier(getClass().getResource("lbpcascade_frontalface.xml").getPath());
//Mat image = Highgui.imread(getClass().getResource("lena.png").getPath());
//注意：源程序的路径会多打印一个‘/’，因此总是出现如下错误
/*
* Detected 0 faces Writing faceDetection.png libpng warning: Image
* width is zero in IHDR libpng warning: Image height is zero in IHDR
* libpng error: Invalid IHDR data
*/
//因此，我们将第一个字符去掉
String xmlfilePath=getClass().getResource("lbpcascade_frontalface.xml").getPath().substring(1);
CascadeClassifier faceDetector = new CascadeClassifier(xmlfilePath);
Mat image = Highgui.imread(getClass().getResource("we.jpg").getPath().substring(1));
// Detect faces in the image.
// MatOfRect is a special container class for Rect.
MatOfRect faceDetections = new MatOfRect();
faceDetector.detectMultiScale(image, faceDetections);

System.out.println(String.format("Detected %s faces", faceDetections.toArray().length));

// Draw a bounding box around each face.
for (Rect rect : faceDetections.toArray())
Core.rectangle(image, new Point(rect.x, rect.y), new Point(rect.x + rect.width, rect.y + rect.height), new Scalar(0, 255, 0));


// Save the visualized detection.
String filename = "faceDetection.png";
System.out.println(String.format("Writing %s", filename));
Highgui.imwrite(filename, image);



3.编写测试类：

[java] view
plaincopyprint?

package com.njupt.zhb.test;

public class TestMain

public static void main(String[] args)

System.out.println("Hello, OpenCV");

// Load the native library.

System.loadLibrary("opencv_java246");

new DetectFaceDemo().run();





//运行结果:

//Hello, OpenCV

//

//Running DetectFaceDemo

///E:/eclipse_Jee/workspace/JavaOpenCV246/bin/com/njupt/zhb/test/lbpcascade_frontalface.xml

//Detected 8 faces

//Writing faceDetection.png
package com.njupt.zhb.test;
public class TestMain
public static void main(String[] args)
System.out.println("Hello, OpenCV");
// Load the native library.
System.loadLibrary("opencv_java246");
new DetectFaceDemo().run();


//运行结果:
//Hello, OpenCV
//
//Running DetectFaceDemo
///E:/eclipse_Jee/workspace/JavaOpenCV246/bin/com/njupt/zhb/test/lbpcascade_frontalface.xml
//Detected 8 faces
//Writing faceDetection.png

如何通过 Javascript 在 PythonAnywhere 上的 OpenCV 中访问网络摄像头？

【中文标题】如何通过 Javascript 在 PythonAnywhere 上的 OpenCV 中访问网络摄像头？

【英文标题】：How to access webcam in OpenCV on PythonAnywhere through Javascript?

【发布时间】：2020-05-27 15:28:32

【问题描述】：

我在 Django 中开发了一个 WebApplication，它有一个包含 OpevCV 代码的视图方法，当触发该代码时会打开用户网络摄像头以检测其面部。这个应用程序在我的本地服务器上运行良好，但是当我在 PythonAnywhere 上托管它时，它说找不到相机，因为我的 PA 托管不提供相机。 所以有人建议我通过 javascript 打开网络摄像头，因为它处理客户端计算机，然后将其提要传递给我的托管服务器计算机。 但由于我是 Python 的新手，我无法弄清楚如何执行上述任务。 我找到了这段 js 代码，但我不知道如何以及在我的 Django 应用程序中添加它的位置。

使用 Javascript 获取提要的代码

var video = document.querySelector("#videoElement");

if (navigator.mediaDevices.getUserMedia) 
    navigator.mediaDevices.getUserMedia(video: true).then(function(stream) 
      video.srcObject = stream;
  ).catch(function(err0r) 
      console.log("Something went wrong!");
  );

我的打开摄像头检测人脸的Python代码如下（在localserver中工作）

import cv2

cascade = cv2.CascadeClassifier('./haarcascade_frontalface_default.xml')

cam = cv2.VideoCapture(0)


while True:
    ret, frame = cam.read()
    frame = cv2.flip(frame, 1)

    if ret:
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

        faces = cascade.detectMultiScale(gray, scaleFactor=1.3, minNeighbors=3)

        for (x, y, w, h) in faces:
            cropped = cv2.resize(frame[y:y+h, x:x+w], (198,198))
            cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 0, 0), 2)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
            cv2.destroyAllWindows()

        cv2.imshow('Stream', frame)

感谢任何帮助。提前谢谢你

【参考方案1】：

您需要使用 javascript 获取实时视频流，然后将该流提供给 opencv2 以使其正常工作。

使用：get live videostream in nodejs

你会得到一个"http://localhost:3000"的url，你可以在python代码中使用它，如下所示：

import cv2

cascade = cv2.CascadeClassifier('./haarcascade_frontalface_default.xml')

cam = cv2.VideoCapture('http://localhost:3000')


while True:
    ret, frame = cam.read()
    frame = cv2.flip(frame, 1)

    if ret:
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

        faces = cascade.detectMultiScale(gray, scaleFactor=1.3, minNeighbors=3)

        for (x, y, w, h) in faces:
            cropped = cv2.resize(frame[y:y+h, x:x+w], (198,198))
            cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 0, 0), 2)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
            cv2.destroyAllWindows()

        cv2.imshow('Stream', frame)

【讨论】：

您好，您提供的解决方案是从文件流式传输视频，而不是从我的实时网络摄像头传输视频。

如果您能给我一个与我的代码相关的答案，那就太好了。实际上上述解决方案对我不起作用

【参考方案2】：

我曾经做过类似的事情，我使用的方案如下：

如您所知，我们需要 javascript 从网络摄像头获取用户图片。我发现an article 向我们展示了如何做到这一点，如果你想使用 Django，你只能使用前端（HTML 文件）。该代码用于获取图片并将其编码为 base64（字符串）并通过 websocket 发送。

之后，我们希望 Django 服务于 websocket。过去，我是用 Flask 做的，而不是 Django，但你可以看到如何使用 django-channel 创建 websocket 服务器。

对于最后一步，您需要一个带有 OpenCV 代码的函数。你需要decode base64和convert it to opencv

def modify_picture(img_data):
    # decode image
    img = from_b64(img_data)

    # your OpenCV filter
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    # encode image to base64
    return to_b64(gray)

当然，您不需要while True 和cv2.imshow，而是返回新图片的base64 版本。希望对您有所帮助。

---

更新：我在github 中编写了一个示例代码。不在 Django 中，但仍然在 Python 中。希望它能给你更多的见解。

【讨论】：

您好，尝试您的解决方案需要一些时间，但我仍然接受您的努力，因为有时间限制。感谢您的帮助

嗨，我正在努力实现这个。很想听听是否有人成功！

嗨@Joesmaker，我只是为这个概念放了示例实现。你可以看到更新的答案。

@Tegar 我尝试使用您的 git 代码，但是当服务器在命中后被触发时，会出现一个空白数组，上面写着 details: not found

@AayushGupta 你能实施这个解决方案吗？