React Native - 从 expo-camera 获取帧

Posted 2023-03-11

【中文标题】React Native - 从 expo-camera 获取帧

【英文标题】：React Native - Get frames from expo-camera

【发布时间】：2020-06-09 10:37:12

【问题描述】：

我已经制作了一个应用程序，它可以检测人脸的坐标并使用 expo-camera 在人脸周围放置一个正方形。我真正需要做的是以 1 秒的间隔从相机流中裁剪所有面部，并将它们传递给带有 TensorFlow.js For React Native 的 TensorFlowjs 模型。我在expo-camera documentation 中看不到类似的东西，有什么技巧可以做到吗？

【参考方案1】：

我正在考虑做类似的事情，我认为这些可能会有所帮助。

RNCamera 具有 onModelProcessed 属性的组件，可用于处理相机的流。 https://www.npmjs.com/package/react-native-tflite-camera

这是我发现的一个可能有帮助的示例：

https://medium.com/@namar/high-performance-image-classification-with-react-native-336db0a96cd

或

cameraWithTensors 由 TF 人设计的组件具有“产生表示相机流的张量的能力”。获得张量后，您可以处理它们或将它们用作 tfjs 模型中的输入。

这是一个使用 cameraWithTensors 的示例：

https://www.linkedin.com/pulse/real-time-image-classification-tensorflow-daniel-wind/?utm_campaign=React%2BNative%2BNow&utm_medium=web&utm_source=React_Native_Now_69

听起来您可能需要两个模型，一个检测人脸并返回要裁剪的坐标/像素。然后在裁剪后，您需要将裁剪后的图像放入另一个模型中。