如何使用 PIG 处理图像文件

Posted 2023-04-18

【中文标题】如何使用 PIG 处理图像文件

【英文标题】：How to process image files using PIG

【发布时间】：2015-09-01 16:03:37

【问题描述】：

有100个不同颜色的图像文件。我想根据颜色获得独特的图像

【问题讨论】：

获取图像的MD5SUM并删除重复项

参考这篇文章：hadoopsphere.com/2013/02/…

【参考方案1】：

没有用于处理图像数据的内置 Hadoop/Pig API。

要使用 Pig/MapReduce 处理图像数据，请使用以下步骤：

将所有图像转换为序列文件/文件

键值
Image_file_id 图片内容

将此文件加载到 HDFS。

使用任何第三方库进行检测，例如 "Haar Cascades" 作为 UDF in Pig 或调用 MapReduce 中的 Java 库 程序。