使用 libjpegturbo 压缩批量图片时出现奇怪的结果

Posted

技术标签:

【中文标题】使用 libjpegturbo 压缩批量图片时出现奇怪的结果【英文标题】:Strange results while compressing batch of pictures with libjpegturbo 【发布时间】:2013-08-22 10:22:55 【问题描述】:

首先,我(想要)做什么: 压缩和缩小一批图片(jpg)。 让我们假设原始图片的尺寸为 1600w x 1200h。 现在,我想要一份 1600x1200 的压缩副本以及另一份 800x600 和 400x300 的压缩副本。

我用什么: 我正在使用 libJpegTurob 来实现这一点。如果 LibJpegTurob 有问题,我尝试使用 android 给定的方法。

已经尝试过: 首先,我使用了从 Tom Gall (https://github.com/jberkel/libjpeg-turbo) 移植的 Java Wrapper。

在我开始使用超过 4mb 的图片之前,一切都很好(在 nexus 4 上)。 基本上发生的是 android 抛出 OutOfMemory 异常。当我使用较小的图片(~1-2mb)但又一张又一张地压缩时,就会发生这种情况。

在诸如 nexus 等内存较低的预算设备上运行后,情况变得更加糟糕。 低堆导致的问题,这就是我的想法。

那么,我想,我必须用 c 来做。 只要我在预算设备上使用小于 3mb 的图片,内存问题似乎就解决了。 在 nexus 4 上,我什至可以压缩 >15mb 的图片。

这是src图片。

但是现在……问题来了。 第一张压缩图看起来不错

但所有其他的看起来像这样 或者这个

只要我保留选择的图片并压缩它们,就会发生这种情况。

现在是代码。

这是缩放和压缩发生的地方

    #include "_HelloJNI.h"

#include <errno.h>
#include <jni.h>
#include <sys/time.h>
#include <time.h>
#include <android/log.h>
#include <stdio.h>
#include <stdlib.h>
#include <math.h>
#include <android/bitmap.h>
#include <unistd.h>
#include <setjmp.h>
#include "jpeglib.h"
#include "turbojpeg.h"


#define  LOG_TAG    "DEBUG"
#define  LOGI(...)  __android_log_print(ANDROID_LOG_INFO,LOG_TAG,__VA_ARGS__)
#define  LOGV(...)  __android_log_print(ANDROID_LOG_VERBOSE,LOG_TAG,__VA_ARGS__)
#define  LOGD(...)  __android_log_print(ANDROID_LOG_DEBUG,LOG_TAG,__VA_ARGS__)
#define  LOGE(...)  __android_log_print(ANDROID_LOG_ERROR,LOG_TAG,__VA_ARGS__)


int IMAGE_COMPRESS_QUALITY = 80;

typedef struct  
    int width;
    int height;
tSize;


JNIEXPORT jint JNICALL Java_com_example_LibJpegTurboTest_NdkCall_nativeCompress
(JNIEnv * env, jobject onj, jstring jniSrcImgPath, jstring jniDestDir, jstring jniDestImgName, jint jniSrcWidth, jint jniSrcHeight) 

    int pyramidRet = 0;

    tSize fileSize;
    fileSize.width = (int)jniSrcWidth;
    fileSize.height = (int)jniSrcHeight;

    const char* srcImgPath = (*env)->GetStringUTFChars(env, jniSrcImgPath, 0);
    const char* destDir = (*env)->GetStringUTFChars(env, jniDestDir, 0);
    const char* destFileName = (*env)->GetStringUTFChars(env, jniDestImgName, 0);

    pyramidRet = createPreviewPyramidUsingCustomScaling(srcImgPath, destDir, destFileName, fileSize, 4);

    return 0;


static tSize imageSizeForStep(int step, tSize *originalSize) 
    float factor = 1 / pow(2, step);

    return (tSize) 
        round(originalSize->width  * factor),
        round(originalSize->height * factor) ;


int saveBitmapBufferImage(unsigned char *data, tSize *imageSize, char *destFileName, int quality) 

    int retValue = 1;
    int res = 0;
    unsigned long destinationJpegBufferSize = 0;
    tjhandle tjCompressHandle = NULL;
    unsigned char *destinationJpegBuffer = NULL;
    FILE *file = NULL;

    // jpgeg compress
    tjCompressHandle = tjInitCompress();
    if(tjCompressHandle == NULL) 
        retValue = -1;
        goto cleanup;
     

    res = tjCompress2(tjCompressHandle, data, imageSize->width, imageSize->width * tjPixelSize[TJPF_RGBX], imageSize->height, TJPF_RGBX, &destinationJpegBuffer, &destinationJpegBufferSize, 1,
    quality, TJFLAG_FASTUPSAMPLE);
    if(res < 0) 
        retValue = -1;
        goto cleanup;
    

    file = fopen(destFileName, "wb");
    if(file == NULL) 
        retValue = -1;
        goto cleanup;
     

    long written = fwrite(destinationJpegBuffer, destinationJpegBufferSize, 1, file);
    retValue = (written == 1);

    cleanup:
    if(tjCompressHandle) 
        tjDestroy(tjCompressHandle);
    
    if(destinationJpegBuffer) 
        tjFree(destinationJpegBuffer);
    
    if(file) 
        fclose(file);
    

    return retValue;



int createBitmapBufferFromFile(char *srcFileName, tSize imageDimensions, long *bytesPerRow, long *dataBufferSize, unsigned char **dataBuffer) 
    int retValue = 1;
    int res = 0;

    FILE *file = NULL;

    unsigned char* sourceJpegBuffer = NULL;
    long sourceJpegBufferSize = 0;

    tjhandle tjDecompressHandle = NULL;
    int fileWidth = 0, fileHeight = 0, jpegSubsamp = 0;

    unsigned char* temp = NULL;

    unsigned char* rotatedSourceJpegBuffer = NULL;
    tjhandle tjTransformHandle = NULL;

    file = fopen(srcFileName, "rb");
    if (file == NULL) 
        retValue = -1;
        goto cleanup;
     


    res = fseek(file, 0, SEEK_END);
    if(res < 0) 
        retValue = -1;
        goto cleanup;
     


    sourceJpegBufferSize = ftell(file);
    if(sourceJpegBufferSize <= 0) 
        retValue = -1;
        goto cleanup;
     

    sourceJpegBuffer = tjAlloc(sourceJpegBufferSize);
    if(sourceJpegBuffer == NULL) 
        retValue = -1;
        goto cleanup;
     


    res = fseek(file, 0, SEEK_SET);
    if(res < 0) 
        retValue = -1;
        goto cleanup;
     


    res = fread(sourceJpegBuffer, (long)sourceJpegBufferSize, 1, file);
    if(res != 1)       
        retValue = -1;
        goto cleanup;
     


    tjDecompressHandle = tjInitDecompress();
    if(tjDecompressHandle == NULL)         
        retValue = -1;
        goto cleanup;
     

    // decompress header to get image dimensions
    res = tjDecompressHeader2(tjDecompressHandle, sourceJpegBuffer, sourceJpegBufferSize, &fileWidth, &fileHeight, &jpegSubsamp);
    if(res < 0) 
        retValue = -1;
        goto cleanup;
     

    float destWidth = (float)imageDimensions.width;
    float destHeight = (float)imageDimensions.height;

    *bytesPerRow = destWidth * tjPixelSize[TJPF_RGBX];

    // buffer for uncompressed image-data
    *dataBufferSize = *bytesPerRow * destHeight;

    temp = tjAlloc(*dataBufferSize);
    if(temp == NULL)   
        retValue = -1;
        goto cleanup;
     


    res = tjDecompress2(tjDecompressHandle,
                                 sourceJpegBuffer,
                                 sourceJpegBufferSize,
                                 temp,
                                 destWidth,
                                 *bytesPerRow,
                                 destHeight,
                                 TJPF_RGBX,
                                 TJ_FASTUPSAMPLE);
    if(res < 0) 
        retValue = -1;
        goto cleanup;
     

    *dataBuffer = temp;
    temp = NULL;

    cleanup:
    if(file) 
        fclose(file);
    
    if(sourceJpegBuffer) 
        tjFree(sourceJpegBuffer);
    
    if(tjDecompressHandle) 
        tjDestroy(tjDecompressHandle);
    
    if(temp)       
        tjFree(temp);
    

    return retValue;




int createPreviewPyramidUsingCustomScaling(char* srcImgPath, char* destDir, char* destFileName, tSize orginalImgSize, int maxStep) 
    int retValue = 1;
    int res = 1;
    int success = 0;
    int loopStep = 0;
    tSize previewSize;

    long bytesPerRow;
    long oldBytesPerRow = 0;

    unsigned char* sourceDataBuffer = NULL;
    long sourceDataBufferSize = 0;

    unsigned char* destinationDataBuffer = NULL;
    long destinationDataBufferSize = 0;

    unsigned char* buf1 = NULL;
    unsigned char* buf2 = NULL;
    long workBufSize = 0;

    void* sourceRow = NULL;
    void* targetRow = NULL;

    char* destFilePrefix = "sample_";
    char* fooDestName;
    char* fooStrBuilder;


    tSize orginSizeTmp;
    orginSizeTmp.width = orginalImgSize.width;
    orginSizeTmp.height = orginalImgSize.height;

    previewSize = imageSizeForStep(1, &orginSizeTmp);
    long width = (long)previewSize.width;
    long height = (long)previewSize.height;


    int errorCode = 0;  
    errorCode = createBitmapBufferFromFile(srcImgPath, previewSize, &bytesPerRow, &sourceDataBufferSize, &buf1);
    if(errorCode != 1)     
        retValue = errorCode;
        goto cleanup;
     

    workBufSize = sourceDataBufferSize; 
    buf2 = tjAlloc(workBufSize);
    if(buf2 == NULL)       
        retValue = -1;
        goto cleanup;
     else 
        memset(buf2,0,workBufSize); 
    

    sourceDataBuffer = buf1;

    fooDestName = strcat(destDir, destFilePrefix);
    fooStrBuilder = strcat(fooDestName, "1_");
    fooDestName = strcat(fooStrBuilder, destFileName);    


    success = saveBitmapBufferImage(sourceDataBuffer, &previewSize, fooDestName, IMAGE_COMPRESS_QUALITY);
    if(success <= 0) 
        retValue = -1;
        goto cleanup;
     


    cleanup:
    if(sourceDataBuffer)       
        tjFree(sourceDataBuffer);
    
    if(destinationDataBuffer)      
        tjFree(destinationDataBuffer);
    

    return retValue;

开始压缩的Java部分..

private void invokeCompress(ArrayList<PictureItem> picturesToCompress) 
    if(picturesToCompress != null && picturesToCompress.size() > 0) 
        for(int i=0; i<picturesToCompress.size(); i++) 
            String srcPicturePath = picturesToCompress.get(i).getSrcImg();
            String destDir = "/storage/emulated/0/1_TEST_FOLDER/";
            String destFileName = getRandomString(4)+".jpg";

            BitmapFactory.Options options = new BitmapFactory.Options();
            options.inJustDecodeBounds = true;
            BitmapFactory.decodeFile(srcPicturePath, options);

            try 
                ndkCall.compress(srcPicturePath, destDir, destFileName, options.outWidth, options.outHeight);
             catch(Exception e) 
                e.printStackTrace();
            
        
    

我做错了什么???

非常感谢!!

附:抱歉英语不好!

【问题讨论】:

本机代码...您是否尝试使用sbrk(incrementcount) 来增加您的堆? 试过这个,但也没有用。 【参考方案1】:

对我来说看起来不错。您是否确保 libjpegturbo 源代码有效且稳定?

【讨论】:

【参考方案2】:

您的代码看起来不错,写得很好并且可以处理错误。但据我所知,问题可能是外部库中的错误,您可以通过卸载(或 uninit)以及重新加载和重新初始化库然后对下一个文件进行编码来测试它。

您也可以尝试使用旧版本的 lib,看看它是否有效。

第二个问题可能是指针在释放后未设置为 NULL 并开始将坏数据写入内存。您应该使用 valgrind 之类的工具,或者将所有 malloc 映射到它自己的页面中,并用只读内存页面填充它们(参见:mprotect),然后当您在错误页面中写入时,程序将出现 segfail 并且您会看到问题。

我不是这个库的专家,但请仔细检查文档和示例代码。也许需要在两个文件之间或每个文件之后调用一些东西,而第一个工作只是纯粹的运气。

另外:尝试更改您编码的文件的顺序,也许会有所帮助。

【讨论】:

以上是关于使用 libjpegturbo 压缩批量图片时出现奇怪的结果的主要内容,如果未能解决你的问题,请参考以下文章

求PNGoo图片批量压缩处理工具绿色版软件

图片批量压缩工具Caesium Portable便携版

怎么批量压缩png图片保持图片质量?

这是一款可以批量压缩图片的软件

异想家博客图片批量压缩程序

js控制图片onload 批量设置内容下所有图片的等比例压缩