手把手教你在Android中使用bsdiff实现文件增量更新 (超详细)

Posted 2021-12-15 XeonYu

全量更新和增量更新

在android开发中，版本更新是一个非常常见的需求。目前更新主要分为两种方式，全量更新、增量更新

如下图,分别是酷安和应用宝两个商店的更新页面：

可以明显的看到
酷安的更新方式是全量更新，即每次下载全量的新版本文件。
应用宝的更新方式是增量更新，下载新文件就旧文件的差异部分，然后跟就文件做合并即可。

增量更新的好处很明显

仅需要下载少量的文件即可完成更新，理论上如果是基于之前文件基础做改动的话，那么文件越大，优势越明显。

例如上图中的 PICOOC,如果全量更新的话需要下载92M左右的文件，增量更新的话只需要下载26M的文件。

---

bsdiff 实现增量更新

网上查了一些资料，目前比较主流的方案是使用 bsdiff 实现文件的差分与合并。

官网：http://www.daemonology.net/bsdiff/

大体流程如下：

新文件和旧文件对比生成补丁文件：

旧文件和补丁文件合并成新文件：

出补丁包的过程肯定是在服务端进行的，Android端比较简单，只负责拿到补丁包然后跟本地文件做合并，校验下合并文件的MD5是否跟新包MD5一致即可。

---

Android端bsdiff实现

bsdiff 官网介绍的时候提到bsdiff用到了 bzip2 。

所以我们需要下载bsdiff和bzip2 源码。

bsdiff: http://www.daemonology.net/bsdiff/bsdiff-4.3.tar.gz

bzip2: https://www.sourceware.org/bzip2/downloads.html

网络不好的可以从Github上自取、已经处理好了，直接用就行。源码也放上去了，想自己处理的按照下文做就行。

Github地址 ：https://github.com/yuzhiqiang1993/XeonDiff

废话不多说，开始干

首先新建一个module，bsdiff是用C语言实现的，我们需要用到JNI。右键新建module，选择 Android Native Library, 名称随意填

会生成如下文件：

然后把下载解压后的 bzip文件夹以及bsdiff.c和bspatch.c 拷贝到cpp 目录下
如下：

为了方便区分，改下名字，把baip2-1.0.8的包名也改成合法的，以免出问题。
如下

然后先在 CMakeLists 把bsdiff和bspatch源文件添加进去

这个时候返回去查看 bsdiff.c 和 bspatch.c 文件会提示报错，

不用管，直接删掉报错代码，然后在下方报红的地方根据提示导入头文件

两个文件操作一样，这样就没报错了。

然后就是去声明 native 方法了。

先去瞅一眼bsdiff和bspatch的main 方法

以bsdiff的main方法为例：

首先是接收两个参数，第一个是数值，值必须是4，第二个是个数组，数组中第一个参数没啥用，就是报错的时候提示用的，第二个参数是旧文件地址，第三个参数是新文件地址，第四个参数是补丁文件地址，看注释也能看明白。

方法执行完成后返回0

bspatch的main方法类似，自己看一下就行。

知道传什么参数后就好办了，下一步就是声明native方法即可。

如下

package com.xeon.bsdiff.utils

/**
 * @description: BsDiff工具类
 * @author : yuzhiqiang ([e-mail])
 * @date   : 2021/11/16
 * @time   : 22:12
 */

object XeonBsDiffUtil 

    init 
        System.loadLibrary("xeon_bsdiff")
    

    /**
     * 生成补丁包
     * @param newFilePath String 新文件的地址
     * @param oldFilePath String  旧文件的地址
     * @param patchFilePath String  生成的补丁文件地址
     * @return Int
     */
    external fun diff(newFilePath: String, oldFilePath: String, patchFilePath: String): Int
    /**
     * 合并差分包
     * @param oldFilePath String 旧文件地址
     * @param patchFilePath String 补丁文件地址
     * @param combineFilePath String 合并后的新文件地址
     * @return Int
     */
    external fun patch(oldFilePath: String, patchFilePath: String, combineFilePath: String): Int

然后根据提示在xeon_bsdiff.cpp文件中生成对应方法：

extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_XeonBsDiffUtil_diff(JNIEnv *env, jobject thiz, jstring new_file_path, jstring old_file_path, jstring patch_file_path) 



extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_XeonBsDiffUtil_patch(JNIEnv *env, jobject thiz, jstring old_file_path, jstring patch_file_path, jstring combine_file_path) 

下面就是实现这两个方法就好了。

首先是修改 bsdiff 和 bspatch 的 main 方法名称，方便待会儿导入

示例：

然后更改xeon_bsdiff.cpp文件代码

如下：

#include <jni.h>

/*声明要调用的方法*/
extern "C" 
extern int bsdiff_main(int argc, char *argv[]);
extern int bspatch_main(int argc, char *argv[]);




/**
 * 生成补丁文件
 */
extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_utils_XeonBsDiffUtil_diff(JNIEnv *env, jobject thiz, jstring new_file_path, jstring old_file_path, jstring patch_file_path) 

    const char *newFile = env->GetStringUTFChars(new_file_path, nullptr);
    const char *oldFile = env->GetStringUTFChars(old_file_path, nullptr);
    const char *patchFile = env->GetStringUTFChars(patch_file_path, nullptr);

    char *argv[] = "xeon_bs_diff", const_cast<char *>(oldFile), const_cast<char *>(newFile),
                    const_cast<char *>(patchFile);
    /* 调用bsDiff的main方法，*/
    int res = bsdiff_main(4, argv);
    env->ReleaseStringUTFChars(old_file_path, oldFile);
    env->ReleaseStringUTFChars(new_file_path, newFile);
    env->ReleaseStringUTFChars(patch_file_path, patchFile);
    return res;

/**
 * 合并补丁文件
 */
extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_utils_XeonBsDiffUtil_patch(JNIEnv *env, jobject thiz, jstring old_file_path, jstring patch_file_path, jstring combine_file_path) 
    const char *oldFile = env->GetStringUTFChars(old_file_path, nullptr);
    const char *patchFile = env->GetStringUTFChars(patch_file_path, nullptr);
    const char *combineFile = env->GetStringUTFChars(combine_file_path, nullptr);
    char *argv[] = "xeon_bs_patch", const_cast<char *>(oldFile), const_cast<char *>(combineFile),
                    const_cast<char *>(patchFile);
    /*调bspatch的main方法*/
    int res = bspatch_main(4, argv);
    env->ReleaseStringUTFChars(old_file_path, oldFile);
    env->ReleaseStringUTFChars(combine_file_path, combineFile);
    env->ReleaseStringUTFChars(patch_file_path, patchFile);
    return res;

至此，代码已经编写完成了。

此时如果你直接运行App的话，应该提示如下错误：

提示找不到bzip相关的引用。
这个时候需要去CMakeList中导入一下bzip2里的.c源文件

如下

关键代码;

#导入bzip2
include_directories($CMAKE_SOURCE_DIR/bzip2)
#列出bzip2目录下所有.c 源文件 赋值给bzip2
file(GLOB bzip2 bzip2/*.c)

然后在add_library中添加.c源文件

add_library(
        # Sets the name of the library.
        xeon_bsdiff

        # Sets the library as a shared library.
        SHARED

        # Provides a relative path to your source file(s).
        $bzip2
        bsdiff.c
        bspatch.c
        xeon_bsdiff.cpp
)

然后再运行，应该会提示如下报错：

multiple definition of `main’
表示有多个main方法的定义，并给出了文件名。这个简单，点击指定文件名把main方法改一下即可。

例如：
把bzip2recover 中的main改成 bzip2recover_main

其他提示的文件同理

都改完之后应该就没什么报错了，可以正常运行了。

至此，我们的diff module 的所有代码就ok了。

---

下面就是正常的业务编写了，不浪费篇幅，直接贴代码了：

package com.xeon.xeonbsdiff

import androidx.lifecycle.*
import com.blankj.utilcode.util.*
import com.xeon.bsdiff.utils.XeonBsDiffUtil
import kotlinx.coroutines.*
import java.io.File
import kotlin.system.measureTimeMillis


/**
 * @description: MainViewModel
 * @author : yuzhiqiang ([e-mail])
 * @date   : 2021/11/16
 * @time   : 22:20
 */

class MainViewModel : ViewModel() 

    /*异常处理*/
    private val exceptionHandler = CoroutineExceptionHandler  coroutineContext, throwable ->
        LogUtils.e("异常了:$throwable.localizedMessage")
        throwable.printStackTrace()
    

    /*文件后缀名*/
    private val suffix = "apk"
    /*旧文件*/
    private val oldFile = File(PathUtils.getExternalAppFilesPath(), "old.$suffix")
    /*新文件*/
    private val newFile = File(PathUtils.getExternalAppFilesPath(), "new.$suffix")
    /*补丁文件*/
    private val patchFile = File(PathUtils.getExternalAppFilesPath(), "patch.$suffix")
    /*合并后的文件*/
    private val combineFile = File(PathUtils.getExternalAppFilesPath(), "combine.$suffix")

    /*生成补丁文件*/
    fun fileDiff() 
        viewModelScope.launch(exceptionHandler) 

            val measureTimeMillis = measureTimeMillis 
                withContext(Dispatchers.IO) 
                    if (!oldFile.exists() || !newFile.exists()) 
                        ToastUtils.showShort("对比包缺失")
                        return@withContext
                    
                    /*生成差分包*/
                    XeonBsDiffUtil.diff(newFile.absolutePath, oldFile.absolutePath, patchFile.absolutePath)
                
            

            LogUtils.i("生成补丁文件耗时:$measureTimeMillis")
            LogUtils.i("oldFileSize:$FileUtils.getSize(oldFile)")
            LogUtils.i("newFileSize:$FileUtils.getSize(newFile)")
            LogUtils.i("patchFileSize:$FileUtils.getSize(patchFile)")

        

    

    /*合并补丁文件*/
    fun filePatch() 
        viewModelScope.launch(exceptionHandler) 
            val measureTimeMillis = measureTimeMillis 
                withContext(Dispatchers.IO) 
                    LogUtils.e(PathUtils.getExternalAppFilesPath())
                    if (!oldFile.exists() || !patchFile.exists()) 
                        ToastUtils.showShort("补丁文件或旧文件缺失")
                        return@withContext
                    
                    XeonBsDiffUtil.patch(oldFile.absolutePath, patchFile.absolutePath, combineFile.absolutePath)
                
            
            LogUtils.i("合并补丁文件耗时:$measureTimeMillis")
            LogUtils.i("newFile MD5:$FileUtils.getFileMD5ToString(newFile)")
            LogUtils.i("combineFile MD5:$FileUtils.getFileMD5ToString(combineFile)")

        

    

然后找个文件，在之前文件基础上改改就可以试验一下了。

我这边是随便找了两个相差几个版本的apk，是自己比较喜欢用的一款开源阅读软件，贼好用。

这里直接上运行后结果了，如下:

生成补丁文件的Log:

合并补丁文件Log:

文件截图：

可以看到，新文件和合并后的文件MD5值一致，至此，我们就实现了文件的增量更新操作。

因为bsdiff是基于二进制的处理，所以不仅仅是apk可以实现增量更新，理论上何文件都可以使用，例如 图片，文本文件等等

注意，打出来的so文件在这个目录下。

好了，这样我们就在Android上实现了文件的增量更新，实际开发中，Android要做的也比较简单，只需要下载补丁文件做合并操作即可。大多数逻辑还是在后端的。

以下是实际开发过程中可能需要注意的问题：

• 生成补丁包是非常耗时的操作，不过绝大多数情况下是在服务端进行的，相对来讲合并文件就快很多。
• 理论上每出一个新版本的文件，都要跟之前所有版本的旧文件做diff操作，需要维护很多条补丁包记录。
• 如果新文件和旧文件相差太大的话，搞不好还会出现补丁文件比新文件都大的情况，这种就得不偿失了.
• 如果本身文件不大的话,感觉没什么必要去走增量更新，走增量更新反而会增加后端的维护成本以及增加出错的风险，这个需要根据实际的业务场景去考虑。

---

如果你觉得本文对你有帮助，麻烦动动手指顶一下，可以帮助到更多的开发者，如果文中有什么错误的地方，还望指正，转载请注明转自喻志强的博客 ，谢谢！