Python rclone检查两个文件夹的差异

Posted 2023-02-19

【中文标题】Python rclone检查两个文件夹的差异

【英文标题】：Python rclone check difference of two folders

【发布时间】：2021-01-26 16:43:50

【问题描述】：

我正在尝试编写一个用于使用 rclone 上传到 gdrive 的自动脚本。 我不会只在这个检查语句中查看所有代码，rclone 命令检查本地文件夹和挂载文件夹中的文件，如下所示： rclone 检查“本地文件夹”“挂载文件夹”--忽略现有的--onlyoneway 它会在终端中返回一些无法存储在文本文件中的数据，或者我现在不知道如何存储。

def upload_check():
    print(" check if all files are uploaded ")
    global Error_upload
    if :#I stuck here, rclone check and return true or false if all files are uploaded by name and size
        Error_upload = True
        return Error_upload
        print("Not uploaded ")#---------------------------
    else:# all good
        Error_upload = False
        return Error_upload
        print("all files are online")#---------------------------

我的问题是如何正确检查两个目录，如果它们内部的所有文件和文件大小都相同并返回布尔值 True 或 False？

【问题讨论】：

您可能需要使用rclone 的Python 库之一，例如python-rclone。一般来说，Python 通过 PyPi 包服务器为许多功能提供了一个庞大的生态系统。

【参考方案1】：

几天后我想出了这个复杂的解决方案：

import shutil
import os
local = "Local/"
destination = "uploaded/"
checkfile = "logfile.txt"
def upload_check():
    print(" check if all files are uploaded ")
    global Error_upload 
    os.system("rclone check 'Local' 'gdrive' --one-way  -vv -P --combined logfile.txt")
    destination = "uploaded/"
    checkfile = "logfile.txt"
    search = "=" # move from the folder successfuly uplouded files

    list_of_files = []
    lines = []
    folders = []
    uniq_folder_list = []
    shutil_l = []
    shutil_f = []
    
    for line in open(checkfile, "r"):
        if search in line:
            list_of_files = line.split("/")[1]
            lines.append(list_of_files.rstrip())
            list_of_folders = line.split(" ")[1].split("/")[0]
            folders.append(list_of_folders.rstrip())
    [uniq_folder_list.append(n) for n in folders if n not in uniq_folder_list] 
    for new_folder in uniq_folder_list:
        if not os.path.exists(destination + new_folder):
            os.makedirs(destination + new_folder)
    for l, f in zip(lines, folders):
        l1 = (local + f + "/" + l)
        f1 = (destination + f)
        shutil_l.append(l1.rstrip())
        shutil_f.append(f1.rstrip())
    for src, dest in zip(shutil_l, shutil_f):
        shutil.move(src,dest)

    os.system("rclone check 'Local' 'gdrive' --one-way  -vv -P --combined logfile.txt")
    with open(checkfile, 'r') as read_obj:
        one_char = read_obj.read(1)
        if not one_char:
            Error_upload = False
            return Error_upload
            print("all files are online")
        else:
            Error_upload = True
            return Error_upload
            print("Not uploaded ")

首先我创建了一些文件，其中一些将它们上传到驱动器，还有一个损坏的文件。比这个脚本做的工作。 logfile.txt 文件包含使用 rclone 生成的列表

rclone check 'Local' 'gdrive' --one-way -vv -P --combined logfile.txt

这个 bash 命令会生成一个日志文件：

+ 20_10_10/IMG_1301-00006.jpg
+ 20_10_10/IMG_1640-00007.jpg
+ 20_10_10/IMG_1640-00008.jpg
+ 20_10_10/IMG_1640-00009.jpg
+ 20_10_10/IMG_1640-00010.jpg
+ 20_10_10/IMG_1640-00011.jpg #missing on remote
* 20_10_10/IMG_1301-00004.jpg #corrupted file
= 20_10_10/IMG_1301-00005.jpg
= 20_10_10/IMG_1301-00003.jpg
= 20_10_10/IMG_1301-00001.jpg
= 20_10_09/IMG_2145-00028.jpg
= 20_10_10/IMG_1301-00002.jpg

更多信息rclone check help 在rclone上。带有“=”的文件在本地和远程目标上是相同的，因此我们希望将它们从源文件夹移动到上传的文件夹。

脚本再次运行，如果读取功能无法读取任何内容，则所有文件都在线，上传功能不需要再次运行。但是由于有未上传的文件和损坏的文件（如果上传时连接丢失，可能会发生这种情况），脚本将运行上传函数或由带有变量“Error_upload”的 if 函数触发的任何其他函数

仅供参考：

if Error_upload == True:
   print("All files are on the cloud")
else:
   upload() #your upload function
   upload_check()
    

我当然知道这段代码可以更简单和改进。