关于PaddlePaddle飞桨Alstudio开发平台上传文件大小限制的解决方法

Posted 2023-03-09 是你呀星途

关于Alstudio上传文件大小限制解决方案

• 一. 需求分析
• 二. 上传文件限制
• 三.无法上传的情况
• 四. 官方给定解决方案
• 五. 常用解决方案及详细步骤
• • 1. Linux下载文件
  • 2. 分包下载文件
  • • • 方法一：
      • 方法二：
  • 3. 挂载数据集(官方指定最佳方案)

前言：

一般而言大部分单个模型文件的大小一般不会超过150M
所以最常用的解决办法就是——一个一个文件上传（文件数多的话确实挺麻烦的😂）

*想直接解决问题的跳转四/五即可*

---

一. 需求分析

平时使用Alstudio(&BML)执行后台训练模型时得到的输出文件可能需要重新载入Alstudio(&BML)中执行相关测试等

具体可能有如下需求：

一.针对该次训练模型微调预测文件
二.测试输出文件的可执行性
三.测试输出文件(模型)的精度
四.选择最适模型参数(依据已迭代模型参数)
五.将模型文件在平台上执行动静转换
六.可视化处理模型预测进程
…

---

二. 上传文件限制

Alstudio(&BML)开发平台具有文件上传大小不超过150M限制
当文件大小超过150M时文件无法上传

---

三.无法上传的情况

一般有以下几种可能：

一.文件大小超出限制
二.需要上传的文件位于压缩包中
三.上传文件所在文件夹未被压缩

---

四. 官方给定解决方案

PaddlePaddle官方疑问解答

---

五. 常用解决方案及详细步骤

注：1、2方式泛用性低(不适用于过大文件且容易出错)

1. Linux下载文件

网盘以百度网盘为例，先将压缩文件传输到百度网盘中
设置分享链接获取下载地址，通过wget指令将所需文件下载至环境中

Alstudio(&BML)中包含了Linux子系统，执行Linux系统命令只需在命令前加上!即可
Linux中从网页下载文件的命令以wget为主

其中常用：
wget "下载链接"
wget -c：接中断下载：继续执行被中断下载的任务
wget -O：文件名指定：将后面所指定的文件链接
wget -b：后台下载
--referer=URL	在HTTP请求中包含referer头信息
（注意大小写-o与-O执行命令不同）

其中以
wget -c --referer=分享链接 -O Compression.zip "下载地址"
(下载地址可通过网页复制下载链接获取)
作为实际操作命令

示例：

wget -c --referer="https://pan.baidu.com/s/15oVaG1FymOrUaXNO2RwqzA?pwd=0000" -O Piano.zip "https://allall02.baidupcs.com/file/edaa415f5pd46d4b6e8fb1cb0b323e83?bkt=en-6766f9da69592c12767dca320c906e3f2702b0c47aaf12f36cbb3942b66a09e2b3b1c083d9e7179ad76b3ead5051f26d20ac6cfcb67085e52e4d55ea444bfe52&fid=1101880248333-250528-301584255541230&time=1678027383&sign=FDTAXUbGERLQlBHSKfWqiu-DCb740ccc5511e5e8fedcff06b081203-14jtHZv0AspvsrdLa%2FM7F30lzVk%3D&to=80&size=339711&sta_dx=339711&sta_cs=0&sta_ft=png&sta_ct=7&sta_mt=7&fm2=MH%2CXian%2CAnywhere%2C%2C%E6%B1%9F%E8%8B%8F%2Ccnc&ctime=1616467459&mtime=1616467459&resv0=-1&resv1=0&resv2=rlim&resv3=5&resv4=339711&vuk=1101880248333&iv=0&htype=&randtype=&tkbind_id=0&newver=1&newfm=1&secfm=1&flow_ver=3&pkey=en-80daeca400013d22285fb5edbd9d4bcd8b5f3f9a5fc2fca29ba22ee6cc0f2b60b3404ea1e2891c53c2aaa711c5a49c993fe8487e7cb86ac1305a5e1275657320&sl=76480590&expires=8h&rt=sh&r=567095317&vbdid=227022733&fin=%E4%B8%8D%E8%83%BD%E8%AF%B4%E7%9A%84%E7%A7%98%E5%AF%86-01.png&fn=%E4%B8%8D%E8%83%BD%E8%AF%B4%E7%9A%84%E7%A7%98%E5%AF%86-01.png&rtype=1&dp-logid=330179830248136560&dp-callid=0.1&hps=1&tsl=80&csl=80&fsl=-1&csign=bTtTc%2BUtSYj0clh2b27K%2B9P0nZg%3D&so=0&ut=6&uter=4&serv=0&uc=3134535110&ti=497b2742088ef3a390c3c29b910d7ef04b7173ce936881da&hflag=30&from_type=1&adg=c_863551cc63592633d55e840f525132d3&reqlabel=250528_f_0d379c25691f1db02fd2dff786ffd19a_-1_e575750a3c4aa01749b9e79faa454520&by=themis&resvsflag=1-0-0-1-1-1"

2. 分包下载文件

思路比较简单
将需要下载的文件分包压缩，每包不超过150M即可
压缩方式可采用Win命令行或软件压缩，此处不过多赘述

将文件上传至Alstudio(&BML)后在网页上执行如下命令
（此处以zip文件为例，对于其他格式文件使用对应的合成指令和解压缩指令即可）

合包指令有几种
Ⅰ. zip分包压缩
(最常见压缩方式)
Ⅱ. 7z压缩
(不推荐，需要额外装载其他命令包)
Ⅲ. tar压缩等

方法一：

（目前没成功过）

cat指令
cat <压缩文件名>.* > <合成压缩文件名>.zip
示例：
cat yolo_test.* > yolo_test_01.zip
表示将以yolo_test为主文件名的相关文件合并为一个文件，合并文件名为yolo_test_01.zip

注意：
①合成的包文件名不能和分包中的任何一个文件名重合，否则会出现下述错误

②这种方式仍可以解压缩出文件包，文件会出现缺失

不成功的原因也很简单，cat指令是对文件合并为执行逻辑的，zip合并指令是专门对于zip压缩包执行的。两者执行逻辑完全不同。

方法二：

（针对zip类格式可行）

zip分包打包指令
zip -s 0 <压缩文件名>.zip --out <输出文件名>.zip
示例：
zip -s 0 yolo_test.zip --out yolo_test_01.zip

---

3. 挂载数据集(官方指定最佳方案)

最实在的方法，对于每一个运行环境都可以挂载超过一个数据集
故除刚需数据集外可将需要载入的模型作为文件打包挂载在数据集文件夹下(无需分包)
加载完成后在环境中解压即可

①创建数据集

也可在项目中修改项目添加创建数据集

②将创建好的数据集添加至环境中并解压

添加成功后在数据集界面会出现刚添加成功的数据集，解压至环境中即可

---

---

希望能够帮到迷途之中的你，知识有限，如有学术错误请及时指正，感谢大家的阅读

(^^)／▽ ▽＼(^^)