如何使用 cURL 从文本文件下载 URL 列表并更改文件名？
Posted
技术标签:
【中文标题】如何使用 cURL 从文本文件下载 URL 列表并更改文件名？【英文标题】：How can I use cURL to download a list of URLs from a text file and change the file name? 【发布时间】：2021-10-25 03:37:15 【问题描述】：我在一个名为 urls.txt 的文件中有一个 URL 列表。每行包含一个 URL。 （见下面的例子）
https://website.com/media/r/x/3/rx34aw3/normal.jpg
https://website.com/media/q/3/c/q3cciw3/normal.jpg
https://website.com/media/f/7/e/f7eciw3/normal.jpg
每个 URL 都指向一个图像文件。 (normal.jpg) 我想使用 cURL 下载所有图像文件，并让每个文件都有一个单独的名称。
以下工作，但是因为每个图像在下载时都被命名为相同（normal.jpg），每个图像都会覆盖前一个。
xargs -n 1 curl -O < urls.txt
短期解决方法：我想在当前名称后附加一个数字，以便在下载它们时不会覆盖前一个。
将下载为：
normal01.jpg
normal02.jpg
normal03.jpg
长期解决方案：我想在文件中的 URL 后面使用一个单独的名称来命名每个图像。
https://website.com/media/r/x/3/rx34aw3/normal.jpg 2435955711
https://website.com/media/q/3/c/q3cciw3/normal.jpg 2445739418
https://website.com/media/f/7/e/f7eciw3/normal.jpg 2445741718
将下载为：
2435955711.jpg
2445739418.jpg
2445741718.jpg
【问题讨论】：
【参考方案1】：我建议运行以下小脚本。
这包含您的所有网址：
$ cat url_images
https://website.com/media/r/x/3/rx34aw3/normal.jpg
https://website.com/media/q/3/c/q3cciw3/normal.jpg
https://website.com/media/f/7/e/f7eciw3/normal.jpg
这将为 url_images 文件中的每一行创建一个 for 循环，并根据 URL 名称生成名称。
URL: https://website.com/media/r/x/3/rx34aw3/normal.jpg
File name: website.com_media_r_x_3_rx34aw3_normal.jpg
$ for URL in $(cat url_images); do xFNAME="$(echo $URL | sed 's/^https*:\/\///' | tr '/' '_')"; curl $URL -o $xFNAME; done
最后你会得到这些文件：
website.com_media_q_3_c_q3cciw3_normal.jpg
website.com_media_f_7_e_f7eciw3_normal.jpg
website.com_media_r_x_3_rx34aw3_normal.jpg
【讨论】：
以上是关于如何使用 cURL 从文本文件下载 URL 列表并更改文件名？的主要内容，如果未能解决你的问题，请参考以下文章
sh bash脚本运行循环以从文件中读取随机URL和用户代理，并使用cURL运行请求。这可以从任何系统运行