使用 curl 下载多个 URL 而无需重复参数
Posted
技术标签:
【中文标题】使用 curl 下载多个 URL 而无需重复参数【英文标题】：Download multiple URLs with curl without repeating the arguments 【发布时间】：2021-12-25 15:05:56 【问题描述】：我正在尝试使用 curls 下载多个 URL：
user@PC:~$ curl -LOJ "https://example.com/foo.jpg" "https://example.com/bar.jpg"
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 445 100 445 0 0 517 0 --:--:-- --:--:-- --:--:-- 518
<?xml version="1.0" encoding="iso-8859-1"?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
<title>404 - Not Found</title>
</head>
<body>
<h1>404 - Not Found</h1>
<script type="text/javascript" src="//wpc.75674.betacdn.net/0075674/www/ec_tpm_bcon.js"></script>
</body>
</html>
user@PC:~$ ls foo.jpg
foo.jpg
user@PC:~$ ls bar.jpg
ls: cannot access 'bar.jpg': No such file or directory
但它只将参数 (-LOJ) 应用于第一个 URL，因此只下载第一个文件。
如果我为每个 URL 重复参数，则不再出现此问题，并且两个文件都已下载：
user@PC:~$ curl -LOJ "https://example.com/foo.jpg" -LOJ "https://example.com/bar.jpg"
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 445 100 445 0 0 481 0 --:--:-- --:--:-- --:--:-- 481
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 445 100 445 0 0 1534 0 --:--:-- --:--:-- --:--:-- 1539
user@PC:~$ ls foo.jpg
foo.jpg
user@PC:~$ ls bar.jpg
bar.jpg
那么有没有办法让参数应用于传递给 curl 的所有 URL，而不必为每个 URL 重复它？
【问题讨论】：
【参考方案1】：你需要使用-n1，点赞
echo "https://example.com/foo.jpg"; echo "https://example.com/bar.jpg"; | xargs -n1 curl -LOJ
告诉 xargs 为每个 url 启动一个 curl，而不是运行一个带有两个 url 作为参数的 curl。
【讨论】：
【参考方案2】：那么有没有办法让参数应用于传递给 curl 的所有 URL，而不必为每个 URL 重复它？
如果你有 curl v7.19.0 或更高版本，有--remote-name-all，以避免重复-O。 -L 和 -J 只需要输入一次。
如果没有，你可以使用make-url-list | sed 's/^/-O /' | xargs curl -JL
如果您有wget，它在--content-disposition 和--trust-server-names 中具有与-J 和-O 类似的选项，适用于所有给定的URL。
【讨论】：
以上是关于使用 curl 下载多个 URL 而无需重复参数的主要内容，如果未能解决你的问题，请参考以下文章
有没有办法从多个 URL 生成 Web 查询，而无需在 Excel 中对值进行硬编码？
R语言使用caret包构建GBM模型：在模型最优参数已知的情况下，拟合整个训练集，而无需进行任何重采样或参数调优
如何在 java Servlet 过滤器中更改传入 URL 并将请求重定向到新 URL [重复]