从CSV文件中读取jpg图片的URL地址并多线程批量下载

Posted 2020-08-18

很多时候，我们的网站上传图片时并没有根据内容进行文件夹分类，甚至会直接存储到阿里云的OSS或是七牛云等云存储上。这样，当我们需要打包图片时，就需要从数据库找寻分类图片，通过CURL进行下载。我最近刚刚完成了一个这样的任务，觉得会比较常用，就把程序放到了github上分享给大家，希望大家能够喜欢。

• download_images_by_csv

这个程序只有一个文件，对环境没有太大苛求，windows和linux都能用，是不是线程安全无所谓，也没有什么特别的扩展需要安装。
使用的步骤是这样的：

• 首先，把你数据库的图片字段导出成csv文件
• 然后，命令窗口执行代码：

php run.php -f yourcsv.csv

• 如果你的字段里没有网址信息，比如http://yoursite.com/images/20... 在字段里只记录为20180101/14904.jpg，那么应该执行：

php run.php -f yourcsv.csv -p http://yoursite.com/images

这样就可以了，你的电脑上会多一个文件夹名叫dir_yourcsv.csv，里面会按字段分文件保存下载的图片。
并且，这个程序是多线程下载的，所以下载速度应该会比较快，我自己测试的速度，大约是10秒左右下载100个图片，当然这也与你的网速和图片大小有关。
就这么简单，没啥好说的了。有啥需要改的，可以在这篇文章下留言，也可以直接去github上提。

原文地址：https://segmentfault.com/a/1190000016012459