python如何批量抓取很多url的信息 求大佬 代码

Posted 2023-04-09

我学习的是requests库的内容 但是关于get请求只能请求一个url ？

可将很多url放在一个列表中，然后用循环语句遍历。代码如下：
urls=[url1,url2,url3]
for u in urls:
requests.get(u)
txt=r.text追问

大佬您好
根据您的方法测试了一下 ，还是只能获取最前面的那个url，后面的几个被无视了，这个该怎么办，求教

追答

ptyhon代码需要缩进的，你肯定直接粘贴没有体现缩进，所以循环效果没有显现出来

参考技术A 你可以循环去取url，然后再请求返回结果，也可以用多线程的方式去取，把url放一个列表里面，再循环get

清华大佬教你用Python 批量加水印只需一行命令

 

必备水印添加工具以保护知识产权，网上有许多的在线下载的水印添加工具，但他们或多或少都存在以下问题：

1. 在线工具需要将图片上传到对方服务器，信息不安全。

2. 很多工具不具备批量处理功能。

3. 很多工具自定义的功能太少，如水印透明度，字体等。

4. 操作繁琐。

现在只要你会使用命令，我们就能教大家怎么使用Python超级简单地为图片添加水印，而且具备以下特点：

1. 支持自定义水印字体。

2. 支持自定义文本内容、颜色。

3. 支持批量处理。

4. 支持设定水印与水印之间的空间。

5. 支持设定水印字体大小。

6. 支持设定透明度。

7. 自己的代码，安全。

我们需要使用的是2Dou的开源项目：
https://github.com/2Dou/watermarker
非常有用的开源项目，感谢原作者。

有三种方法可以下载这个项目：

1. 如果你的网络可以上github，你可以进入该页面，点击clone or download 然后点击Download Zip.

2. 如果你有下载git，可以用cmd/terminal进入你想放置的文件夹，输入命令：

git clone https://github.com/2Dou/watermarker.git

3. 如果你都没有，可以直接在 Python实用宝典 公众号后台回复 水印 下载本文完整修复版代码。

下载解压到你想要放置的任意一个文件夹下。路径中最好不要带中文名，如果你是用前两种方法下载的，而且是windows系统用户，注意要把该项目的字体文件名改为英文，另外marker.py里也有一个地方需要改动，如下：

 

将font文件夹里的 青鸟华光简琥珀.ttf 改为 bird.ttf， 什么名字不重要，重点是不要用中文名，否则pillow会无法使用改文件。

注意marker.py文件里的第十行要改成相应的名字，与font文件夹下的字体文件名相对应。

刚刚我们提到了pillow这个库，这个包的运行需要使用到这个第三方库，它是专门用来处理图像的，打开CMD/Terminal, 输入以下命令即可安装：

pip install pillow

安装完毕后，我们可以试一下！最普通的例子如下，将你所需要加水印的图片放在该项目的input文件夹下，然后在cmd/Terminal中进入你存放该项目的文件夹输入以下命令：

python marker.py -f ./input/baby.jpg -m python实用宝典

 

各个参数的含义如下：

-f 文件路径：是你的图片的路径
-m 文本内容：是你想要打的水印的内容

参数不设置则为默认值，运行完毕后会在output文件夹下出现相应的加了水印的图片，效果如下：

添加水印

默认水印的颜色是...屎黄色的？

但是没关系，我们可以修改它的颜色，添加-c参数即可！（参数默认格式为 #号后加6位16进制），利用图像工具，我们可以找到你喜欢的颜色的值：

然后我们输入命令：

python marker.py -f ./input/baby.jpg -m python实用宝典 -c #232862

 

成功了！看看效果：

修改水印颜色

恩！变好看了，但是好像水印的颜色有点深，我们可以修改一下透明度让它变浅一点，默认的透明度为0.15，可以让这个值变得更小，设定opacity参数：

python marker.py -f ./input/baby.jpg -m python实用宝典 -c #232862 --opacity 0.08

 

结果如下：

水印变得更透明

其实还有其他参数可以，我们就不一一展示了，一共有这些参数：

1. -f 参数，指定打水印的文件，如果你想打印整个文件夹，则输入该文件夹路径即可。

2. -m 参数，指定水印内容。

3. -o 参数，指定输出水印文件的位置，默认为output文件夹。

4. -c 参数，指定水印的颜色，默认值为shi..啊不，黄色，#8B8B1B.

5. -s 参数，指定水印与水印之间的空隙，默认值为75.

6. -a 参数，指定水印的旋转角度，我们的例子中都是默认值30度。

7. --size参数，指定水印文本字体大小，默认值为50。

8. --opacity参数，指定透明度，默认为0.15，数值越小越透明。

接下来给大家试试批量处理功能，首先把所有图片放置到项目的input文件夹下：

然后输入命令里，指定文件夹即可！

 

python marker.py -f ./input -m python实用宝典 -c #232862 --o

 

你会看到input文件夹名后没有/baby.jpg了，这表明将input文件夹下所有的图片打水印。

 

看到 文件名 succes 则说明批处理成功！

还有一个隐藏功能！如果你想要修改字体也可以哦！还记得我们前面怎么修复windows的中文名问题吗？如图，你只要将新的字体文件放到font文件夹下，然后修改TTF_FONT变量里的字体名字，与font文件夹下的新字体名字相对应即可改成你想要的字体了！

修改字体

我们的文章到此就结束啦，如果你希望我们今天的Python教程，请持续关注我们，如果对你有帮助，麻烦在留言区给个三连哦！

若需要python资料的可以扫一扫领取备注【python】