使用Python从网页中获取链接

Posted 2022-03-24 Ch4536251

从网页中获取链接

import requests as rb           # 导入requests库
from bs4 import BeautifulSoup   #   调用beautifulsoup库

url = input("Enter Link:")      # 获取输入
if ("https" or "http") in url:
    data = rb.get(url)          #获取html网页，对应HTTP的GET
else:
    data = rb.get("https://" + url)         #获取HTML网页，对应HTTP的GET
soup = BeautifulSoup(data.text,"html.parser")       #使用BeautifulSoup解析获取到的数据
links = []          #定义空列表links
for link in soup.find_all("a"):
    links.append(link.get("href"))          #输出网页中的a标签下的href内容到links中;; append()方法用于在列表末尾添加新的对象

# 将输出写入文件（Links.txt）
# 可以将“a”更改为“w”，以便每次都覆盖该文件
with open("Links.txt",'a') as saved:
    print(links[:100],file=saved)

参考：https://github.com/Python-World/python-mini-projects