Python爬虫随笔

Posted 2021-02-18

1.利用urllib库爬取python123.io网站的html代码

1 import urllib.request
2 response=urllib.request.urlopen("http://python123.io/")
3 print(response.read().decode("utf-8"))

 

 

2.网络数据采集的一个常用功能就是获取 HTML 表格并写入 CSV 文件。维基百科的文本编 辑器对比词条（https://en.wikipedia.org/wiki/Comparison_of_text_editors）中用了许多复杂 的 HTML 表格，用到了颜色、链接、排序，以及其他在写入 CSV 文件之前需要忽略的 HTML 元素。用 BeautifulSoup 和 get_text() 函数，你可以用十几行代码完成这件事：

import csv
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://en.wikipedia.org/wiki/Comparison_of_text_editors")
bsObj = BeautifulSoup(html)
# 主对比表格是当前页面上的第一个表格
table = bsObj.findAll("table",{"class":"wikitable"})[0]
rows = table.findAll("tr")
csvFile = open("C:/Users/Administrator/Desktop/test2.csv", \'wt\', newline="", encoding=\'utf-8\')
writer = csv.writer(csvFile)
try:
     for row in rows:
         csvRow = []
         for cell in row.findAll([\'td\', \'th\']):
             csvRow.append(cell.get_text())
             writer.writerow(csvRow)
finally:

    csvFile.close()