01_Python爬蟲入門遇到的坑__反爬蟲策略01

Posted 2020-12-15 Ltozvxe

1. 爬取京東商品頁面:

我們現在要爬取這個商品的頁面的詳細信息:【今日必抢 GFI联名版】原装直邮 高端定制 2020夏季新款手工时尚休闲鞋 绿色-定制款 41-标准运动鞋码

要求:

1. 只需要拿到原始代碼就可以了,不用獲得商品的具體信息

 

 我們直接看代碼:

import requests

# 需要爬取的商品頁面
url = "https://item.jd.com/68001860009.html"

try:
    # 請求頁面
    r = requests.get(url)
    # 判斷狀態碼, 如果連接狀態不正確, 會自動拋出異常
    r.raise_for_status()
    # 使用備用編碼集
    r.encoding = r.apparent_encoding
    # 查看獲取的源碼
    print(r.text)
except:
    # 爬取失敗
    print(\'頁面獲取失敗\')

如果不出所料你會得到下面的結果:

<script>window.location.href=\'https://passport.jd.com/uc/login?ReturnUrl=http://item.jd.com/68001860009.html\'</script>

這個的意思也就是說這個頁面使用了反爬蟲技術,禁止機器人訪問.所以你可以模擬瀏覽器提交請求,你只需要添加一點點代碼.

import requests

# 需要爬取的商品頁面
url = "https://item.jd.com/68001860009.html"
\'\'\'
使用帶headers的請求,
head中的User-Agent表示請求的對象,Mozilla/5.0是一個標準的瀏覽器請求
後面的則是表示平台和使用的瀏覽器版本
\'\'\'
head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"}
try:

    # 請求頁面
    r = requests.get(url, headers = head)
    # 判斷狀態碼, 如果連接狀態不正確, 會自動拋出異常
    r.raise_for_status()
    # 使用備用編碼集
    r.encoding = r.apparent_encoding
    # 查看獲取的源碼
    print(r.text)
except:
    # 爬取失敗
    print(\'頁面獲取失敗\')

ps: 查看自己提交的信息:

import requests

url = "https://item.jd.com/68001860009.html"

head = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"
}
# 默認訪問方式
r1 = requests.get(url)
# 查看提交的url
print(r1.request.url)
# 查看請求的headers
print(r1.request.headers)

# 加上headers之後訪問
r2 = requests.get(url, headers=head)
print(r2.request.url)
print(r2.request.headers)

你會得到如下結果:

https://item.jd.com/68001860009.html
{\'User-Agent\': \'python-requests/2.22.0\', \'Accept-Encoding\': \'gzip, deflate\', \'Accept\': \'*/*\', \'Connection\': \'keep-alive\'}
https://item.jd.com/68001860009.html
{\'User-Agent\': \'Mozilla/5.0\\xa0(Windows\\xa0NT\\xa010.0;\\xa0Win64;\\xa0x64)\\xa0AppleWebKit/537.36\\xa0(KHTML,\\xa0like\\xa0Gecko)\\xa0Chrome/80.0.3987.149\\xa0Safari/537.36\', \'Accept-Encoding\': \'gzip, deflate\', \'Accept\': \'*/*\', \'Connection\': \'keep-alive\'}

由此我們可以看出當使用默認的請求的時候我們所提交的請求之中User-Agent是 python-requests/2.22.0,也就是說,如果使用默認的訪問方式,我們等同於直接告訴網站我是個機器人,你快來攔截我好嗎.

總結:很多網站都設有反爬蟲,使用headers能很好的偽裝自己