python爬取百思不得姐视频

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python爬取百思不得姐视频相关的知识，希望对你有一定的参考价值。

声明：本文只用来学习python ，切勿用于非法用途

  1. #coding:utf-8

  2. from  Tkinter import *

  3. from ScrolledText import ScrolledText   ##scrollbar

  4. import re

  5. import threading

  6. import requests

  7. import sys

  8. import urllib

  9. reload(sys)

  10. sys.setdefaultencoding(‘utf-8‘)   ## output encodig utf-8

  11. url_name = [] ###url + name

  12. a = 1

  13. ## get the url_html

  14. def get():

  15.    global a

  16.    hd = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 \

  17.         (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36‘}

  18.    url = ‘http://www.budejie.com/‘+str(a)

  19.    var1.set(‘have scrapyed page %s  film‘ % (a))

  20.    html = requests.get(url, headers=hd).text  ##.text if used for get html code

  21.    a += 1

  22.    url_pattern = re.compile(r‘(<div class="j-r-list-c">.*?</div>.*?</div>)‘, re.S)  ##bianyi up

  23.    for i in url_content:

  24.        url_reg = r‘data-mp4="(.*?)">‘ ### r  zhuanyi

  25.        url_items = re.findall(url_reg, i)

  26.        if url_items: #####if exists

  27.            name_reg = re.compile(r‘<a href="/detail-.{8}.html">(.*?)</a>‘)

  28.            name_items = re.findall(name_reg, i)

  29.            for j,k in zip(name_items, url_items):#zip  two list yi yi dui yin

  30.                url_name.append([j,k])

  31.                print j,k

  32.    return url_name


  34. ### how to download films

  35. id = 1 # film‘s number

  36. def write():

  37.    global id

  38.    while id < 2:

  39.        url_name = get()          ### url + name

  40.        #print url_name

  41.        for i in url_name:

  42.            urllib.urlretrieve(i[1], ‘video/%s.mp4‘ % (i[0].decode(‘utf-8‘)))

  43.            text.insert(END, str(id)+‘.‘+i[1]+‘\n‘+i[0]+‘\n‘)

  44.            url_name.pop(0)

  45.            id += 1  

  46.    var1.set(‘scrapy over‘)          


  48. def start():

  49.    th = threading.Thread(target=write)

  50.    th.start()




  54. root = Tk()

  55. root.title(‘comk专属‘)

  56. text = ScrolledText(root, font=(‘微软雅黑‘, 10))

  57. text.grid()   ## made setting active

  58. button = Button(root, text=‘开始爬取‘, font=(‘微软雅黑‘, 10), command=start)

  59. button.grid()  

  60. var1 = StringVar()

  61. label = Label(root, font=(‘微软雅黑‘, 10), fg=‘red‘, textvariable=var1)

  62. label.grid()

  63. var1.set(‘comk来了...ready~~~‘)


  65. root.mainloop()


本文出自 “净空蓝星” 博客，谢绝转载！

以上是关于python爬取百思不得姐视频的主要内容，如果未能解决你的问题，请参考以下文章

python爬虫：爬取网站视频

图片爬取百思不得姐（正则的取法，下载的方法，%s的用法）

百思不得姐demo，只写了视频，图片，和段子，需要的童鞋进

微信小程序实战之百思不得姐精简版

百思不得姐框架

百思不得姐框架