python爬虫：找房助手V1.0-爬取58同城租房信息

Posted 2020-07-28 小星星学数据

1.用于爬取58上的租房信息，限成都，其他地方的，可以把网址改改；

2.这个爬虫有一点问题，就是没用多线程，因为我用了之后总是会报： ‘module‘ object has no attribute ‘_strptime‘这个奇怪的错误，挣扎了许久，放弃；

如有大神看到这篇帖子，希望可以指点一二，不胜感激，谢谢。

3.我本来打算做成EXE文件的，但是在中文处理方面总是乱码，需要进一步研究；

以下为代码：

 

#!/usr/bin/python
# -*- encoding:utf-8 -*-

import requests
from bs4 import BeautifulSoup
from multiprocessing.dummy import Pool as ThreadPool
import re
import datetime
import sys
# from datetime import datetime
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
#得到soup，因后文通用，直接放这儿就行了
def urlBS(url):
    response=requests.get(url)
    response.encoding = ‘utf-8‘
    soup = BeautifulSoup(response.text,"lxml")
    return soup


#通过交互的方式让搜索人输入想要的房屋条件，不输的话有默认值
def get_source_url():
    base_url=‘http://cd.58.com/zufang/‘   #首先，锁定为整租:/zufang/,然后限定为个人房源：/0/,0为个人，1为经纪人
    # real_url=‘http://cd.58.com/zufang/?isreal=true‘
    try:
        source_key=input(‘请按序号输入你想要的房屋来源，1为不限，2为个人房源，3为经纪人(默认为2个人房源):\n‘)
    except:
        source_key=2
    source_from={1:‘‘,2:‘0/‘,3:‘1/‘}    # 4:‘?isreal=true‘，4为诚信房源专区‘
    try:
        price_min=str(input(‘请输入你期望的价格下限(不输默认为500)：\n‘))
    except:
        price_min=‘500‘
    try:
        price_max=str(input(‘请输入你期望的价格上限(不输默认为1000)：\n‘))
    except:
        price_max=‘1000‘
    price=‘minprice=‘+price_min+‘_‘+price_max
    try:
        room_key=input(‘请输入你想要的房子间数：0为不限，1为1室，2为2室，3为3室，4为4室，5为4室以上(不输默认为1室):\n‘)
    except:
        room_key=1
    room_num={0:‘‘,1:‘j1/‘,2:‘j2/‘,3:‘j3/‘,4:‘j4/‘,5:‘j5/‘}

    key_words=raw_input(‘请输入你想要搜索的其他关键词，如小区名称，地铁位置等(不输默认为空)：\n‘)


    source_url=base_url+source_from[source_key]+room_num[room_key]+‘?‘+price+‘&key=‘+key_words
    # print new_url
    return source_url
# new_url=‘http://cd.58.com/zufang/0/j1/?minprice=600_800&PGTID=0d300008-0006-6cd9-6ba7-a7672ec996c3&ClickID=3‘
#找到下一页的地址，因为58的网站很坑，它并没有显示共多少页，所以只能通过爬取他的下一页对应的href来得到下一页的链接
#但是，更坑的是，他的页面进去后第一次的下一页按了后和当前页是一样的，所以我就在确定有下一页的情况下，直接用当前页+1得到下一页的url
def get_new_list(source_url):
    new_url=source_url
    new_url_list=[new_url]
    while True:
        soup=urlBS(new_url)
        cp=re.compile(r‘/pn(.)/‘)
        finder=soup.find(‘a‘,{‘class‘:‘next‘})
        if finder:
            next_url=finder[‘href‘]
            now_page=cp.findall(source_url)
            next_page=‘http://cd.58.com‘+next_url
            if now_page:
                now_page=now_page[0]
                newpage=str(int(now_page)+1)
                new_page=cp.sub(newpage,next_page)
            else:
                now_page=‘1‘
                newpage=‘2‘
                new_page=‘http://cd.58.com‘+next_url
            new_url=new_page

        else:
            new_page=‘‘
            break
        # else:
        #     print ‘dont have next page‘
        # print new_url

        if len(new_url_list)==1:
            new_url_list.append(new_url)
        elif new_page==new_url_list[-1]:
            break
        else:
            new_url_list.append(new_url)

    # print new_url_list
    return new_url_list
#得到房屋信息页的链接
def get_house_url(new_url):
    soup = urlBS(new_url)
    href_list=soup.select(‘div[class="img_list"] a‘)
    house_url_list=[]
    for each in href_list:
        href=each[‘href‘]
        #print href
        house_url_list.append(href)
    return house_url_list
#爬取房屋信息，同时不要那些骗子的信息，以及一个月前更新的信息
def house_info(house_url):
   # house_url=‘http://cd.58.com/zufang/26364594760504x.shtml?version=A&psid=162154127192148068945806804&entinfo=26364594760504_0‘
   #  print house_url
    soup=urlBS(house_url)
    try:
        tel=soup.find(‘span‘,{‘class‘:‘tel-num tel-num-geren pl30 f30‘}).text       #个人房源
    except:
        tel=soup.find(‘span‘,{‘class‘:‘tel-num pl30 f30‘}).text                     #中介

    match_tel=re.search(r‘^1\d{5}.*‘,tel) #排除所有电话号码以0开始的人，即留固定电话的人，因为我们认为，固定房源的人是不会留固定电话的
    situation=soup.find(‘div‘,{‘class‘:‘description-content‘}).text.strip()
    # print situation
    match_si=re.search(u‘(我是房东|男士勿扰|男生勿扰|限女生|微信|男士|男性|男生|女性|女的|姐妹|"+")‘,situation)
    #更新时间
    update_time=soup.find(‘span‘,{‘class‘:‘pl10‘}).text
    update_date = datetime.datetime.strptime(update_time.replace(‘更新时间：‘,‘‘), "%Y-%m-%d").date()
    thirtyDayAgo=datetime.date.today() + datetime.timedelta(days=-30)
    day_line=(update_date - thirtyDayAgo).days


    if not match_tel:   #认为隐藏了电话号码的，电话号码以0开始的，都是骗子，不要他
        # print ‘电话号码有问题，骗子‘
        pass
    elif match_si:      #认为含有某些字的全部为骗子，把这些排除掉
        # print ‘内容有问题，骗子‘
        pass
    elif day_line<0:    #取近30天更新的数据，时间太长了的数据没啥意义
        # print ‘已经是一个月之前的消息了‘
        pass
    else:
        print house_url
        print situation
        print tel
        #标题
        title=soup.find(‘h1‘,{‘class‘:‘main-title font-heiti‘}).text
        print title
        #价格
        p=re.compile(r‘\n|\t|\r| ‘)
        rent_price=soup.find(‘i‘,{‘class‘:‘ncolor‘}).text
        price=p.sub(‘‘,rent_price)
        print price
        #房屋大小
        house=soup.find_all(‘li‘,{‘class‘:‘house-primary-content-li clearfix‘})

        house_content=p.sub(‘‘,house[0].text)
        print house_content
        #小区
        try:
            house_Community=p.sub(‘‘,house[1].text)
        except:
            house_Community=‘‘
        print house_Community
        #位置
        try:
            house_place=p.sub(‘‘,house[2].text)
        except:
            house_place=‘‘
        print house_place
        #设施
        try:
            facility=soup.find(‘li‘,{‘class‘:‘house-primary-content-li clearfix person-config‘})
            facility=p.sub(‘‘,facility.text)
        except:
            facility=‘‘
        print facility
        #联系人
        contact=soup.find(‘li‘,{‘class‘:‘house-primary-content-li clearfix person-contact‘}).text
        contact=p.sub(‘‘,contact)
        print contact
        print update_time+‘\n\n\n‘
        # a=[house_url,price,house_content,house_Community,house_place,title,situation,facility]
        f.write(‘----------------------------------------------------------------------------------\n‘)
        f.write(house_url+‘\n‘+price+‘\n‘+house_content+‘\n‘+house_Community+‘\n‘+house_place+‘\n‘+title+‘\n‘+situation+‘\n‘+facility+‘\n\n‘)


if __name__==‘__main__‘:
    source_url=get_source_url()
    print source_url
    # source_url=‘http://cd.58.com/zufang/0/?minprice=500_1500&key=四河‘
    get_new_list=get_new_list(source_url)
    # print get_new_list

    f=open("house_rent.txt", "w")        #先清空，然后再打开，再写入，写入时的方式是a(追加)
    # f.truncate()
    # f.close()
    #
    # f=open("house_rent.text", "a")

    print ‘正在下载，请稍候。。。\n\n‘
    # pool = ThreadPool(4)
    for new_url in get_new_list:
        new_url=new_url.encode(‘utf-8‘).decode(‘utf-8‘)
        # print new_url
        house_url_list=get_house_url(new_url)
        # print house_url_list
        for each in house_url_list:     #本来打算使用多线程，但是总是会报： ‘module‘ object has no attribute ‘_strptime‘这个奇怪的错误，挣扎了许久，放弃
            house_info(each)
    #     results = pool.map(house_info, house_url_list)
    # pool.close()
    # pool.join()

    f.close()