聚合新闻头条

Posted 2021-02-09 start20180703

确定新闻来源

有头条新闻的提取头条新闻

from requests_html import HTMLSession　　　　　　　　#导入爬虫所需的模块

def get_news():
    ans_news_titles=[]　　　　#定义一个空列表
    session=HTMLSession()　　#创建爬虫模块对象
    r=session.get(‘https://news.baidu.com/‘)　　　　#获取页面
    title1_baidu=r.html.find(‘#pane-news > div > ul > li.hdline0 > strong > a‘,first=True)　　#查找css选择器对应的内容，
    ans_news_titles.append(title1_baidu)
    titles_baidu=r.html.find(‘#pane-news > ul:nth-child(n) > li.bold-item > a‘)
    ans_news_titles+=titles_baidu
    for title in ans_news_titles:
        print(title.text)

if __name__ == ‘__main__‘:
    get_news()