Pytthon-数据结构化与保存

Posted 132简梓茵

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pytthon-数据结构化与保存相关的知识,希望对你有一定的参考价值。

import requests
from bs4 import BeautifulSoup
from datetime import datetime
import re
import pandas

#====================================================================
#3-1. 将新闻的正文内容保存到文本文件。
#====================================================================
def record(text):
    f=open(cratch.txt,a,encoding=utf-8)
    f.write(text)
    f.close()

#===================================================================
#3-2. 将新闻数据结构化为字典的列表:
#===================================================================
#3-2-1. 单条新闻的详情-->字典news
#3-2-2.一个列表页所有单条新闻汇总-->列表newsls.append(news)        
def getList(pageUrl):
    res=requests.get(pageUrl)
    res.encoding=utf-8
    soup=BeautifulSoup(res.text, html.parser)
 
    newsList=[]
    for news in soup.select(li):
        if len(news.select(.news-list-title)) > 0:
            newsUrl = news.select(a)[0].attrs[href]
            newsList.append(getNewsDetail(newsUrl)) 
    print(newsList)
    return newsList

#3-2-3.所有列表页的所有新闻汇总列表newstotal.extend(newsls)
def getPageN():
    res=requests.get(http://news.gzcc.cn/html/xiaoyuanxinwen/)
    res.encoding=utf-8
    soup=BeautifulSoup(res.text,html.parser)
    n=int(soup.select(.a1)[0].text.rstrip())
    return(n//10+1)
 
newsTotal=[]
n=getPageN()
p= [2, n]
for  i in p:
    listPageUrl = "http://news.gzcc.cn/html/xiaoyuanxinwen/{}.html".format(i)
    print(listPageUrl)
    newsTotal.extend(getListPage(listPageUrl))
for news in newsTotal:
    print(news)

#=================================================================== #3. 安装pandas,用pandas.DataFrame(newstotal),创建一个DataFrame对象df. #=================================================================== df=pandas.DataFrame(newsTotal)

#=================================================================== #4. 通过df将提取的数据保存到csv或excel 文件。 #=================================================================== df.to_excel("0416.xlsx")

#=================================================================== #5. 用pandas提供的函数和方法进行数据分析: # 提取包含点击次数、标题、来源的前6行数据 # 提取‘学校综合办’发布的,‘点击次数’超过3000的新闻。 # 提取‘国际学院‘和‘学生工作处‘发布的新闻。 #=================================================================== print(df[[count,title,source]][0:6]) print(df[(df[count]>3000)&(df[source]==学校综合办)]) print(df[(df[source]==国际学院)|(df[source]==学生处)])

 

以上是关于Pytthon-数据结构化与保存的主要内容,如果未能解决你的问题,请参考以下文章

VSCode自定义代码片段5——HTML元素结构

VSCode自定义代码片段5——HTML元素结构

VSCode自定义代码片段5——HTML元素结构

Pytthon:type函数和 isinstance 函数及区别

Pytthon:type函数和 isinstance 函数及区别

pytthon3多线程