python爬取准备一 了解HTML

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬取准备一 了解HTML相关的知识,希望对你有一定的参考价值。

网页源码

打开网页,按快捷键【Ctrl+U】打开源码页面
技术图片

HTML
HTML 是整个网页的结构,相当于整个网站的框架。带“<”、“>”符号的都是属于 HTML 的标签,并且标签都是成对出现的

常见的标签如下:

<html>..</html> 表示标记中间的元素是网页
<body>..</body> 表示用户可见的内容
<div>..</div> 表示框架
<p>..</p> 表示段落
<li>..</li>表示列表
<img>..</img>表示图片
<h1>..</h1>表示标题
<a href="">..</a>表示超链接

HTML
html示例
本地超链接可以为相对路径,也可以为绝对路径。
图片的地址可以为相对路径,也可以为绝对路径。

    <html>
    <head>
          <title>这是HTML测试页面的主题</title>
    </head>
    <body>
          <div>   
              <h1>这是标题</h1>   
              <p>这是正文</p>   
          </div> 
          <div>    
              <ul>     
                  <li>这是一个列表</li>       
                  <li><a href=‘https://www.dytt8.net/index0.html‘>这是一个网络超链接</a></li>
                  <li><a href=‘1.html‘>这是一个本地超链接</a></li>      
                  <li>下面这个是一张图片</li>           
                  <img src="20120830173930_PBfJE.jpeg" alt="如果图像无法显示,将显示这个" />           
              </ul>        
         </div>      
    </body>
    </html>

输入代码后,保存记事本,然后修改文件名和后缀名为"HTML.html",效果如下:

技术图片

爬虫的合法性

每一个网站都有一个名为 robots.txt 的文档,当然也有部分网站没有设定 robots.txt。对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据,也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档,就要判断是否有禁止访客获取的数据。

技术图片

允许部分爬虫访问它的部分路径,而对于没有得到允许的,则全部禁止爬取

以上是关于python爬取准备一 了解HTML的主要内容,如果未能解决你的问题,请参考以下文章

小白学 Python 爬虫(25):爬取股票信息

20行Python代码爬取王者荣耀全英雄皮肤

20行Python代码爬取王者荣耀全英雄皮肤

python爬虫项目(新手教程)之知乎(requests方式)

scrapy按顺序启动多个爬虫代码片段(python3)

Python爬虫实战爬取2021中国大学排名(简单)