Python爬虫

Posted 轻澜-诀袂

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫相关的知识,希望对你有一定的参考价值。

基本要求:
选择一个主题,用Python语言编写一个网络爬虫程序,将文字和图像等信息抓取到mysql中保存,(如果有图片数据,图片数据可以只在数据库存放路径,图片资源存储到文件夹)。
(1)主题说明:
1.小说/热点/电商/交通/科技/财经/房产/本地/健康/影视/法制/军事/科学/国际/电影/漫画/游戏/养生/宠物/家居/历史/数码/摄影/三农/旅游/星座/体育(可以分各个体育项目)/股票/音乐/教育

这里选择爬取一个个人网站,爬取到的信息存储在MySQL数据库里,图片放在本地,图片路径存储在mysql数据库,代码如下:

数据库

/*
 Navicat Premium Data Transfer

 Source Server         : localhost_3306
 Source Server Type    : MySQL
 Source Server Version : 50623
 Source Host           : localhost:3306
 Source Schema         : gem_db

 Target Server Type    : MySQL
 Target Server Version : 50623
 File Encoding         : 65001

 Date: 11/01/2022 17:21:15
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS <

以上是关于Python爬虫的主要内容,如果未能解决你的问题,请参考以下文章

Python 爬虫的入门教程都有哪些值得推荐的?

求编程大佬 Python 爬虫

Python为啥叫爬虫?

python爬虫最全总结

python爬虫最全总结

Python为啥会被叫爬虫?