Python爬虫
Posted 轻澜-诀袂
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫相关的知识,希望对你有一定的参考价值。
基本要求:
选择一个主题,用Python语言编写一个网络爬虫程序,将文字和图像等信息抓取到mysql中保存,(如果有图片数据,图片数据可以只在数据库存放路径,图片资源存储到文件夹)。
(1)主题说明:
1.小说/热点/电商/交通/科技/财经/房产/本地/健康/影视/法制/军事/科学/国际/电影/漫画/游戏/养生/宠物/家居/历史/数码/摄影/三农/旅游/星座/体育(可以分各个体育项目)/股票/音乐/教育
这里选择爬取一个个人网站,爬取到的信息存储在MySQL数据库里,图片放在本地,图片路径存储在mysql数据库,代码如下:
数据库
/*
Navicat Premium Data Transfer
Source Server : localhost_3306
Source Server Type : MySQL
Source Server Version : 50623
Source Host : localhost:3306
Source Schema : gem_db
Target Server Type : MySQL
Target Server Version : 50623
File Encoding : 65001
Date: 11/01/2022 17:21:15
*/
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS <
以上是关于Python爬虫的主要内容,如果未能解决你的问题,请参考以下文章