python爬虫的数据库连接问题
Posted creative-work
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫的数据库连接问题相关的知识,希望对你有一定的参考价值。
1.需要导的包
import pymysql
2.# mysql连接信息(字典形式)
db_config ={
‘host‘: ‘127.0.0.1‘,#连接的主机id(107.0.0.1是本机id)
‘port‘: 3306,
‘user‘: ‘****‘,
‘password‘: ‘****‘,
‘db‘: ‘test‘,#(数据库名)
‘charset‘: ‘utf8‘
}
3.# 获得数据库连接
connection = pymysql.connect(**db_config)
connection()具体的基础知识详见连接
https://blog.csdn.net/guofeng93/article/details/53994112
4.具体连接(以简书为例)
1 try: 2 # 获得数据库游标(游标提供了一种对从表中检索出的数据进行操作的灵活手段,就本质而言,游标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制。游标总是与一条SQL 选择语句相关联因为游标由结果集(可以是零条、一条或由相关的选择语句检索出的多条记录)和结果集中指向特定记录的游标位置组成。) 3 with connection.cursor() as cursor: 4 sql = ‘insert into simplebook(title, url) values(%s, %s)‘ 5 for u in urls: 6 # 执行sql语句 7 cursor.execute(sql, (u.string, r‘http://www.jianshu.com‘+u.attrs[‘href‘])) 8 # 事务提交 9 connection.commit() 10 finally: 11 # 关闭数据库连接 12 connection.close()
5.连接数据库成功,并得到数据
以上是关于python爬虫的数据库连接问题的主要内容,如果未能解决你的问题,请参考以下文章
Python练习册 第 0013 题: 用 Python 写一个爬图片的程序,爬 这个链接里的日本妹子图片 :-),(http://tieba.baidu.com/p/2166231880)(代码片段