在 Scrapy 中将项目写入 MySQL 数据库
Posted
技术标签:
【中文标题】在 Scrapy 中将项目写入 MySQL 数据库【英文标题】:Writing items to a MySQL database in Scrapy 【发布时间】:2012-06-06 10:23:07 【问题描述】:我是 Scrapy 的新手,我有蜘蛛代码
class Example_spider(BaseSpider):
name = "example"
allowed_domains = ["www.example.com"]
def start_requests(self):
yield self.make_requests_from_url("http://www.example.com/bookstore/new")
def parse(self, response):
hxs = htmlXPathSelector(response)
urls = hxs.select('//div[@class="bookListingBookTitle"]/a/@href').extract()
for i in urls:
yield Request(urljoin("http://www.example.com/", i[1:]), callback=self.parse_url)
def parse_url(self, response):
hxs = HtmlXPathSelector(response)
main = hxs.select('//div[@id="bookshelf-bg"]')
items = []
for i in main:
item = Exampleitem()
item['book_name'] = i.select('div[@class="slickwrap full"]/div[@id="bookstore_detail"]/div[@class="book_listing clearfix"]/div[@class="bookstore_right"]/div[@class="title_and_byline"]/p[@class="book_title"]/text()')[0].extract()
item['price'] = i.select('div[@id="book-sidebar-modules"]/div[@class="add_to_cart_wrapper slickshadow"]/div[@class="panes"]/div[@class="pane clearfix"]/div[@class="inner"]/div[@class="add_to_cart 0"]/form/div[@class="line-item"]/div[@class="line-item-price"]/text()').extract()
items.append(item)
return items
而管道代码是:
class examplePipeline(object):
def __init__(self):
self.dbpool = adbapi.ConnectionPool('mysqldb',
db='blurb',
user='root',
passwd='redhat',
cursorclass=MySQLdb.cursors.DictCursor,
charset='utf8',
use_unicode=True
)
def process_item(self, spider, item):
# run db query in thread pool
assert isinstance(item, Exampleitem)
query = self.dbpool.runInteraction(self._conditional_insert, item)
query.addErrback(self.handle_error)
return item
def _conditional_insert(self, tx, item):
print "db connected-=========>"
# create record if doesn't exist.
tx.execute("select * from example_book_store where book_name = %s", (item['book_name']) )
result = tx.fetchone()
if result:
log.msg("Item already stored in db: %s" % item, level=log.DEBUG)
else:
tx.execute("""INSERT INTO example_book_store (book_name,price)
VALUES (%s,%s)""",
(item['book_name'],item['price'])
)
log.msg("Item stored in db: %s" % item, level=log.DEBUG)
def handle_error(self, e):
log.err(e)
运行后出现以下错误
exceptions.NameError: global name 'Exampleitem' is not defined
当我在process_item
方法中添加以下代码时出现上述错误
assert isinstance(item, Exampleitem)
并且没有添加这一行我得到了
**exceptions.TypeError: 'Example_spider' object is not subscriptable
任何人都可以运行此代码并确保所有项目都保存到数据库中吗?
【问题讨论】:
【参考方案1】:在您的管道中尝试以下代码
import sys
import MySQLdb
import hashlib
from scrapy.exceptions import DropItem
from scrapy.http import Request
class MySQLStorePipeline(object):
def __init__(self):
self.conn = MySQLdb.connect('host', 'user', 'passwd',
'dbname', charset="utf8",
use_unicode=True)
self.cursor = self.conn.cursor()
def process_item(self, item, spider):
try:
self.cursor.execute("""INSERT INTO example_book_store (book_name, price)
VALUES (%s, %s)""",
(item['book_name'].encode('utf-8'),
item['price'].encode('utf-8')))
self.conn.commit()
except MySQLdb.Error, e:
print "Error %d: %s" % (e.args[0], e.args[1])
return item
【讨论】:
:我已经更新了上面的代码,但是遇到了以下错误,我无法用这个检查。(1064,“你的SQL语法有错误;检查对应的手册您的 MySQL 服务器版本,以便在第 2 行的 '))' 附近使用正确的语法") (1241, '操作数应包含 1 列') 如果遇到“关键字参数后的非关键字参数”错误,请改用self.conn = MySQLdb.connect(user='dbuser', passwd='dbpasswd', db='dbname', host='dbhost', charset="utf8", use_unicode=True)
错误的解决方案,与scrapy async io 和twisted 完全矛盾,正确的做法见github.com/darkrho/dirbot-mysql【参考方案2】:
您的 process_item 方法应声明为:def process_item(self, item, spider):
而不是 def process_item(self, spider, item):
-> 您切换了参数。
此异常:exceptions.NameError: global name 'Exampleitem' is not defined
表示您没有在管道中导入 Exampleitem。
尝试添加:from myspiders.myitems import Exampleitem
(当然要使用正确的名称/路径)。
【讨论】:
感谢输出,但它显示“”(1064,“您的 SQL 语法有错误;请查看与您的 MySQL 服务器版本相对应的手册以获取在 ')) 附近使用的正确语法在第 2 行""" 和 ""(1241, 'Operand should contain 1 column(s)')"".Items 没有保存在数据库中。我写的查询中是否有任何错误我没有看到任何 尝试将:tx.execute("select * from example_book_store where book_name = %s", (item['book_name']) )
更改为:tx.execute("select book_name from example_book_store where book_name = %s", (item['book_name'], ) )
关于 SQL 问题,最好问一个特定于 SQL 的问题。它需要比评论中描述的更多信息(例如错误发生在哪一行)【参考方案3】:
我觉得这种方式更好更简洁:
#Item
class pictureItem(scrapy.Item):
topic_id=scrapy.Field()
url=scrapy.Field()
#SQL
self.save_picture="insert into picture(`url`,`id`) values(%(url)s,%(id)s);"
#usage
cur.execute(self.save_picture,dict(item))
就像
cur.execute("insert into picture(`url`,`id`) values(%(url)s,%(id)s)" % "url":someurl,"id":1)
原因(您可以在 Scrapy 中阅读有关 Items 的更多信息)
Field 类只是内置 dict 类的别名,不提供任何额外的功能或属性。换句话说,Field 对象是普通的 Python 字典。
【讨论】:
以上是关于在 Scrapy 中将项目写入 MySQL 数据库的主要内容,如果未能解决你的问题,请参考以下文章