数据库听故事的故事人

Posted 2021-02-03 qiaohaoforever

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据库听故事的故事人相关的知识，希望对你有一定的参考价值。

“ 美好的故事，不仅要听，也要记！”

经过上次对《故事FM》进行爬虫【爬虫】听故事的故事人，我们得到了我们想要对评论数据，格式化的数据给人一种很舒心的感觉，但是，数据得到了，那我们总得保存它吧！用看的没法进行下一步的操作呀～

—

储存方式选择

在数据储存方式有很多种，我们需要根据数据的格式、类型、数据量和后期的数据处理设想来选择适合我们的储存方式。在数据量较小，数据后期可能直接提供给他人查看使用的情况下，通常使用便于非编程人员使用的csv、txt或者json等易于操作的储存格式；在数据结构化，且数据量一般的情况下，可使用数据库储存；如最常用的mysql、轻量级数据库sqlite、文本型数据库mongoDB等；数据量太大的话，可以考虑hdfs分布式储存使用。

这里由于评论数据文本短、数据量不大、后期需要数据处理的缘故，我们选择轻量级数据库SQLite储存评论数据。

SQLite是一个进程内的库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库，这意味着与其他数据库一样，您不需要在系统中配置。

—

那就干！

设计数据库：

根据爬虫所得数据，我们可以建立两个数据库：歌名--ID映射的菜单数据库和评论爬虫的格式化数据库。

数据库语句：

-- 注：语句为python执行语句
-- 创建菜单数据库
CREATE TABLE music_dic (music_id real, music_name text, time text);

-- 菜单信息，有则更新，无则插入
REPLACE INTO music_dic VALUES(?,?,?);

-- 新建评论数据库
CREATE TABLE IF NOT EXISTS music + str(music_id) + (music_name text, comment_id real ,user_id text,user_name text,avatar_url text,comment_time real,liked_count real,comment text);

-- 插入爬虫数据
INSERT INTO music"+str(music_id)+" VALUES(?,?,?,?,?,?,?,?);