Django数据从sqlite迁移数据到MySQL

Posted 2021-04-30 杨建荣的学习笔记

昨天快速搭建了一套自己的知识库

感觉一下子有了很多的事情要做，至少得让自己用得舒服些。

没想到有了这个小工具之后，我发现我之前过得真是刀耕火种的信息收集。为什么这么说，因为我们每天都会读大量的文章，如果你决定收藏了，在微信里面就默默的点击“收藏”，然后不知不觉，已经收藏了成百上千篇，微信收藏的文章有个缺点就是我们在手机端很难去管理，通过关键字或者其他标签可以搜索出来，但是屏幕里只能显示出来差不多3-4条信息。如果想根据时间去排序之类的基本上无法实现，我也一直纳闷目前没有见到一个很给力的工具来管理收藏夹。

这仅仅是手机端的，如果是电脑端，那就更多了，我们的浏览器有收藏夹，但是本身没有排序功能，如果要做更多的筛选，基本靠眼里。

而且比较纠结的就是，有时候一打开一下子翻腾出所有的文章，顿时就会让人有些眩晕，而且作为书签，本身没有层级感。

哪怕做了细致的分类，但是一个目录下还是难免会生成大量的链接，完全无法排序。

所以我就退而求其次，把一些链接写道每天的工作记录里面，但这样明显更糟糕，因为这些信息我不去找，压根找不到。所以想想真是悲凉，我遗失了多少重要的信息。

然后我痛下决心，先改善自我生活，比如下面的url管理方式，我可以指定排序的规则。做多个类别的拆分，而且更重要的基于web，如果用Django的admin模板，完全不用写前端页面了。

所以我风风火火用了windows里的配置，为了简化，用了sqlite存储数据，很快就配置了30多条的url信息。

大类别分了这些，所以可以看出来我想做的不是一个简单的url收集，而想让它变得更有意思。不局限于技术方向。

说了这么多，这么做马上就碰到了一个潜在的问题，数据库是sqlite,而我们实际使用肯定是mysql，从使用和数据安全性上来说，我们更倾向于用MySQL,但是sqlite和MySQL本身不是完全兼容的，怎么同步这些数据。

管理sqlite很简单，数据都存放在一个看起来很普通的文件里面，我们只需要解析这一个文件即可。它更适合于嵌入式，本身是不支持事务的。

怎么把sqlite的数据同步到MySQL就是摆在我面前的一个问题。

我做了快速的尝试，用了如下的方式，仅供参考。

1. 把sqlite的数据文件拷贝到linux里面，因为我正式的服务都是在linux下，同样的应用我使用了MySQL,这个数据文件有个好处就是从windows拷贝到linux，还是能够正常解析的，登录使用命令sqlite3即可。
   

2. 查看sqlite的数据库情况如下，语法和命令略有差异。

   sqlite> .databases
   seq  name             file                                                      
   ---  ---------------  -----------------------
   0    main             /root/test/db.sqlite3  
   目前存在的表有这些。

   sqlite> .tables
   auth_group                  django_content_type       
   auth_group_permissions      django_migrations         
   auth_permission             django_session            
   auth_user                   km_child_category         
   auth_user_groups            km_parent_category        
   auth_user_user_permissions  km_url_info               
   django_admin_log
   这么多的表怎么同步呢，其实是做一个选择，我们建立的models.py里面的信息是需要的，也就意味着我们只需要同步其中的3个表即可。

3. 我们使用.dump选项即可轻松导出数据。

   sqlite3 db.sqlite3  .dump

   得到的SQL类似下面的形式，大部分的语法还是兼容的。

4. 如果要导出csv就加-csv选项即可，或者直接生成.sql文件。

5. 如果是sql文件需要去掉脚本里的“”，要不解析会出错。

6. 把SQL部署到MySQL，就行程了一个闭环，我们就可以按照自己的想法来补充完善了。

所以总体来说，迁移还是比较简单的，只要逻辑和结构足够简单，迁移还是比较清晰的。操作大概5分钟就搞定了。