从零开始学python之数据库的交互
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了从零开始学python之数据库的交互相关的知识,希望对你有一定的参考价值。
参考技术A 这篇文章主要介绍了Python与数据库的交互,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下安装模块 pip install pymongo
添加---> insert_one | insert_many
查找---> find | find_one
注意要用list转换得到的数据
修改---> update_one | update_many
删除---> delete_one | delete_many
注意该数据库对大小写敏感
安装模块 pip install pymysql
安装模块 pip install redis
《Python打卡学数据库的第一天》快来跟着小编从零开始学习Redis数据库吧~
目录
学习目标
- 能够描述出什么是 nosql
- 能够说出 Redis 的特点
nosql介绍
NoSQL:一类新出现的数据库(not only sql)
- 泛指非关系型的数据库
- 不支持SQL语法
- 存储结构跟传统关系型数据库中的那种关系表完全不同,nosql中存储的数据都是KV形式
- NoSQL的世界中没有一种通用的语言,每种nosql数据库都有自己的api和语法,以及擅长的业务场景
- NoSQL中的产品种类相当多:
- Redis
- Mongodb
- Hbase hadoop
- Cassandra hadoop
NoSQL和SQL数据库的比较:
- 适用场景不同:sql数据库适合用于关系特别复杂的数据查询场景,nosql反之
- 事务 特性的支持:sql对事务的支持非常完善,而nosql基本不支持事务
- 两者在不断地取长补短,呈现融合趋势
Redis简介
- Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。从2013年5月开始,Redis的开发由Pivotal赞助。
- Redis是 NoSQL技术阵营中的一员,它通过多种键值数据类型来适应不同场景下的存储需求,借助一些高层级的接口使用其可以胜任,如缓存、队列系统的不同角色
Redis特性
- Redis 与其他 key - value 缓存产品有以下三个特点:
- Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
- Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
- Redis支持数据的备份,即master-slave模式的数据备份。
Redis 优势
- 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
- 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
- 原子 – Redis的所有操作都是原子性的。
- 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。
Redis应用场景
- 用来做缓存(ehcache/memcached)——redis的所有数据是放在内存中的(内存数据库)
- 可以在某些特定应用场景下替代传统数据库——比如社交类的应用
- 在一些大型系统中,巧妙地实现一些特定的功能:session共享、购物车
- 只要你有丰富的想象力,redis可以用在可以给你无限的惊喜…….
推荐阅读
Redis 安装
- 当前redis最新稳定版本是4.0.9
- 当前ubuntu虚拟机中已经安装好了redis,以下步骤可以跳过 最新稳定版本下载链接:http://download.redis.io/releases/redis-4.0.9.tar.gz
-
step1:下载
-
step2:解压
tar xzf redis-4.0.9.tar.gz
-
step3:移动,放到usr/local⽬录下
sudo mv ./redis-4.0.9 /usr/local/redis/
-
step4:进⼊redis⽬录
cd /usr/local/redis/
-
step5:生成
sudo make
step6:测试,这段运⾏时间会较⻓
sudo make test
其他补充
核心配置选项
参考资料
redis配置信息http://blog.csdn.net/ljphilp/article/details/52934933
客户端
重要文档
数据结构
数据操作行为
点击中⽂官⽹查看命令⽂档http://redis.cn/commands.html
与Python交互
-
step7:安装,将redis的命令安装到
/usr/local/bin/
⽬录sudo make install
-
step8:安装完成后,我们进入目录
/usr/local/bin
中查看cd /usr/local/bin
ls -all -
- redis-server redis服务器
- redis-cli redis命令行客户端
- redis-benchmark redis性能测试工具
- redis-check-aof AOF文件修复工具
- redis-check-rdb RDB文件检索工具
-
step9:配置⽂件,移动到
/etc/
⽬录下-
配置⽂件⽬录为
/usr/local/redis/redis.conf
sudo cp /usr/local/redis/redis.conf /etc/redis/
-
-
Mac 上安装 Redis:
- 安装 Homebrew:
- 使用 brew 安装 Redis
https://www.cnblogs.com/cloudshadow/p/mac_brew_install_redis.html
学习目标
- 能够根据参考资料修改常用Redis配置
-
配置
-
Redis的配置信息在
/etc/redis/redis.conf
下。 -
查看
sudo vi /etc/redis/redis.conf
- 绑定ip:如果需要远程访问,可将此⾏注释,或绑定⼀个真实ip
bind 127.0.0.1
- 端⼝,默认为6379
port 6379
-
是否以守护进程运⾏
- 如果以守护进程运⾏,则不会在命令⾏阻塞,类似于服务
- 如果以⾮守护进程运⾏,则当前终端被阻塞
- 设置为yes表示守护进程,设置为no表示⾮守护进程
- 推荐设置为yes
daemonize yes
-
数据⽂件
dbfilename dump.rdb
- 数据⽂件存储路径
dir /var/lib/redis
- ⽇志⽂件
logfile "/var/log/redis/redis-server.log"
- 数据库,默认有16个
database 16
- 主从复制,类似于双机备份。
slaveof
学习目标
-
了解Redis服务器端和客户端的命令
服务器端
-
服务器端的命令为redis-server
- 客户端的命令为redis-cli
- 可以使⽤help查看帮助⽂档
redis-cli --help
-
连接redis
redis-cli
-
可以使⽤help查看帮助⽂档
redis-server --help
- 个人习惯
ps aux | grep redis 查看redis服务器进程
sudo kill -9 pid 杀死redis服务器
sudo redis-server /etc/redis/redis.conf 指定加载的配置文件 -
运⾏测试命令
ping
-
切换数据库
-
数据库没有名称,默认有16个,通过0-15来标识,连接redis默认选择第一个数据库
select 10
-
学习目标
- 能够写出Redis中string类型数据的增删改查操作命令
- 能够写出Redis中hash类型数据的增删改查相关命令
- Redis 参考命令
- Redis 官方文档
- redis是key-value的数据结构,每条数据都是⼀个键值对
- 键的类型是字符串
- 保存
- 修改
- 获取
- 删除
-
注意:键不能重复
-
值的类型分为五种:
- 字符串string
- 哈希hash
- 列表list
- 集合set
- 有序集合zset
-
太多啦~这里就省略了哈~详细的可以在官方交流口口裙获取:1141860209
安装包
安装Redis的有3种方式https://github.com/andymccurdy/redis-py
第一种:进⼊虚拟环境,联⽹安装包redis
pip install redis
第二种:进⼊虚拟环境,联⽹安装包redis
easy_install redis
调⽤模块
- 引⼊模块
from redis import StrictRedis
- 这个模块中提供了
StrictRedis对象
,⽤于连接redis服务器,并按照不同类型提供 了不同⽅法,进⾏交互操作 - 第三种:到中⽂官⽹-客户端下载redis包的源码,使⽤源码安装
一步步执行 wget https://github.com/andymccurdy/redis-py/archive/master.zip
unzip master.zip
cd redis-py-master
sudo python setup.py install
学习目标
- 能够根据课件中的步骤搭建 Redis 的主从
主从概念
- ⼀个master可以拥有多个slave,⼀个slave⼜可以拥有多个slave,如此下去,形成了强⼤的多级服务器集群架构
- master用来写数据,slave用来读数据,经统计:网站的读写比率是10:1
-
通过主从配置可以实现读写分离
-
master和slave都是一个redis实例(redis服务)
主从配置
配置主
-
查看当前主机的ip地址
ifconfig
-
修改
/etc/redis/redis.conf
文件sudo vi redis.conf
bind 192.168.26.128 -
重启redis服务
sudo service redis stop
sudo redis-server redis.conf
配置从
-
复制
/etc/redis/redis.conf
文件sudo cp redis.conf ./slave.conf
-
修改
redis/slave.conf
文件sudo vi slave.conf
-
编辑内容
bind 192.168.26.128
slaveof 192.168.26.128 6379
port 6378 -
redis服务
sudo redis-server slave.conf
-
查看主从关系
redis-cli -h 192.168.26.128 info Replication
数据操作
-
在master和slave分别执⾏info命令,查看输出信息 进入主客户端
redis-cli -h 192.168.26.128 -p 6379
-
进入从的客户端
redis-cli -h 192.168.26.128 -p 6378
-
在master上写数据
set aa aa
-
在slave上读数据
get aa
为什么要有集群
- 之前我们已经讲了主从的概念,一主可以多从,如果同时的访问量过大(1000w),主服务肯定就会挂掉,数据服务就挂掉了或者发生自然灾难
- 大公司都会有很多的服务器(华东地区、华南地区、华中地区、华北地区、西北地区、西南地区、东北地区、台港澳地区机房)
集群的概念
- 集群是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。
当请求到来首先由负载均衡服务器处理,把请求转发到另外的一台服务器上。
redis集群
- 分类
- 软件层面
- 硬件层面
- 软件层面:只有一台电脑,在这一台电脑上启动了多个redis服务。
- 硬件层面:存在多台实体的电脑,每台电脑上都启动了一个redis或者多个redis服务。
搭建集群
- 当前拥有两台主机172.16.179.130、172.16.179.131,这⾥的IP在使⽤时要改为实际值
下面是我整理的一些学习资料
- Python学习路线
- Python自学视频
- 300本电子书加学霸笔记
- 100个游戏源码、项目案例
- Python安装包以及教程和激活码
君羊号:【881744585】获取
这都是我总结出来的宝贝,给需要的小伙伴,希望大家的努力都不负所望。【广告勿扰谢谢】
以上是关于从零开始学python之数据库的交互的主要内容,如果未能解决你的问题,请参考以下文章
从零开始学Python-使用Selenium抓取动态网页数据