从零开始学python之数据库的交互

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了从零开始学python之数据库的交互相关的知识,希望对你有一定的参考价值。

参考技术A 这篇文章主要介绍了Python与数据库的交互,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

安装模块 pip install pymongo

添加---> insert_one | insert_many

查找---> find | find_one

注意要用list转换得到的数据

修改---> update_one | update_many

删除---> delete_one | delete_many

注意该数据库对大小写敏感

安装模块 pip install pymysql

安装模块 pip install redis

《Python打卡学数据库的第一天》快来跟着小编从零开始学习Redis数据库吧~

 目录

学习目标

nosql介绍

NoSQL:一类新出现的数据库(not only sql)

NoSQL和SQL数据库的比较:

Redis简介

Redis特性

Redis 优势

Redis应用场景

推荐阅读

Redis 安装

其他补充

学习目标

配置

核心配置选项

参考资料

学习目标

服务器端

客户端

学习目标

重要文档

数据结构

数据操作行为

与Python交互

安装包

调⽤模块

学习目标

主从概念

主从配置

配置主

配置从

数据操作

为什么要有集群

集群的概念

redis集群

搭建集群

参考阅读


学习目标

  • 能够描述出什么是 nosql
  • 能够说出 Redis 的特点

nosql介绍

NoSQL:一类新出现的数据库(not only sql)

  • 泛指非关系型的数据库
  • 不支持SQL语法
  • 存储结构跟传统关系型数据库中的那种关系表完全不同,nosql中存储的数据都是KV形式
  • NoSQL的世界中没有一种通用的语言,每种nosql数据库都有自己的api和语法,以及擅长的业务场景
  • NoSQL中的产品种类相当多:
    • Redis
    • Mongodb
    • Hbase hadoop
    • Cassandra hadoop

NoSQL和SQL数据库的比较:

  • 适用场景不同:sql数据库适合用于关系特别复杂的数据查询场景,nosql反之
  • 事务 特性的支持:sql对事务的支持非常完善,而nosql基本不支持事务
  • 两者在不断地取长补短,呈现融合趋势

Redis简介

  • Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。从2013年5月开始,Redis的开发由Pivotal赞助。
  • Redis是 NoSQL技术阵营中的一员,它通过多种键值数据类型来适应不同场景下的存储需求,借助一些高层级的接口使用其可以胜任,如缓存、队列系统的不同角色

Redis特性

  • Redis 与其他 key - value 缓存产品有以下三个特点:
  • Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
  • Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
  • Redis支持数据的备份,即master-slave模式的数据备份。

Redis 优势

  • 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
  • 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
  • 原子 – Redis的所有操作都是原子性的。
  • 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

Redis应用场景

  • 用来做缓存(ehcache/memcached)——redis的所有数据是放在内存中的(内存数据库)
  • 可以在某些特定应用场景下替代传统数据库——比如社交类的应用
  • 在一些大型系统中,巧妙地实现一些特定的功能:session共享、购物车
  • 只要你有丰富的想象力,redis可以用在可以给你无限的惊喜…….

推荐阅读

Redis 安装

  • step2:解压

    tar xzf redis-4.0.9.tar.gz

  • step3:移动,放到usr/local⽬录下

    sudo mv ./redis-4.0.9 /usr/local/redis/

  • step4:进⼊redis⽬录

    cd /usr/local/redis/

  • step5:生成

    sudo make

 

step6:测试,这段运⾏时间会较⻓

sudo make test

其他补充

核心配置选项

参考资料

redis配置信息http://blog.csdn.net/ljphilp/article/details/52934933

客户端

重要文档

数据结构

数据操作行为

点击中⽂官⽹查看命令⽂档http://redis.cn/commands.html

与Python交互

  • step7:安装,将redis的命令安装到/usr/local/bin/⽬录

    sudo make install

  • step8:安装完成后,我们进入目录/usr/local/bin中查看

    cd /usr/local/bin
    ls -all

    • redis-server redis服务器
    • redis-cli redis命令行客户端
    • redis-benchmark redis性能测试工具
    • redis-check-aof AOF文件修复工具
    • redis-check-rdb RDB文件检索工具
  • step9:配置⽂件,移动到/etc/⽬录下

    • 配置⽂件⽬录为/usr/local/redis/redis.conf

      sudo cp /usr/local/redis/redis.conf /etc/redis/

  • Mac 上安装 Redis:

    • 安装 Homebrew:

    https://brew.sh/

    • 使用 brew 安装 Redis

    https://www.cnblogs.com/cloudshadow/p/mac_brew_install_redis.html

    学习目标

  • 能够根据参考资料修改常用Redis配置
  • 配置

  • Redis的配置信息在/etc/redis/redis.conf下。

  • 查看

    sudo vi /etc/redis/redis.conf

  • 绑定ip:如果需要远程访问,可将此⾏注释,或绑定⼀个真实ip

    bind 127.0.0.1

  • 端⼝,默认为6379

    port 6379

  • 是否以守护进程运⾏

    • 如果以守护进程运⾏,则不会在命令⾏阻塞,类似于服务
    • 如果以⾮守护进程运⾏,则当前终端被阻塞
    • 设置为yes表示守护进程,设置为no表示⾮守护进程
    • 推荐设置为yes

    daemonize yes

  • 数据⽂件

    dbfilename dump.rdb

  • 数据⽂件存储路径

    dir /var/lib/redis

  • ⽇志⽂件

    logfile "/var/log/redis/redis-server.log"

  • 数据库,默认有16个

    database 16

  • 主从复制,类似于双机备份。

    slaveof

    学习目标

  • 了解Redis服务器端和客户端的命令

    服务器端

  • 服务器端的命令为redis-server

  • 客户端的命令为redis-cli
  • 可以使⽤help查看帮助⽂档

    redis-cli --help

  • 连接redis

    redis-cli

  • 可以使⽤help查看帮助⽂档

    redis-server --help

  • 个人习惯

    ps aux | grep redis 查看redis服务器进程
    sudo kill -9 pid 杀死redis服务器
    sudo redis-server /etc/redis/redis.conf 指定加载的配置文件

  • 运⾏测试命令

    ping

  • 切换数据库

  • 数据库没有名称,默认有16个,通过0-15来标识,连接redis默认选择第一个数据库

    select 10

  • 学习目标

  • 能够写出Redis中string类型数据的增删改查操作命令
  • 能够写出Redis中hash类型数据的增删改查相关命令
  • Redis 参考命令
  • Redis 官方文档
  • redis是key-value的数据结构,每条数据都是⼀个键值对
  • 键的类型是字符串
  • 保存
  • 修改
  • 获取
  • 删除
  • 注意:键不能重复

  • 值的类型分为五种:

    • 字符串string
    • 哈希hash
    • 列表list
    • 集合set
    • 有序集合zset
  • 太多啦~这里就省略了哈~详细的可以在官方交流口口裙获取:1141860209

安装包

安装Redis的有3种方式https://github.com/andymccurdy/redis-py

第一种:进⼊虚拟环境,联⽹安装包redis

pip install redis

第二种:进⼊虚拟环境,联⽹安装包redis

easy_install redis

调⽤模块

  • 引⼊模块

    from redis import StrictRedis

  • 这个模块中提供了StrictRedis对象,⽤于连接redis服务器,并按照不同类型提供 了不同⽅法,进⾏交互操作
  • 第三种:到中⽂官⽹-客户端下载redis包的源码,使⽤源码安装

    一步步执行 wget https://github.com/andymccurdy/redis-py/archive/master.zip
    unzip master.zip
    cd redis-py-master
    sudo python setup.py install

学习目标

  • 能够根据课件中的步骤搭建 Redis 的主从

主从概念

  • ⼀个master可以拥有多个slave,⼀个slave⼜可以拥有多个slave,如此下去,形成了强⼤的多级服务器集群架构
  • master用来写数据,slave用来读数据,经统计:网站的读写比率是10:1
  • 通过主从配置可以实现读写分离

  • master和slave都是一个redis实例(redis服务)

主从配置

配置主

  • 查看当前主机的ip地址

    ifconfig

  • 修改/etc/redis/redis.conf文件

    sudo vi redis.conf
    bind 192.168.26.128

  • 重启redis服务

    sudo service redis stop
    sudo redis-server redis.conf

配置从

  • 复制/etc/redis/redis.conf文件

    sudo cp redis.conf ./slave.conf

  • 修改redis/slave.conf文件

    sudo vi slave.conf

  • 编辑内容

    bind 192.168.26.128
    slaveof 192.168.26.128 6379
    port 6378

  • redis服务

    sudo redis-server slave.conf

  • 查看主从关系

    redis-cli -h 192.168.26.128 info Replication

数据操作

  • 在master和slave分别执⾏info命令,查看输出信息 进入主客户端

    redis-cli -h 192.168.26.128 -p 6379

  • 进入从的客户端

    redis-cli -h 192.168.26.128 -p 6378

  • 在master上写数据

    set aa aa

  • 在slave上读数据
     

    get aa

为什么要有集群

  • 之前我们已经讲了主从的概念,一主可以多从,如果同时的访问量过大(1000w),主服务肯定就会挂掉,数据服务就挂掉了或者发生自然灾难
  • 大公司都会有很多的服务器(华东地区、华南地区、华中地区、华北地区、西北地区、西南地区、东北地区、台港澳地区机房)

集群的概念

  • 集群是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。 

当请求到来首先由负载均衡服务器处理,把请求转发到另外的一台服务器上。

redis集群

  • 分类
    • 软件层面
    • 硬件层面
  • 软件层面:只有一台电脑,在这一台电脑上启动了多个redis服务。

  • 硬件层面:存在多台实体的电脑,每台电脑上都启动了一个redis或者多个redis服务。

搭建集群

  • 当前拥有两台主机172.16.179.130、172.16.179.131,这⾥的IP在使⽤时要改为实际值

下面是我整理的一些学习资料

 - Python学习路线
 - Python自学视频
 - 300本电子书加学霸笔记
 - 100个游戏源码、项目案例
 - Python安装包以及教程和激活码
   君羊号:【881744585】获取

这都是我总结出来的宝贝,给需要的小伙伴,希望大家的努力都不负所望。【广告勿扰谢谢】

 

以上是关于从零开始学python之数据库的交互的主要内容,如果未能解决你的问题,请参考以下文章

手把手教你学python(从零开始学python)之:模块

从零开始学Python第08课:常用数据结构之列表-1

从零开始学Python-使用Selenium抓取动态网页数据

从零开始学习CANoe(十九)—— Python和CANoe的数据交互

python学习过程之从零开始

从零开始学Axure原型设计(进阶篇)