源码安装mysql，及主从同步

Posted 2020-09-06

源码安装mysql

[可选] 如果用源码安装cmake软件:

cd /home/oldboy/tools/

tar xf cmake-2.8.8.tar.gz

cd cmake-2.8.8

./configure

#CMake has bootstrapped.  Now run gmake.

gmake

gmake install

cd ../

 

 依赖包安装(这里直接可以用yum安装cmake)

# yum install cmake gcc gcc-c++ gcc-g77 autoconf automake zlib* fiex* libxml* ncurses-devel libmcrypt* libtool-ltdl-devel* bison.i686 glibc -y

# useradd mysql -s /sbin/nologin -M

# id mysql    操作前备份,操作后检查.

 

安装mysql

 

tar zxf mysql-5.5.32.tar.gz 

cd mysql-5.5.32

cmake . -DCMAKE_INSTALL_PREFIX=/application/mysql-5.5.32 \\

-DMYSQL_DATADIR=/application/mysql-5.5.32/data \\

-DMYSQL_UNIX_ADDR=/application/mysql-5.5.32/tmp/mysql.sock \\

-DDEFAULT_CHARSET=utf8 \\

-DDEFAULT_COLLATION=utf8_general_ci \\

-DEXTRA_CHARSETS=gbk,gb2312,utf8,ascii \\

-DENABLED_LOCAL_INFILE=ON \\

-DWITH_INNOBASE_STORAGE_ENGINE=1 \\

-DWITH_FEDERATED_STORAGE_ENGINE=1 \\

-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \\

-DWITHOUT_EXAMPLE_STORAGE_ENGINE=1 \\

-DWITHOUT_PARTITION_STORAGE_ENGINE=1 \\

-DWITH_FAST_MUTEXES=1 \\

-DWITH_ZLIB=bundled \\

-DENABLED_LOCAL_INFILE=1 \\

-DWITH_READLINE=1 \\

-DWITH_EMBEDDED_SERVER=1 \\

-DWITH_DEBUG=0

 

 没有提示,是最好的结果.

# echo $?  查看是否预编译成功

# make&&make install

# ln -s /application/mysql-5.5.32/ /application/mysql

# mkdir -p /data/{3306,3307}/data

*   {}     输出字母字符序列(可以用作批量创建)

# tree /data

 

----------------------------------------

(rz data.zip--->/; 解压后再次tree /data)

查看my.cnf, 其中的socket那一块 是  多实例登陆需要指定socket.

 

启动脚本中启动和关闭服务的原理:

mysqld_safe --defaults-file=/data/3306/my.cnf 2>&1 >/dev/null &

mysqldadmin -u root -poldboy -S /data/3306/mysql.sock shutdown

 

----------------------------------------

权限控制: 

chown -R mysql:mysql /data

find /data -type f -name "my.cnf"|xargs ls -l

find /data -type f -name "mysql"|xargs chmod 700 

find /data -type f -name "my.cnf"|xargs ls -l

echo \'export PATH=/application/mysql/bin:$PATH\'>>/etc/profile

tail -1 /etc/profile

source /etc/profile

或

ln -s /application/mysql/bin/* /usr/local/sbin/

 

---

 

初始化:

# cd /application/mysql/scripts/
# ./mysql_install_db --basedir=/application/mysql/ --datadir=/data/3306/data/ --user=mysql
  *  vi /etc/hosts        如果有警告的话在hosts文件中做一下修改就好了.
# ./mysql_install_db --basedir=/application/mysql/ --datadir=/data/3307/data/ --user=mysql

 

注意一点:

这里我们要注意/tmp的权限.如果初始化失败,注意chmod -R 1777 /tmp ; 删除/data下的内容,然后重新初始化. 

---

 

启动

(mysql的启动要比web服务是慢的,另外启动后3秒之后才能查看到端口号,脚本里边   sleep 5):

/data/3306/mysql start

/data/3307/mysql start

*启动之后,5秒之后再查端口

netstat -lntup|grep 330

ss -lntup|grep 330

--------------------------

如果 启动有错误,则  可以看一下mysql的错误日志;(辅助查看系统日志/var/log/messages)

 (alias grep=\'grep --color=auto\')

# grep  log-error /data/3306/my.cnf 

#log-error = /data/3306/error.log

log-error=/data/3306/mysql_oldboy3306.err

 

查看错误日志最小化 查看:

# grep -i error /data/3306/mysql_oldboy3306.err 

 

高手都有查看日志的习惯!!!

-------------------------

---

 

登陆:

mysql -S /data/3306/mysql.sock

-S 是指定sock文件(这里演示的是一个没有密码的登陆过程.)

 

设置密码

mysqladmin -uroot password oldboy123 -S /data/3306/mysql.sock 

mysql -uroot -poldboy123 -S /data/3306/mysql.sock 

mysqladmin -uroot password oldboy456 -S /data/3307/mysql.sock 

mysql -uroot -poldboy456 -S /data/3307/mysql.sock 

 

修改完密码之后,在启动脚本中:

# sed -n \'13p\' /data/3306/mysql  

# sed -i \'13 s#oldboy#oldboy123#g\' /data/3306/mysql 

# sed -n \'13p\' /data/3306/mysql    

# sed -n \'13p\' /data/3307/mysql  

# sed -i \'13 s#oldboy#oldboy456#g\' /data/3307/mysql

 

 

关闭服务器,然后重启.

# /data/3306/mysql stop

# /data/3307/mysql stop

# /data/3306/mysql start

# /data/3307/mysql start

netstat -lntup|grep 330

 

---

快速创建mysql实例:

mkdir -p /data/3308/data

\\cp /data/3306/my.cnf  /data/3308/

\\cp /data/3306/mysql  /data/3308/

sed -i \'s/3306/3308/g\' /data/3308/my.cnf 

sed -i \'s/server-id=1/server-id=8/g\' /data/3308/my.cnf 

sed -i \'s/3306/3308/g\' /data/3308/mysql

chown -R mysql:mysql /data/3308

chmod 700 /data/3308/mysql

cd /application/mysql/scripts

./mysql_install_db --datadir=/data/3308/data --basedir=/application/mysql --user=mysql

chown -R mysql:mysql /data/3308

/data/3308/mysql start

sleep 5

netstat -lnt|grep 3308

启动 和 修改密码:

mysqladmin -uroot password oldboy123 -S /data/3308/mysql.sock 

mysql -uroot -poldboy123 -S /data/3308/mysql.sock

 

 

关于mysql.sock文件    及     远程登陆mysql多实例:

1. 本地登录多实例: (需要指定sock文件)

mysql -uroot -poldboy123 -S /data/3308/mysql.sock

mysql.sock文件是mysql服务端与本地mysql客户端进行通信的unix套接字文件.

2.远程登陆mysql多实例:

mysql -uroot -poldboy123 -h 10.0.0.7 -P 3308

远程登陆mysql就不用指定sock文件了,需要-h指定IP和-P 指定端口号.

强调:前提是在10.0.0.7上 对oldboy用户授权.

---

关于同步:

 

文件级别同步软件方案：

1、普通同步：scp/sftp/ftp/samba/rsync/csync2(多级同步)/union(双向同步)

2、实时同步：nfs/inotify/sersync/lsyncd

3、文件系统同步：drbd

======================

第三方同步软件:实时的（实时的不一定是同步的，可能异步的）：

1、db 自带的同步功能

  mysql replication(异步的),oracle dataguard

  redis主从复制，mongodb

=====================

运维思想实现：

1、通过程序双写  就是同步.

---

 mysql主从复制介绍:

mysql的主从复制方案和scp/rsync等文件级别同步是类似的,都是数据的传输,只不过mysql无需借助第三方工具, 而是其自带的复制功能.有一点不同,mysql主从复制并不是数据库磁盘上的文件直接拷贝复制,而是通过逻辑的binlog日志复制到同步的数据本地然后读取里面sql语句应用到数据库的过程.

 

mysql 的主从复制是一个异步的复制过程(虽然一般情况下感觉是实时同步的),数据库数据从一个mysql数据库master,复制到一个另一个数据库slave. 在master在slave之间实现整个主从复制的过程是由三个线程参与完成的.其中有两个线程(sql线程和IO线程)在slave端,另一个线程(IO线程)在master端.

    要实现mysql的主从复制,首先必须打开master端的binlog功能(mysql-bin.xxxx),整个复制过程实际就是slave从master端获取binlog日志, 然后在slave自身上以相同顺序执行获取的binlog日志中所记录的各种操作.

    打开mysql的binlog可以通过在mysql的配置文件my.cnf中的mysqld模块([mysqld]标识后的参数部分)增加log-bin 参数选项.

    [mysqld]

    log-bin = /data/3306/mysql-bin 

 

mysql主从复制原理重点小结:

(不管是面试还是笔试,必须要画图.)

1.主从复制是异步的,逻辑的SQL语句级的复制. 

(拷贝文件复制模式:是mysql高可以用里边的pxc.mysql自带的 就是逻辑的复制)

2.同步时,主库有一个IO线程,从库有两个线程IO和SQL线程.

3.实现主从复制的必要条件,主库开启binlog功能.

4. binlog文件只记录对数据库有更改的SQL语句(来自主数据库内容的变更).

 

 

---

主从AB 具体配置步骤:

修改配置文件中的log-bin和server-id

# egrep "log-bin|server-id"  /data/{3306,3307}/my.cnf

/data/3306/my.cnf:log-bin = /data/3306/mysql-bin

/data/3306/my.cnf:server-id = 1

/data/3307/my.cnf:#log-bin = /data/3307/mysql-bin

/data/3307/my.cnf:server-id = 2

 

修改完配置文件之后,需要重新启动服务.

[root@MySQL scripts]# /data/3306/mysql stop

Stoping MySQL...

[root@MySQL scripts]# /data/3306/mysql start

Starting MySQL...

[root@MySQL scripts]# /data/3307/mysql stop  

Stoping MySQL...

[root@MySQL scripts]# /data/3307/mysql start 

Starting MySQL...

# netstat -lnt|grep 330

mysql> show variables like "log_bin";

mysql> show variables like "server_id";

mysql> show variables;

mysql> grant replication slave on *.* to \'rep\'@\'10.0.0.%\' identified by \'oldboy123\';

mysql> flush privileges;

 

检查权限的两种方式:

select user,host from mysql.user;

show grants for \'rep\'@\'10.0.0.%\';

主库到从库(内部加锁,外部备份)

锁表(锁表后,不能退出mysql,退出后,锁表失败.):

flush table with read lock;
查看binlog和pos;
show master status;
dump数据库:
mysqldump -uroot -poldboy123 --events -S /data/3306/mysql.sock -A -B|gzip >/opt/bak_$(date +%F).sql.gz
 解锁:
mysql> unlock tables;

 

(自动化,免交互的锁表dump命令): mysqldump -uroot -poldboy123 -A -B -F --master-data=2 -x --events -S /data/3306/mysql.sock >/opt/all.sql 参数说明: -A   指的是所有的数据库, 用了-A就需要 --events这个参数. -B 使用这个参数,在从库导入数据的时候,不用创建数据库,可以直接导入. -x 全局锁表 --master-data=2  记录mysql的binlog位置.作用生成如下命令(=2是 只是注释,不执行; =1的话 前面的注释--就去掉了): --CHANGE MASTER TO  MASTER_LOG_FILE=\'mysql-bin.000003\',MASTER_LOG_POS=331;

 

查看mysql的binlog文件,  需要用mysqlbinlog 命令查看:

# mysqlbinlog mysql-bin.000002

# gzip -d bak_2015-07-23.sql.gz

# mysql -uroot -p /data/3307<bak_2015-07-23.sql

开始同步:

mysql> CHANGE MASTER TO MASTER_HOST=\'192.168.12.128\', MASTER_PORT=3306, MASTER_USER=\'rep\', MASTER_PASSWORD=\'oldboy123\', MASTER_LOG_FILE=\'mysql-bin.000001\', MASTER_LOG_POS=475; 

 

mysql -uroot -p\'oldboy456\' -S /data/3307/mysql.sock<< EOF

stop slave;

CHANGE MASTER TO  

MASTER_HOST=\'192.168.12.128\', 

MASTER_PORT=3306,

MASTER_USER=\'rep\', 

MASTER_PASSWORD=\'oldboy123\', 

MASTER_LOG_FILE=\'mysql-bin.000001\',

MASTER_LOG_POS=475;

EOF

 

上一条命令执行之后,在从库3307 会出现master.info和relay.log两个文件:

cat /data/3307/data/master.info

cat /data/3307/relay.log

mysql>start slave;

mysql>show slave status\\G;

 

在主库创建数据库,从库检查是否创建.

 

 

 

主从同步配置步骤 总结:

1.准备两台数据库环境,或者单台多实例环境,能否正常启动和登陆.

2. 配置my.cnf文件,主库配置log-bin和server-id, 从库配置server-id,一般不开启从库log-bin功能.配置参数后需要重启服务.

3.登陆主库增加用于从库连接主库的账户例如:rep,并授权replication slave同步的权限.

4.登陆主库,整库锁表flush table with read lock(窗口关闭后即失效,超时参数到了也失效), 然后show master status 查看binlog的位置状态.

5. 新开窗口, linux命令行备份或导出原有的数据库数据, 并拷贝到从库的所有的服务器目录.

6. 解锁主库,unlock tables;

7. 把 主库导出的原有数据恢复到从库.

8. 根据主库的show master status 查看binlog的位置状态, 在从库执行如下命令: 

mysql> CHANGE MASTER TO MASTER_HOST=\'192.168.12.128\', MASTER_PORT=3306, MASTER_USER=\'rep\', MASTER_PASSWORD=\'oldboy123\', MASTER_LOG_FILE=\'mysql-bin.000001\', MASTER_LOG_POS=475; 

9. 从库开启同步开关,start slave

10.从库show slave status \\G;  检查同步状态,并在主库进行更新测试.

补充: flush tables with read lock;

        flush table with read lock;

mysqlbinlog mysql-bin.00001        mysqlbinlog是专门查看binlog日志的命令

linux运维必会的知识:

http://bbs.51cto.com/thread-1162430-1.html

---

mysql主从复制常见问题汇总:

1.主库show master status 没结果, 主库binlog功能未开启,或没有生效.

2.检查CHANGE MASTER ..语句是否有问题.

3.服务无法启动故障

# /data/3306/mysql start

MySQL is running...

# ps -ef|grep mysql

root     1636    1595     pts/0            grep --color=auto mysql

 

*如果在配置文件正确的前提下, 可以考虑把 pid文件和sock文件删除掉.(有些时候,pkill mysql之后,它的sock文件还存在,所以会导致无法开启服务.后期自己写脚本完善开启服务的判断.)

# rm -f /data/3306/mysql.sock /data/3306/*.pid

# /data/3306/mysql start

Starting MySQL...

4.由于切换binlog 导致 show master status 位置变化无意向.

可能是锁表没锁住,或者是用了-F的参数(当然用了F,不会有影响.)