Notes10Linux系统启动过程，数据库，测试，BSP

Posted 2021-08-19 码农编程录

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Notes10Linux系统启动过程，数据库，测试，BSP相关的知识，希望对你有一定的参考价值。

文章目录

1.Linux系统启动过程
2.数据库
3.测试
4.BSP开发

1.Linux系统启动过程

linux启动时我们会看到许多启动信息，其过程可以分为5个阶段：内i初终

1.内核的引导。
2.运行init。
3.系统初始化。
4.建立终端 。
5.用户登录系统。

1.1 内核引导

当计算机打开电源后，首先是Bios开机自检，按照BIOS中设置的启动设备（通常是硬盘）来启动。操作系统接管硬件以后，首先读入 /boot 目录下的内核文件。

1.2 运行init

init程序的类型：SysV：init, CentOS 5之前, 配置文件： /etc/inittab。
Upstart：init,CentOS 6, 配置文件： /etc/inittab, /etc/init/*.conf。
Systemd： systemd, CentOS 7,配置文件： /usr/lib/systemd/system、 /etc/systemd/system。

init 进程是系统所有进程的起点，你可以把它比拟成系统所有进程的老祖宗，没有这个进程，系统中任何进程都不会启动。init程序首先是需要读取配置文件 /etc/inittab。
在这里插入图片描述
如下是运行级别：许多程序需要开机启动。它们在Windows叫做"服务"（service），在Linux就叫做"守护进程"（daemon）。init进程的一大任务，就是去运行这些开机启动的程序。不同的场合需要启动不同的程序，比如用作服务器时，需要启动Apache，用作桌面就不需要。Linux允许为不同的场合，分配不同的开机启动程序，这就叫做"运行级别"（runlevel）。也就是说，启动时根据"运行级别"，确定要运行哪些程序。
在这里插入图片描述
Linux系统有7个运行级别(runlevel)：
运行级别0：系统停机状态，系统默认运行级别不能设为0，否则不能正常启动。
运行级别1：单用户工作状态，root权限，用于系统维护，禁止远程登陆。
运行级别2：多用户状态(没有NFS)。
运行级别3：完全的多用户状态(有NFS)，登陆后进入控制台命令行模式。
运行级别4：系统未使用，保留。
运行级别5：X11控制台，登陆后进入图形GUI模式。
运行级别6：系统正常关闭并重启，默认运行级别不能设为6，否则不能正常启动。

1.3 系统初始化

在init的配置文件中有这么一行： si::sysinit:/etc/rc.d/rc.sysinit　它调用执行了/etc/rc.d/rc.sysinit，而rc.sysinit是一个bash shell的脚本，它主要是完成一些系统初始化的工作，rc.sysinit是每一个运行级别都要首先运行的重要脚本（它主要完成的工作有：激活交换分区，检查磁盘，加载硬件模块以及其它一些需要优先执行任务），rc.sysinit如下：

l5:5:wait:/etc/rc.d/rc 5

这一行表示以5为参数运行/etc/rc.d/rc，/etc/rc.d/rc是一个Shell脚本，它接受5作为参数，去执行/etc/rc.d/rc5.d/目录下的所有的rc启动脚本，/etc/rc.d/rc5.d/目录中的这些启动脚本实际上都是一些连接文件，而不是真正的rc启动脚本，真正的rc启动脚本实际上都是放在/etc/rc.d/init.d/目录下。而这些rc启动脚本有着类似的用法，它们一般能接受start、stop、restart、status等参数。
在这里插入图片描述

1.4 建立终端

rc执行完毕后，返回init。这时基本系统环境已经设置好了，各种守护进程也已经启动了。init接下来会打开6个终端，以便用户登录系统。在inittab中的以下6行就是定义了6个终端：

1:2345:respawn:/sbin/mingetty tty1
2:2345:respawn:/sbin/mingetty tty2
3:2345:respawn:/sbin/mingetty tty3
4:2345:respawn:/sbin/mingetty tty4
5:2345:respawn:/sbin/mingetty tty5
6:2345:respawn:/sbin/mingetty tty6

从上面可以看出在2、3、4、5的运行级别中都将以respawn方式运行mingetty程序，mingetty程序能打开终端、设置模式。同时它会显示一个文本登录界面，这个界面就是我们经常看到的登录界面，在这个登录界面中会提示用户输入用户名，而用户输入的用户将作为参数传给login程序来验证用户的身份。

1.5 用户登录系统

用户的登录方式有三种：（1）命令行登录（2）ssh登录（3）图形界面登录
在这里插入图片描述

1.6 图形与文字模式切换

Linux预设提供了六个命令窗口终端机让我们来登录。默认我们登录的就是第一个窗口，也就是tty1，这个六个窗口分别为tty1,tty2 … tty6，你可以按下Ctrl + Alt + F1 ~ F6 来切换它们。

如果你安装了图形界面，默认情况下是进入图形界面的，此时你就可以按Ctrl + Alt + F1 ~ F6来进入其中一个命令窗口界面。当你进入命令窗口界面后再返回图形界面只要按下Ctrl + Alt + F7 就回来了。如果你用的vmware 虚拟机，命令窗口切换的快捷键为 Alt + Space + F1 ~ F6. 如果你在图形界面下请按Alt + Shift + Ctrl + F1 ~ F6 切换至命令窗口。
在这里插入图片描述

2.数据库

存储过程（PL/SQL代码集，像没有返回值的自定义函数）和函数需要用户显示调用才执行，而触发器是由一个事件来触发运行，当某个事件发生时会自动地隐式运行，不能被显示的调用。
在这里插入图片描述

2.1 数据库优化

3.1 数据库开启缓存，还要避免缓存失效如下第一行：
在这里插入图片描述
3.3 小结果集适合建索引。如果占表超过50%不适合建索引，因为数据量达到一定量后会走全表扫描，具体原因是mysql内部有一个优化器进行最优策略，聚集索引和非聚集索引查询原理。太频繁加个redis。
3.4 有limit 1，查到一行就不继续往下走。
3.6 myISAM适合大数据量查询，因为进行update时会进行表锁，这时候读表都是无效的，必须等插入操作完成。innoDB与myISAM相反，且支持B树索引，ACID（事务原子性，一致性，，，），行锁。
3.7 大量insert或delete时会把表整个锁起来，导致大量web服务器请求过来进不去表，导致宕机，所以用limit进行拆分。
3.8 不同数据类型占用硬盘空间不一样，如果占用硬盘空间小且紧凑，这样硬盘数据读写快。
3.9 字段长度统一，数据库计算偏移量轻松。从前端查出来的数据会多出来一些空格，用trim去除空格再封装进对象。
在这里插入图片描述
3.10 报错该对象属性不为null，或mysql查询数据为null，用’空格’。
3.11 enum速度比varchar快。
3.12 不管任何方式查询表，最终都会通过主键定位到数据。id主键多用int速度比varchar快。
3.14 避免使用rand()，order by rand()把数据库累死。
3.15 两个字段类型不一致，索引建不上。
在这里插入图片描述

2.2 数据库备份和恢复

冷备份：适用于myisam引擎，不适用于innoDB引擎：关闭mysql，如下或可以点进book文件夹里将.frm（表结构）和.MYD（表数据）和.MYI（表索引）文件拷贝出来，这三个组合到一起就是一张表，恢复的时候只需把你copy出来的这些文件再重新粘贴回去即可。
在这里插入图片描述
热备份：执行mysql安装目录下的bin/里面的这个mysqldump.exe工具。mysqldump是工具 -u是用户名 -p是密码 -A是全部的意思 -d是表结构 -t是表数据 >是重定向的意思 >右边是需要输出的路径和文件名。
全备份：mysqldump -uroot -p123456 -A > /back/backdb.sql
备份指定库命令：mysqldump -uroot -p123456 db1,db2 > /back/backdb.sql
备份指定表命令：mysqldump -uroot -p123456 db1 tb1 tb2, db2 tb2> /back/backdb.sql
备份表结构命令：mysqldump -uroot -p123456 -A -d > /back/backdb.sql
备份表数据命令：mysqldump -uroot -p123456 -A -t > /back/backdb.sql
恢复：source /back/backdb.sql
数据库界面化工具（sqlyog navicat）也可以备份，但是我从来没用过，增量备份xtrabackup。

2.3 数据库精度

在这里插入图片描述
如果想要高精度数据保证，应用SQL Server数据库。

2.4 MySQL开发函数

在这里插入图片描述

如下同理RIGHT。

如下同理小写LOWER 。

2.5 查询上个月数据

在这里插入图片描述
如上精确到日，需要将它格式化到月如下。

现在可以拿表中字段（datetime shijian）数据进行比较，shijian字段精确到秒需要格式到月份如下。

如下只需要月份，所以用curdate()。

如下采用period_diff函数，也就是这个月跟字段shijian的间隔为1。
在这里插入图片描述

2.6 MYSQL 规约

在这里插入图片描述
(一) 建表规约
1.【强制】表达是与否概念的字段，必须使用 is_xxx 的方式命名，数据类型是 unsigned tinyint（1 表示是， 0 表示否），此规则同样适用于 odps 建表。
说明：任何字段如果为非负数，必须是 unsigned。

2.【强制】表名、字段名必须使用小写字母或数字；禁止出现数字开头，禁止两个下划线中间只
出现数字。数据库字段名的修改代价很大，因为无法进行预发布，所以字段名称需要慎重考虑。
正例： getter_admin， task_config， level3_name
反例： GetterAdmin， taskConfig， level_3_name

3.【强制】表名不使用复数名词。
说明：表名应该仅仅表示表里面的实体内容，不应该表示实体数量，对应于 DO 类名也是单数
形式，符合表达习惯。

4.【强制】禁用保留字，如 desc、 range、 match、 delayed 等，参考官方保留字。

5.【强制】唯一索引名为 uk_字段名；普通索引名则为 idx_字段名。
说明： uk_ 即 unique key； idx_ 即 index 的简称。

6.【强制】小数类型为 decimal，禁止使用 float 和 double。
说明： float 和 double 在存储的时候，存在精度损失的问题，很可能在值的比较时，得到不
正确的结果。如果存储的数据范围超过 decimal 的范围，建议将数据拆成整数和小数分开存储。

7.【强制】如果存储的字符串长度几乎相等，使用 CHAR 定长字符串类型。

8.【强制】 varchar 是可变长字符串，不预先分配存储空间，长度不要超过 5000，如果存储长度
大于此值，定义字段类型为 TEXT，独立出来一张表，用主键来对应，避免影响其它字段索引
效率。

9.【强制】表必备三字段： id, gmt_create, gmt_modified。
说明：其中 id 必为主键，类型为 unsigned bigint、单表时自增、步长为 1；分表时改为从
TDDL Sequence 取值，确保分表之间的全局唯一。 gmt_create, gmt_modified 的类型均为
date_time 类型。

10.【推荐】表的命名最好是加上“ 业务名称_表的作用” ，避免上云梯后，再与其它业务表关联
时有混淆。
正例： tiger_task / tiger_reader / mpp_config

11.【推荐】库名与应用名称尽量一致。

12.【推荐】如果修改字段含义或对字段表示的状态追加时，需要及时更新字段注释。

13.【推荐】字段允许适当冗余，以提高性能，但是必须考虑数据同步的情况。冗余字段应遵循：
1）不是频繁修改的字段。
2）不是 varchar 超长字段，更不能是 text 字段。
正例：各业务线经常冗余存储商品名称，避免查询时需要调用 IC 服务获取。

14.【推荐】单表行数超过 500 万行或者单表容量超过 2GB，才推荐进行分库分表。
说明：如果预计三年后的数据量根本达不到这个级别，请不要在创建表时就分库分表。
反例：某业务三年总数据量才 2 万行，却分成 1024 张表，问：你为什么这么设计？答：分 1024
张表，不是标配吗？

15.【参考】合适的字符存储长度，不但节约数据库表空间、节约索引存储，更重要的是提升检索
速度。
正例：人的年龄用 unsigned tinyint（表示范围 0-255，人的寿命不会超过 255 岁）；海龟就
必须是 smallint，但如果是太阳的年龄，就必须是 int；如果是所有恒星的年龄都加起来，那
么就必须使用 bigint。

(二) 索引规约
1.【强制】业务上具有唯一特性的字段，即使是组合字段，也必须建成唯一索引。
说明：不要以为唯一索引影响了 insert 速度，这个速度损耗可以忽略，但提高查找速度是明
显的；另外，即使在应用层做了非常完善的校验和控制，只要没有唯一索引，根据墨菲定律，
必然有脏数据产生。

2.【强制】超过三个表禁止 join。需要 join 的字段，数据类型保持绝对一致；多表关联查询时，
保证被关联的字段需要有索引。
说明：即使双表 join 也要注意表索引、 SQL 性能。

3.【强制】在 varchar 字段上建立索引时，必须指定索引长度，没必要对全字段建立索引，根据
实际文本区分度决定索引长度。
说明：索引的长度与区分度是一对矛盾体，一般对字符串类型数据，长度为 20 的索引，区分
度会高达 90%以上，可以使用 count(distinct left(列名, 索引长度))/count(*)的区分度来
确定。
4.【强制】页面搜索严禁左模糊或者全模糊，如果需要请走搜索引擎来解决。
说明：索引文件具有 B-Tree 的最左前缀匹配特性，如果左边的值未确定，那么无法使用此索
引。

5.【推荐】如果有 order by 的场景，请注意利用索引的有序性。 order by 最后的字段是组合索
引的一部分，并且放在索引组合顺序的最后，避免出现 file_sort 的情况，影响查询性能。
正例： where a=? and b=? order by c; 索引： a_b_c
反例：索引中有范围查找，那么索引有序性无法利用，如： WHERE a>10 ORDER BY b; 索引 a_b
无法排序。

6. 【推荐】利用覆盖索引来进行查询操作，来避免回表操作。
说明：如果一本书需要知道第 11 章是什么标题，会翻开第 11 章对应的那一页吗？目录浏览一
下就好，这个目录就是起到覆盖索引的作用。
正例： IDB 能够建立索引的种类：主键索引、唯一索引、普通索引，而覆盖索引是一种查询的
一种效果，用 explain 的结果， extra 列会出现： using index.
7. 【推荐】利用延迟关联或者子查询优化超多分页场景。
说明： MySQL 并不是跳过 offset 行，而是取 offset+N 行，然后返回放弃前 offset 行，返回 N
行，那当 offset 特别大的时候，效率就非常的低下，要么控制返回的总页数，要么对超过特
定阈值的页数进行 SQL 改写。
正例：先快速定位需要获取的 id 段，然后再关联：
SELECT a.* FROM 表 1 a, (select id from 表 1 where 条件 LIMIT 100000,20 ) b where a.id=b.id
8. 【推荐】 SQL 性能优化的目标：至少要达到 range 级别，要求是 ref 级别，如果可以是 consts
最好。
说明：
1）consts 单表中最多只有一个匹配行（主键或者唯一索引），在优化阶段即可读取到数据。
2） ref 指的是使用普通的索引。（ normal index）
3） range 对索引进范围检索。
反例： explain 表的结果， type=index，索引物理文件全扫描，速度非常慢，这个 index 级别
比较 range 还低，与全表扫描是小巫见大巫。
9. 【推荐】建组合索引的时候，区分度最高的在最左边。
正例：如果 where a=? and b=? ， a 列的几乎接近于唯一值，那么只需要单建 idx_a 索引即可。
说明：存在非等号和等号混合判断条件时，在建索引时，请把等号条件的列前置。如： where a>?
and b=? 那么即使 a 的区分度更高，也必须把 b 放在索引的最前列。
10.【参考】创建索引时避免有如下极端误解：
1）误认为一个查询就需要建一个索引。
2）误认为索引会消耗空间、严重拖慢更新和新增速度。
3）误认为唯一索引一律需要在应用层通过“ 先查后插” 方式解决。
(三) SQL 规约

【强制】不要使用 count(列名)或 count(常量)来替代 count()， count()就是 SQL92 定义的
标准统计行数的语法，跟数据库无关，跟 NULL 和非 NULL 无关。
说明： count(*)会统计值为 NULL 的行，而 count(列名)不会统计此列为 NULL 值的行。
【强制】 count(distinct col) 计算该列除 NULL 之外的不重复数量。注意 count(distinct
col1, col2) 如果其中一列全为 NULL，那么即使另一列有不同的值，也返回为 0。
【强制】当某一列的值全是 NULL 时， count(col)的返回结果为 0，但 sum(col)的返回结果为
NULL，因此使用 sum()时需注意 NPE 问题。
正例：可以使用如下方式来避免 sum 的 NPE 问题： SELECT IF(ISNULL(SUM(g)),0,SUM(g)) FROM
table;
【强制】使用 ISNULL()来判断是否为NULL值。注意：NULL与任何值的直接比较都为NULL。
说明：
1） NULL<>NULL的返回结果是NULL，不是false。
2） NULL=NULL的返回结果是NULL，不是true。
3） NULL<>1的返回结果是NULL，而不是true。
【强制】在代码中写分页查询逻辑时，若 count 为 0 应直接返回，避免执行后面的分页语句。
【强制】不得使用外键与级联，一切外键概念必须在应用层解决。
说明：（概念解释）学生表中的 student_id 是主键，那么成绩表中的 student_id 则为外键。
如果更新学生表中的 student_id，同时触发成绩表中的 student_id 更新，则为级联更新。外
键与级联更新适用于单机低并发，不适合分布式、高并发集群；级联更新是强阻塞，存在数据
库更新风暴的风险；外键影响数据库的插入速度。
【强制】禁止使用存储过程，存储过程难以调试和扩展，更没有移植性。
【强制】 IDB 数据订正时，删除和修改记录时，要先 select，避免出现误删除，确认无误才能
提交执行。
【推荐】 in 操作能避免则避免，若实在避免不了，需要仔细评估 in 后边的集合元素数量，控
制在 1000 个之内。
10.【参考】因阿里巴巴全球化需要，所有的字符存储与表示，均以 utf-8 编码，那么字符计数方
法注意：
说明：
SELECT LENGTH(“阿里巴巴”)；返回为 12
SELECT CHARACTER_LENGTH(“阿里巴巴”)；返回为 4
如果要使用表情，那么使用 utfmb4 来进行存储，注意它与 utf-8 编码。
11.【参考】 TRUNCATE TABLE 比 DELETE 速度快，且使用的系统和事务日志资源少，但 TRUNCATE
无事务且不触发 trigger，有可能造成事故，故不建议在开发代码中使用此语句。
说明： TRUNCATE TABLE 在功能上与不带 WHERE 子句的 DELETE 语句相同。
(四) ORM 规约
【强制】在表查询中，一律不要使用 * 作为查询的字段列表，需要哪些字段必须明确写明。
说明： 1）增加查询分析器解析成本。 2）增减字段容易与 resultMap 配置不一致。
【强制】 POJO 类的 boolean 属性不能加 is，而数据库字段必须加 is_，要求在 resultMap 中
进行字段与属性之间的映射。
说明：参见定义 POJO 类以及数据库字段定义规定，在 sql.xml 增加映射，是必须的。
【强制】不要用 resultClass 当返回参数，即使所有类属性名与数据库字段一一对应，也需要
定义；反过来，每一个表也必然有一个与之对应。
说明：配置映射关系，使字段与 DO 类解耦，方便维护。
【强制】 xml 配置中参数注意使用： #{}， #param# 不要使用${} 此种方式容易出现 SQL 注入。
【强制】 iBATIS 自带的 queryForList(String statementName,int start,int size)不推荐使
用。
说明：其实现方式是在数据库取到 statementName 对应的 SQL 语句的所有记录，再通过 subList
取 start,size 的子集合，线上因为这个原因曾经出现过 OOM。
正例：在 sqlmap.xml 中引入 #start#, #size#
Map<String, Object> map = new HashMap<String, Object>();
map.put(“start”, start);
map.put(“size”, size);
【强制】不允许直接拿 HashMap 与 HashTable 作为查询结果集的输出。
反例：某同学为避免写一个，直接使用 HashTable 来接收数据库返回结果，结果
出现日常是把 bigint 转成 Long 值，而线上由于数据库版本不一样，解析成 BigInteger，导
致线上问题。
【强制】更新数据表记录时，必须同时更新记录对应的 gmt_modified 字段值为当前时间。
【推荐】不要写一个大而全的数据更新接口，传入为 POJO 类，不管是不是自己的目标更新字
段，都进行 update table set c1=value1,c2=value2,c3=value3; 这是不对的。执行 SQL 时，
尽量不要更新无改动的字段，一是易出错；二是效率低；三是 binlog 增加存储。
【参考】 @Transactional 事务不要滥用。事务会影响数据库的 QPS，另外使用事务的地方需要
考虑各方面的回滚方案，包括缓存回滚、搜索引擎回滚、消息补偿、统计修正等。
10.【参考】中的 compareValue 是与属性值对比的常量，一般是数字，表示相等时带上
此条件；表示不为空且不为 null 时执行；表示不为 null 值时执行。