大数据开发之linux平台基础

Posted 2020-11-13 luochunbigdata

大数据讲解：
========================================
大数据技术：
大数据存储
大数据计算

大数据组件搭建在Linux上的

 

Linux：
========================================

是操作系统内核

Linux发行版：
ubuntu //高校教学

redhat //红帽Linux
//非免费

centos //企业用
//稳定

deepin

debian

麒麟


Windows发行版：
xp
win7
win8
win10


为什么用Linux？
1、免费
2、节省资源
3、开源 //开放源代码

使用虚拟机方式安装Linux：
========================================
电脑内存升到10G或以上


宿主机：
windows

虚拟机：
vmware

客户机：
centos
存在于虚拟机之内的子机

要求：
windows端软件

开发性质的软件：
D:/program //目的是必须安装在没有中文、没有空格的路径下

辅助工具，没有特别多的要求，但是路径必须要统一，如：D:Program Files (x86)
vmware
ide
1、固态硬盘
2、其他磁盘也可以


Vmware：12
Centos: 7


VMWARE：
=========================================

虚拟机默认位置：
D:vmware_client


1、打开网络
2、修改时区
3、点击警告的位置
4、开始安装
5、设置root密码：123456
6、创建用户：centos
123456

Centos：
===================================
[centos@bogon ~]$
[centos@localhost ~]$

centos:用户名
localhost/bogon:主机名
~：当前目录 /home/centos
$: 声明当前是否是超级用户，$符号是普通用户
#：是超级用户

Linux中没有盘符的概念


Windows中如果当前硬盘不够：新硬盘即新盘符

Linux中硬盘不够：添加新硬盘需要挂载，挂载到某一文件夹下


Linux中文件和文件夹是以树形结构存在的：
树的根部路径是 /
/123
/C/Users/chang

Windows不区分大小写

Linux中严格区分大小写

Windows路径右斜线

Linux路径左斜线


Linux基本命令：
=============================
查看帮助：
xxx --help
help xxx

cd //切换目录
cd / // ‘/‘即为参数
cd - //回退到上一个路径

ls //列出当前目录下的文件(夹)
ll //相当于ls -l
ls -a

ll -a相当于ls -al

ip addr //查看ip

pwd //查看当前路径


Linux文件(夹)增删改查
=================================================
文件夹创建
mkdir aaa //创建文件夹
mkdir -p bbb/ccc/ddd //创建多级目录（parents）

文件夹删除
rm -r aaa //删除文件夹

文件夹修改
只是对指定文件夹内容的增删

文件夹查询
ll bbb //查询


创建文件
touch 1.txt

删除文件
rm 1.txt

修改文件
echo helloworld > 1.txt
echo helloworld >> 1.txt

查询文件
cat 1.txt


复制
cp 1.txt 2.txt //复制文件

cp -r aaa ccc //复制文件夹

剪切:适用于文件& 文件夹
mv 1.txt 2.txt //移动(重命名)


任务：
1、在~下创建文件夹aaa
2、在aaa下创建bbb/ccc
3、在aaa下创建1.txt
4、在1.txt中追加一段1024字节的数据
5、使用du命令查看文件夹aaa大小，要求能够显示出单位(1k)
使用帮助或者搜索引擎查看帮助和详细使用信息


切换到家目录有两种方式：
1、cd /home/centos
2、cd ~


查看文件夹大小
du -sh aaa




Linux文件类型与权限问题：
=================================================
- //普通文件
d //文件夹
l //链接，相当于windows中的快捷方式

c //char设备文件，网卡，声卡等驱动设备
b //块设备文件，与硬盘或存储相关的文件
s //套接字文件


/home //家目录位置
/bin //binary，存放可执行文件位置
/sbin //system bin，存放系统级可执行文件位置
/etc //etcetera，等等或剩余，存放配置文件信息

/boot
/proc
/run
/mnt
/usr


-rw-r--r--. 1 centos centos 1025 Dec 6 11:55 4.xxx
drwxrwxr-x. 3 centos centos 17 Dec 6 11:19 bbb

从职能划分：
文件（夹）含有三种权限：
r：read读权限 4
w：write写权限 2
x：execute执行权限 1

从管理范围划分
文件（夹）含有三种权限：
u: user用户
g: group用户组
o：other其他

文件
读：cat
写：echo helloworld >
执行：不能执行

文件夹
读：ll
写：文件夹内容的增删
执行：不能cd


修改权限：
chmod ugo+x 1.txt //将1.txt添加执行权限，相当于chmod a+x
chmod 777 1.txt //

修改拥有者：
chown root:root 2.xxx

切换用户
su root

退出当前用户
exit

临时使用root权限操纵命令
sudo chown centos:centos 2.xxx

sudo 无法使用解决方案：
1、centos用户不在超级用户权限范围内(sudoer)
2、修改方式
1)切换到root用户
2)visudo
第一步：按i进入编辑模式
第二步：centos ALL=(ALL) ALL
第三步：保存退出
esc退出编辑模式
:wq保存退出

用户和用户组：
============================================
创建额外用户：
sudo useradd centos2

设置密码
sudo passwd centos

用户和用户组修改
sudo chown centos:centos 2.xxx

单独修改用户组
sudo chgrp centos2 2.xxx


软件安装和卸载：
===========================================
yum //黄狗
//Yellowdog Updater Modified

安装
sudo yum -y install nano //安装nano文本编辑器


卸载
sudo yum -y remove nano //卸载移除nano


仅下载
sudo yum install --downloadonly --downloaddir=. nano

本地安装
sudo yum localinstall nano-2.3.1-10.el7.x86_64.rpm

查找
yum search ifconfig

安装ifconfig
sudo yum -y install net-tools




文本编辑器nano
==========================================
nano 1.txt

保存：ctrl + o
退出：ctrl + x
剪切：ctrl + k
粘贴：ctrl + u
搜索：ctrl + w

使用nano修改主机名，修改ip
=============================================
主机名
sudo nano /etc/hostname //将localhost.localdomain改为s100

静态ip
sudo nano /etc/sysconfig/network-scripts/ifcfg-ens33
修改成以下形式，改完之后重启network：service network restart
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="2e839451-5e14-41f9-9133-e6712362386b"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.79.100
PREFIX=24
GATEWAY=192.168.79.2
DNS=192.168.79.2

练习题：
======================================================
切换到/home/centos目录
cd /home/centos
创建文件job.shell
touch job.shell
复制文件job.shell为test.shell到当前目录
cp job.shell ./test.shell
将job.shell重命名为task.sh
mv job.shell task.sh
查看当前目录所在的绝对路径
pwd
递归创建目录/home/centos/t/m/test
mkdir -p /home/centos/t/m/test
将test.shell移动到/home/centos/t/m/test下
mv test.shell /home/centos/t/m/test
返回到/home/centos目录
cd /home/centos

putty远程连接工具的使用：
=======================================
192.168.79.128

 

作业：
========================================
/boot
/proc
/run
/mnt
/usr
以上目录含义


在centos用户下创建用户centos2，
在centos2家目录创建文件1.txt和文件夹aaa，
修改文件和文件夹拥有者为centos用户和centos组


使用yum命令在centos端安装mysql，可以查阅资料(百度)


将静态ip配置成功


总结：
基本命令
增删改查
目录与权限
软件安装yum
静态ip和主机名