开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 系统运维 -> linux -> 正文阅读

[系统运维]linux

linux

历史

创始人

1991年：芬兰大学大三学生Linus Torvalds（林纳斯?托瓦兹）公开内核：kernel

组成

Minix的编程思想
GNU组件
kernel内核

特点

开源开源可以不断完善代码功能，并提高系统性能和安全性

免费可以扩大操作系统的影响力

安全 Linux有严格的权限管理

稳定 Linux开发时吸取了Unix多年的经验，以及开源能使更多人参与漏洞的处理

多用户一个Linux系统可以同时被多个不同用户使用，每个用户对自己的资源（例如：文件、设备）有特定的权限，互不影响

多任务同时执行多个程序，而各个程序的运行互相独立

支持多线程提高任务的并发度

一切皆文件普通文件、目录、设备等在Linux都被当做文件来对待，只是这些文件的类型不同而已

没有后缀名 Linux的一个文件是否能被执行或一个文件属于哪种类型，和后缀名没有太大的关系，主要和文件的属性有关

发行版本

红帽、红旗、中标麒麟、debain、suse、opensuse、centos

目录结构

/bin

系统必备执行命令

/boot

核心文件：连接文件以及镜像文件

/dev

外部设备

/etc

/home

/lib

动态连接共享库
- 类似于Windows里的DLL文件

/lib64

动态链接库64位

/media

/mnt

临时挂载

/opt

/proc

虚拟的目录
- 访问这个目录来获取系统信息

/root

/run

/sbin

系统管理程序

/srv

服务的数据

/sys

该目录下安装了2.6内核中新出现的一个文件系统 sysfs

/tmp

临时文件
- 似于Windows的回收站，里面的内容会定期删除

/usr

应用程序和文件

/var

命令

命令的必要性

运行稳定，干扰性能项相对较少、操作也比较快捷方便

命令的格式和语法

命令+空格+选项+空格+参数
- 命令：指单词或者词组的全称或者简写
- 选项：选项是包括一个或多个字母的代码，前面有一个“-”连字符，主要用于扩展基础命令
- 参数：命令操作的对象

基础命令

显示自身whoami

显示登录用户名字时间ip——who am i

当前有谁在登录who

pwd

家目录 ——cd或者cd~

回到上一次所在目录

cd -

cd 空格…

切换到指定路径

相对
- cd home/
绝对
- cd /home/

网络配置信息——ifconfig

历史命令——history

帮助类命令

看一个命令是什么功能

whatis + 命令

命令的使用手册

man + 命令

内部命令的使用帮助

help + 内部命令

外部命令的使用帮助

外部命令 + --help

文本编辑命令

对文件内容进行编辑

vi/vim + 文件

三种模式

一般
- 复制第一行 yy
- 粘贴到下一行 p
- 撤销 u
- 删除当前行 dd
- 删除当前行开始共n行 d+数字n+d
- 移动到文件第一行 gg
- 移动到文件末尾行G
编辑
- 当前位置处开始 i
- 当前行的下一行o
- 当前行的上一行 O
- 当前行的末尾 A
指令
- 进入方式：或/或？
- 保存：w
- 退出：q
- 强制执行是：！
- 快捷保存退出shift zz
- 显示行号：set nu
- 查询关键字
  - 向上查询
    - ？关键字回车在按n
  - 向下查询
    - / 关键字回车再按n

文件目录类命令

-i 显示node号
-l 显示文件属性权限等
-a 显示隐藏文件

创建新的空文件

touch + 文件名称

创建新的目录

创建一个
- mkdir 目录名
创建多个
- mkdir -p d1/d2/d3

将内容输出显示

内容追加
- echo + 输出内容 >> 文件
覆盖文件
- echo + 输出内容 > 文件
输出内容
- echo+内容
将数据指定格式进行输出
- printf + 格式 + 参数

对文件进行重命名

mv + 原文件名 + 新文件名

将文件目录移动到指定路径下

mv test1.txt /opt/
- mv + 文件/目录 + 路径

复制文件

复制到指定文件中
- cp 原文件目标文件
复制到指定路径
- cp 原文件指定路径
将目录下所有文件一起复制
- cp -r 原目录目标位置

给文件创建链接

硬链接
- ln 文件1 文件2
软链接
- ln -s 文件1 路径文件2

查看文件内容

从头开始看
- cat 文件
  - -n 列出行号包括空白
  - -b ：列出行号不包括空白
  - -v ：列出一些看不出来的特殊字符
  - -T ：将 TAB 字符显示为 ^I
- 默认显示前n行
  - head -n 文件
倒着看
- tac 文件
- tail 文件
  - -c ：倒序按字节显示的字节数
  - -n ：倒序按行显示的行数
  - -f ：实时追踪文档的更新内容
  - -F ：根据文件名字进行实时追踪，当文件改名或删除文件后，保持重试，当有新的文件和它同名时，继续追踪
- tailf 文件
  - 几乎等同于tail -f, 当文件改名之后它也能继续跟踪。与tail -f不同的是，如果文件不增长，它不会去访问磁盘文件
一页一页的看
- more + 文件——有进度条
- less + 文件——无进度条
找指定的字符串
- egrep + 字符串规则 + 文件或目录

比较给定的两个文件的不同

diff 文件1 文件2
- -i ：不检查大小写的不同
- -y ：并列的显示文件的异同之处

删除文件或目录

rm 文件或目录
- -r ：删除目录以及其下的所有文件
- -f ：省略“是否删除”的确认询问
rmdir + 要删除的空目录

时间日期类命令

显示当前日期

date“+”格式化字符串

+号必须有

date +"%Y-%m-%d %H:%M:%S"

查看近3月的日历

cal -3

查看硬件时间

hwclock

设置系统时间

date -s + 时间格式字符串

显示非当前日期

date -d + 参数 + [格式化字符串]

同步网络时间

ntpdate -u + 远程时间服务器地址

用户管理命令

添加新用户

useradd 用户名

设置用户密码

passwd 用户名

判断用户是否存在

id 用户名

切换用户

不获取变量
- su 用户名
获取权限和变量
- su - 用户名

修改用户权限

visudo

设置普通用户以root用户权限执行命令

sudo + 命令

删除用户

userdel + 用户名
- 不删文件
userdel -r + 用户名
- 删除所有

用户组管理命令

查看已建用户组

cat /etc/group

创建用户组

groupadd 组名

修改用户组名

groupmod -n 新用户组名旧名

删除组

groupdel 组名

文件权限类命令

第0位表示类型

- 代表文件
d 代表目录
c 字符流，串行端口设备，例如键盘、鼠标(一次性读取装置)
s socket 套接字
p 管道
l 链接文档(link file)
b 设备文件，可供储存的接口设备(可随机存取装置)

第1-3位确定属主（该文件的所有者）拥有该文件的权限。—User

第4-6位确定属组（所有者的同组用户）拥有该文件的权限，—Group

第7-9位确定其他用户拥有该文件的权限 —Other

变更文件或目录的权限

chmod + {ugoa}{±=}{rwx} + 文件或目录

u：所属主 g：所属组 o：其它用户 a：（all）代表ugo

+：增加权限 -：去掉权限 =：仅有某些权限

文件: r查看；w修改；x执行文件

目录: r列出目录内容；w在目录中创建和删除；x进入目录

变更文件或目录的所有者

递归变更目录的所有者

递归变更目录的所有者及所属组

chown -R + 用户名：用户组 + 目录

改变文件或目录的所属组

系统监控类

列出文件系统的整体磁盘使用情况

df
- -h ：以人们较易阅读的 GBytes, MBytes, KBytes 等格式自行显示；另外还有kmT

显示目录或文件的大小

du 文件或目录
- -h ：以K，M，G为单位，提高信息的可读性

监控磁盘IO及CPU的负载情况

iostat

解析：

结果分为两部分：cpu统计信息、设备统计信息。

%user：用户模式下所花费CPU时间的百分比，合理值为<60%

%nice：用户进程改变过优先级的进程占用CPU时间的百分比

%system：内核进程所花费的CPU时间的百分比，合理值为%user+%system <80%

%iowait：IO等待所占用的CPU时间的百分比(重要)，合理值为<30%(不同功能的服务器不同，比如邮件服务器会比该值要大)

%steal：丢失时间占用CPU时间的百分比

一般来说%idle持续游走在20%以下，说明CPU繁忙，空闲太少，瓶颈出现在CPU的性能层面。%iowait高而%idle 在70%以上，说明cpu不忙，但是数据还在等待读写，瓶颈出现在IO设备层面，也就是磁盘有问题。

Device:设备名称，这里还有个dm，它是disk mapper的缩写，可以在/dev/mapper下查对应关系，或者使用iostat -N 直接显示出磁盘分区对应关系。

tps：设备每秒接受的I/O传输请求tps = transfers per second

kB_read/s设备每秒读取的数据量(KB)，参数-m可以换成MB

kB_wrtnls设备每秒写入的数据量(KB)，参数-m可以换成MB

kB_read设备读取的总数据量

kB_wrtn设备写入的总数据量
- -d ：只显示磁盘使用情况；
- -c ：只显示CPU使用情况；
- -k ：以 KB 为单位显示
- -m ：以 MB 为单位显示
- -t ：显示统计的时间
- -x ：显示详细信息；
- -N ：显示磁盘名称；
- -p ：显示每个磁盘的详细信息，比如sda这个磁盘分了两个区，都要让它显示出来
- 数字n1 + 数字n2 ：每隔n1秒统计一次，共统计n2次

内存的使用情况

free

解析：
Mem 行(第二行)是物理内存的使用情况。
Swap 行(第三行)是交换空间的使用情况。
total 列：显示系统总的可用物理内存和交换空间大小。
used 列：显示已经被使用的物理内存和交换空间。
free 列：显示还有多少物理内存和交换空间可用使用。
shared 列：显示被共享使用的物理内存大小，在linux里面有很多共享内存，比如一个libc库，很多程序调用，但实际只存一份。
buff/cache 列：显示被 buffer 和 cache 使用的物理内存大小，即buff/cache的意思是 buffer 和 cache之和。
available 列：显示还可以被应用程序使用的物理内存大小。

关系：total = used + free + buff/cache
- -b ：以字节为存储单位对当前的内存使用情况输出
- -k ：以KB为存储单位对当前的内存使用情况输出
- -m ：以MB为存储单位对当前的内存使用情况输出
- -g ：以GB为存储单位对当前的内存使用情况输出
- -h ：以人类可读的方式输出
- -s ：指定以秒为时间单位，持续输出当前系统内存的使用状况，直到按下ctrl+c停止输出。
- -t ：输出物理内存加上虚拟内存的总和

查看磁盘分区详情

fdisk
- -l ：列出分区表；

挂载

mount -t 文件类型 -o 连接方式设备名称挂载路径

卸载已经加载的文件系统

umount 路径

创建Linux文件系统

mkfs + 选项 + 参数

搜索查找类命令

在指定目录下查找文件

find
- -name + filename ：查找名为filename的文件
- -user + username ：按文件属主来查找
- -group + groupname ：按组来查找
- -type b/d/c/p/l/f ：查是块设备、目录、字符设备、管道、链接、普通文件
- -size + n[c] ：查长度为n块[或n字节]的文件

从Linux自带的数据库中查找文件

locate + 文件名称
- updatedb

配合管道符一块使用的强大查询

grep
- -c ：显示有多少行被匹配到
- -n ：显示行号
- -i ：忽略大小写
- -v ：反向搜索，即不显示要搜索的东西

查找命令是否存在

which + 命令

差文件的路径

whereis

进程线程类命令

查看当前系统的进程状态

ps
- -a ：显示现行终端机下的所有程序，包括其他用户的程序。
- -u ：以用户为主的格式来显示程序状况。
- -x ：显示所有程序，不以终端机来区分

树状图的方式

pstree
- -p ：显示进程的PID
- -u ：显示进程的所属用户

实时动态地查看系统的整体运行情况

top
- -d + 秒数：指定top命令每隔几秒更新。默认是3秒。
- -i ：使top不显示任何闲置或者僵死进程。
- -p ：通过指定监控进程ID来仅仅监控某个进程的状态。
- 按键操作：
- P ：以CPU使用率排序，默认就是此项
- M ：以内存的使用率排序
- N ：以PID排序
- q ：退出top
- R ：按某列颠倒顺序排序

Linux中网络系统的状态信息

netstat
- -a ：显示所有通信状态的进程
- -n ：以数字化的方式显示
- -p ：显示pid
- -t ：显示tcp协议通信的进程
- -l ：显示listen状态的进程

kill -9 11

压缩和解压类命令

(1)gzip/gunzip压缩

特点：，原来文件消失
（1）只能压缩文件不能压缩目录
（2）不保留原来的文件

（2）zip/unzip

特点：，会保留原来的文件

（3）tar

tar + 选项 + 参数
- -c ：产生.tar打包文件 create
- -v ：显示详细信息 verbose
- -f ：指定压缩后的文件名 filename
- -z ：打包同时压缩
- -x ：解包.tar文件

后台服务管理类命令 systemctl

开启服务

start

关闭服务

stop

重启服务

restart

开机启动服务

enable

开机关闭服务

disable

查看服务状态

status

查看正在运行的服务

–type service

查看所有服务器自启配置

list-unit-files

将程序放在后台执行，不会因为终端关闭而结束

nohup
- 将日志重定向

系统定时任务

crontab

-e ：编辑crontab定时任务
-l ：查询crontab任务
-r ：删除当前用户所有的crontab任务

crontab表达式

第一个“*” 一小时当中的第几分钟 0-59
第二个“*” 一天当中的第几小时 0-23
第三个“*” 一个月当中的第几天 1-31
第四个“*” 一年当中的第几月 1-12
第五个“*” 一周当中的星期几 0-7（0和7都代表星期日）
特殊符号
- - 代表任何时间。比如第一个“*”就代表一小时中每分钟都执行一次的意思。
- ，代表不连续的时间。比如“0 8,12,16 * * * 命令”，就代表在每天的8点0分，12点0分，16点0分都执行一次命令
- - 代表连续的时间范围。比如“0 5 * * 1-6命令”，代表在周一到周六的凌晨5点0分执行命令
- /n 代表每隔多久执行一次。比如“/10 * * * * 命令”，代表每隔10分钟就执行一遍命令

上传下载类

下载

wget
- 格式：wget+选项+参数
- -c -o 断点续传

上传

工具直接拖拽方式
sftp
- crt 快捷键alt+p
- lls 本地的目录
- lcd 本地目录地址
- 选则好地址put上传
  - get下载
lrzsz
- rz
- rs

软件安装卸载类命令

查询所有rpm安装包

rpm -qa

卸载rpm包

格式：rpm -e rpm软件包
格式：rpm -e --nodeps rpm软件包，如果要卸载的某个rpm包被其它rpm包依赖，可以通过加–nodeps参数强制卸载。

安装rpm包

格式：rpm -ivh 软件包文件

软件在线安装yum

格式：yum+选项+参数

清理所有缓冲数据
- yum clean all
-y:对所有提问都回答“yes”
删除指定的rpm软件包
- yum remove firefox
安装
- install
更新
- update

关联网络yum源

本地yum源

准备好镜像文件

配置服务地址
- 1. 复制本地配置文件 cp media.repo
  - 修改配置
    - 1 修改名字
      - hostnamectl set-hostname 名字
    - 删除无用的路径
      - dd ///
    - 重写本地配置地址
      - ///mnt/my
    - 配置优先级
      - priority=2

在mnt目录创建新文件，挂载镜像文件

makdir 新文件
mount -o loop /dev/sr0 /mnt/新文件

复制文件避免重启

cp -r
- 配置好新的地址

逻辑删除其他配置

清理缓存

yum clean all

yum repolist

查看yum源状态

执行创建yum仓库命令 createrepo 路径

测试安装相应文件

网络yum源

下载配置文件

wget -c -O 163.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo

移动到指定目录替换本地yum文件

mv CentOS7-Base-163.repo
/etc/yum.repos.d/

/etc/yum.repos.d/目录

备份CentOS-Base.repo 文件

clean

yum clean all
yum makecache
- 下载服务器的包保存到本地

ssh

ssh root@id

查看是否安装ssh服务和客户端

yum list installed | grep openssh-server

查看服务端

netstat -anp|grep 22

查看客户端命令

which ssh

ssh免密登录

生成公钥和私钥

ssh-keygen -t rsa

将公钥拷贝到要免密登录的目标机器上

ssh-copy-id 服务器id

公钥和私钥地址

httpd登录

安装相应的软件

yum install -y httpd

启动httpd服务

systemctl start httpd

关闭防火墙

systemctl stop firewalld

查看防火墙服务状态

systemctl status firewalld

浏览器输入地址

jdk环境搭建

jdk安装

下载jar包

修改权限

visudo
- 只能root用户
用户权限
- offcn ALL=(ALL) NOPASSWD:ALL
group 权限
- %offcn ALL=(ALL) NOPASSWD:ALL

mkdir bin apps data logs software
定时器、日志、软件

文件传入到software目录

解压jdk到/home/offcn/apps

tar -zxvf jdk-8u144-linux-x64.tar.gz -C/home/offcn/apps
- 必须在本目录下执行明

环境搭建

sudo vim /etc/profile
- shift GG直接到文本末
- 编辑内容
  - export JAVA_HOME=/home/offcn/apps/jdk1.8.0_144
    export PATH= $P A T H :$ JAVA_HOME/bin
    - 保存退出

让修改后的文件生效

source /etc/profile

测试jdk是否安装成功

java -version

发送同步文件

scp -r 路径 node-1:$pwd

克隆

yum源

jdk

hddp协议

关闭防火墙

删除网卡uuid

修改主机名

修改网关

vim /etc/sysconfig/network-scripts/ifcfg-ens33

免密

ssh-keygen
rm -rf .ssh
ssh-copy-id node-a-1
scp authorized_keys node-a-5:$PWD

修改用户权限

集群搭建

安装jdk

同上

时钟同步

（1）时间服务器配置（必须root用户）
- 检查ntp是否安装,若没有安装则使用yum install -y ntp进行安装
  - rpm -qa|grep ntp
修改ntp配置文件
- restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
  - 添加
- #server 0.centos.pool.ntp.org iburst
- #server 1.centos.pool.ntp.org iburst
- #server 2.centos.pool.ntp.org iburst
- #server 3.centos.pool.ntp.org iburst
- server 127.127.1.0
- fudge 127.127.1.0 stratum 10
- 修改/etc/sysconfig/ntpd文件
  - sudo vim /etc/sysconfig/ntpd
重新启动ntpd
- 查询状态
  - systemctl status ntpd
- 重启
  - sudo systemctl start ntpd
- 开机启动
  - sudo systemctl enable ntpd
编写脚本
- crontab -e
  - */1 * * * * sudo /usr/sbin/ntpdate ntp.aliyun.com
- crontab -e
  - */1 * * * * sudo /usr/sbin/ntpdate ntp.aliyun.com
- crontab -e
  - */1 * * * * sudo /usr/sbin/ntpdate ntp.aliyun.com
其他机器配置
- 将其它机器的ntp服务停掉并关闭开机启动
  - 检查是否安装，没有同上
  - 停止ntpd服务
    - sudo systemctl stop ntpd
  - 关闭开机启动
    - sudo systemctl disable ntpd
- 在其他机器配置1分钟与时间服务器同步一次
  - crontab -e
    - 编写脚本
      - */1 * * * * sudo /usr/sbin/ntpdate bd-offcn-01
修改任意机器时间
- sudo date -s “2017-9-11 11:11:11”
十分钟后查看机器是否与时间服务器同步
- date

安装hadoop

配置

修改配置 1 Java环境变量以及日志存储路径

cd $HADOOP_HOME/etc/hadoop
/home/offcn/apps/hadoop-3.2.1/etc/hadoop
vim hadoop-env.sh

export JAVA_HOME=/home/offcn/apps/jdk1.8.0_144


export HADOOP_LOG_DIR=/home/offcn/logs/hadoop-3.2.1


 


export HDFS_NAMENODE_USER=offcn


export HDFS_DATANODE_USER=offcn


export HDFS_SECONDARYNAMENODE_USER=offcn


export YARN_RESOURCEMANAGER_USER=offcn


export YARN_NODEMANAGER_USER=offcn

配置2 核心配置文件core-site.xml
- vim core-site.xml
  fs.defaultFS hdfs://192.168.179.101:8020 hadoop.data.dir /home/offcn/data/hadoop-3.2.1 hadoop.proxyuser.offcn.hosts * hadoop.proxyuser.offcn.groups *
配置3 配置hdfs-site.xml
- vim hdfs-site.xml

配置4 配置yarn-site.xml

vim yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>192.168.179.102</value>
</property>
<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

配置5 配置mapred-site.xml
- vim mapred-site.xml
  mapreduce.framework.name yarn
配置6 配置works
- vim workers
配置7 集群上分发配置好的Hadoop配置文件
- scp -r /home/offcn/apps/hadoop-3.2.1 bd-offcn-02:$PWD
- 验证