1. 蓝洛水深首页
  2. 教程
  3. 软件

Python自学Day31-35 玩转Linux操作系统

玩转Linux操作系统

操作系统发展史

只有硬件没有软件的计算机系统被称之为“裸机”,我们很难用“裸机”来完成计算机日常的工作(如存储和运算),所以必须用特定的软件来控制硬件的工作。最靠近计算机硬件的软件是系统软件,其中最为重要的就是“操作系统”。“操作系统”是控制和管理整个计算机硬件和软件资源、实现资源分配和任务调配、为系统用户以及其他软件提供接口和环境的程序的集合。

没有操作系统(手工操作)

在计算机诞生之初没有操作系统的年代,人们先把程序纸带(或卡片)装上计算机,然后启动输入机把程序送入计算机,接着通过控制台开关启动程序运行。当程序执行完毕,打印机输出计算的结果,用户卸下并取走纸带(或卡片)。第二个用户上机,重复同样的步骤。在整个过程中用户独占机器,CPU等待手工操作,资源利用率极低。

批处理系统

首先启动计算机上的一个监督程序,在监督程序的控制下,计算机能够自动的、成批的处理一个或多个用户的作业。完成一批作业后,监督程度又从输入机读取作业存入磁带机。按照上面的步骤重复处理任务。监督程序不停的处理各个作业,实现了作业的自动转接,减少了作业的建立时间和手工操作时间,提高了计算机资源的利用率。 批处理系统又可以分为单道批处理系统、多道批处理系统、联机批处理系统、脱机批处理系统。

分时系统和实时系统

分时系统是把处理器的运行时间分成很短的时间片,按时间片轮流把处理机分配给各联机作业使用。 若某个作业在分配给它的时间片内不能完成其计算,则该作业暂时中断,把处理机让给另一作业使用,等待下一轮调度时再继续其运行。由于计算机速度很快,作业运行轮转得很快,给每个用户的感觉是他独占了一台计算机。而每个用户可以通过自己的终端向系统发出各种操作控制命令,在充分的人机交互情况下,完成作业的运行。为了解决分时系统不能及时响应用户指令的情况,又出现了能够在在严格的时间范围内完成事件处理,及时响应随机外部事件的实时系统。

通用操作系统

  • 1960s:IBM的System/360系列的机器有了统一的操作系统OS/360。
  • 1965年:AT&T的贝尔实验室加入GE和MIT的合作计划开始开发MULTICS。
  • 1969年:MULTICS项目失败,Ken Tompson赋闲在家,为了玩“Space Travel”游戏用汇编语言在当时已经被淘汰的PDP-7上开发了Unics。
  • 1970年~1971年:Ken Tompson和Dennis Ritchie用B语言在PDP-11上重写了Unics,并在Brian Kernighan的建议下将其更名为Unix。

Python自学Day31-35 玩转Linux操作系统

  • 1972年~1973年:Dennis Ritchie发明了C语言来取代可移植性较差的B语言,并开启了用C语言重写Unix的工作。
  • 1974年:Unix推出了里程碑意义的第5版,几乎完全用C语言来实现。
  • 1979年:从Unix第7版开始,AT&T发布新的使用条款,将Unix私有化。
  • 1987年:Andrew S. Tanenbaum教授为了能在课堂上为学生讲解操作系统运作的细节,决定在不使用任何AT&T的源代码前提下,自行开发与Unix兼容的操作系统以避免版权上的争议,该系统被命名为Minix。

Python自学Day31-35 玩转Linux操作系统

  • 1991年:Linus Torvalds就读于芬兰赫尔辛基大学期间,尝试在Minix上做一些开发工作,但因为Minix只是作为教学用途的操作系统,功能并不强大,为了方便在学校的新闻组和邮件系统中读写和下载文件,Linus编写了磁盘驱动程序和文件系统,这些东西形成了Linux系统内核的雏形。

Python自学Day31-35 玩转Linux操作系统

下图是Unix操作系统家族的图谱。

Python自学Day31-35 玩转Linux操作系统

Linux概述

Linux是一个通用操作系统。一个操作系统要负责任务调度、内存分配、处理外围设备I/O等操作。操作系统通常由内核(运行其他程序,管理像磁盘、打印机等硬件设备的核心程序)和系统程序(设备驱动、底层库、shell、服务程序等)两部分组成。

Linux内核是芬兰人Linus Torvalds开发的,于1991年9月发布。而Linux操作系统作为Internet时代的产物,它是由全世界许多开发者共同合作开发的,是一个自由的操作系统(注意自由和免费并不是同一个概念)。

Linux系统优点

  1. 通用操作系统,不跟特定的硬件绑定。
  2. 用C语言编写,可移植性强,有内核编程接口。
  3. 支持多用户和多任务,支持安全的分层文件系统。
  4. 大量的实用程序,完善的网络功能以及强大的支持文档。
  5. 可靠的安全性和良好的稳定性,对开发者更友好。

Linux系统发行版本

  1. Redhat
  2. Ubuntu
  3. CentOS
  4. Fedora
  5. Debian
  6. openSUSE

基础命令

Linux系统的命令通常都是如下所示的格式:

  • 获取登录信息

  • 查看自己使用的Shell – ps。

Shell也被称为“壳”或“壳程序”,它是用户与操作系统内核交流的翻译官,简单的说就是人与计算机交互的界面和接口。目前很多Linux系统默认的Shell都是bash(Bourne Again SHell),因为它可以使用tab键进行命令和路径补全、可以保存历史命令、可以方便的配置环境变量以及执行批处理操作。

  • 查看命令的说明和位置 – whatis / which / whereis。

  • 清除屏幕上显示的内容 – clear。
  • 查看帮助文档 – man / info / help / apropos。

  • 查看系统和主机名 – uname / hostname。

  • 时间和日期 – date / cal。

  • 重启和关机 – reboot / shutdown。

  • 退出登录 – exit / logout。
  • 查看历史命令 – history。

实用程序

文件和文件夹操作

  • 创建/删除空目录 – mkdir / rmdir。

  • 创建/删除文件 – touch / rm。

    • touch命令用于创建空白文件或修改文件时间。在Linux系统中一个文件有三种时间:
      • 更改内容的时间 – mtime。
      • 更改权限的时间 – ctime。
      • 最后访问时间 – atime。
    • rm的几个重要参数:
      • -i:交互式删除,每个删除项都会进行询问。
      • -r:删除目录并递归的删除目录中的文件和目录。
      • -f:强制删除,忽略不存在的文件,没有任何提示。
  • 换和查看当前工作目录 – cd / pwd。
  • 查看目录内容 – ls。
    • -l:以长格式查看文件和目录。
    • -a:显示以点开头的文件和目录(隐藏文件)。
    • -R:遇到目录要进行递归展开(继续列出目录下面的文件和目录)。
    • -d:只列出目录,不列出其他内容。
    • -S / -t:按大小/时间排序。
  • 看文件内容 – cat / tac / head / tail / more / less / rev / od。

  • 拷贝/移动文件 – cp / mv。

  • 文件重命名 – rename。

  • 查找文件和查找内容 – find / grep。

  • 创建链接和查看链接 – ln / readlink。

  • 压缩/解压缩和归档/解归档 – gzip / gunzip / xz。

  • 归档和解归档 – tar。

  • 将标准输入转成命令行参数 – xargs。

下面的命令会将查找当前路径下的html文件,然后通过xargs将这些文件作为参数传给rm命令,实现查找并删除文件的操作。

下面的命令将a.txt文件中的多行内容变成一行输出到b.txt文件中,其中<表示从a.txt中读取输入,>表示将命令的执行结果输出到b.txt中。

  • 显示文件或目录 – basename / dirname。
  • 其他相关工具。
    • sort – 对内容排序
    • uniq – 去掉相邻重复内容
    • tr – 替换指定内容为新内容
    • cut / paste – 剪切/黏贴内容
    • split – 拆分文件
    • file – 判断文件类型
    • wc – 统计文件行数、单词数、字节数
    • iconv – 编码转换

管道和重定向

  • 管道的使用 – |。

例子:查找当前目录下文件个数。

例子:列出当前路径下的文件和文件夹,给每一项加一个编号。

例子:查找record.log中包含AAA,但不包含BBB的记录的总数

  • 输出重定向和错误重定向 – > / >> / 2>。

  • 输入重定向 – <

  • 多重定向 – tee。

下面的命令除了在终端显示命令ls的结果之外,还会追加输出到ls.txt文件中。

别名

  • alias

  • unalias

文本处理

  • 字符流编辑器 – sed。

sed是操作、过滤和转换文本内容的工具。假设有一个名为fruit.txt的文件,内容如下所示。

接下来,我们在第2行后面添加一个pitaya。

在第2行前面插入一个waxberry。

删除第3行。

删除第2行到第4行。

将文本中的字符a替换为@。

将文本中的字符a替换为@,使用全局模式。

  • 模式匹配和处理语言 – awk。

awk是一种编程语言,也是Linux系统中处理文本最为强大的工具,它的作者之一和现在的维护者就是之前提到过的Brian Kernighan(ken和dmr最亲密的伙伴)。通过该命令可以从文本中提取出指定的列、用正则表达式从文本中取出我们想要的内容、显示指定的行以及进行统计和运算,总之它非常强大。

假设有一个名为fruit2.txt的文件,内容如下所示。

显示文件的第3行。

显示文件的第2列。

显示文件的最后一列。

输出末尾数字大于等于300的行。

上面展示的只是awk命令的冰山一角,更多的内容留给读者自己在实践中去探索。

用户管理

  • 创建和删除用户 – useradd / userdel。

    • -d – 创建用户时为用户指定用户主目录
    • -g – 创建用户时指定用户所属的用户组
  • 创建和删除用户组 – groupadd / groupdel。

说明:用户组主要是为了方便对一个组里面所有用户的管理。

  • 修改密码 – passwd。

    • -l / -u – 锁定/解锁用户。
    • -d – 清除用户密码。
    • -e – 设置密码立即过期,用户登录时会强制要求修改密码。
    • -i – 设置密码过期多少天以后禁用该用户。
  • 查看和修改密码有效期 – chage。

设置hellokitty用户100天后必须修改密码,过期前15天通知该用户,过期后15天禁用该用户。

  • 切换用户 – su。

  • 以管理员身份执行命令 – sudo。

  • 编辑sudoers文件 – visudo。

这里使用的编辑器是vi,关于vi的知识在后面有讲解。该文件的部分内容如下所示:

  • 显示用户与用户组的信息 – id。
  • 给其他用户发消息 -write / wall。

发送方:

接收方:

  • 查看/设置是否接收其他用户发送的消息 – mesg。

文件系统

文件和路径

  1. 命名规则:文件名的最大长度与文件系统类型有关,一般情况下,文件名不应该超过255个字符,虽然绝大多数的字符都可以用于文件名,但是最好使用英文大小写字母、数字、下划线、点这样的符号。文件名中虽然可以使用空格,但应该尽可能避免使用空格,否则在输入文件名时需要用将文件名放在双引号中或者通过\对空格进行转义。
  2. 扩展名:在Linux系统下文件的扩展名是可选的,但是使用扩展名有助于对文件内容的理解。有些应用程序要通过扩展名来识别文件,但是更多的应用程序并不依赖文件的扩展名,就像file命令在识别文件时并不是依据扩展名来判定文件的类型。
  3. 隐藏文件:以点开头的文件在Linux系统中是隐藏文件(不可见文件)。

目录结构

  1. /bin – 基本命令的二进制文件。
  2. /boot – 引导加载程序的静态文件。
  3. /dev – 设备文件。
  4. /etc – 配置文件。
  5. /home – 普通用户主目录的父目录。
  6. /lib – 共享库文件。
  7. /lib64 – 共享64位库文件。
  8. /lost+found – 存放未链接文件。
  9. /media – 自动识别设备的挂载目录。
  10. /mnt – 临时挂载文件系统的挂载点。
  11. /opt – 可选插件软件包安装位置。
  12. /proc – 内核和进程信息。
  13. /root – 超级管理员用户主目录。
  14. /run – 存放系统运行时需要的东西。
  15. /sbin – 超级用户的二进制文件。
  16. /sys – 设备的伪文件系统。
  17. /tmp – 临时文件夹。
  18. /usr – 用户应用目录。
  19. /var – 变量数据目录。

访问权限

  • chmod – 改变文件模式比特。

长格式查看目录或文件时显示结果及其对应权限的数值如下表所示。

Python自学Day31-35 玩转Linux操作系统

  • chown – 改变文件所有者。

  • chgrp – 改变用户组。

磁盘管理

  • 列出文件系统的磁盘使用状况 – df。

  • 盘分区表操作 – fdisk。

  • 磁盘分区工具 – parted。
  • 格式化文件系统 – mkfs。

    • -t – 指定文件系统的类型。
    • -c – 创建文件系统时检查磁盘损坏情况。
    • -v – 显示详细信息。
  • 文件系统检查 – fsck。
  • 转换或拷贝文件 – dd。
  • 挂载/卸载 – mount / umount。
  • 创建/激活/关闭交换分区 – mkswap / swapon / swapoff。

编辑器 – vim

  • 启动vim。可以通过vi或vim命令来启动vim,启动时可以指定文件名来打开一个文件,如果没有指定文件名,也可以在保存的时候指定文件名。

  • 命令模式、编辑模式和末行模式:启动vim进入的是命令模式(也称为Normal模式),在命令模式下输入英文字母i会进入编辑模式(Insert模式),屏幕下方出现– INSERT –提示;在编辑模式下按下Esc会回到命令模式,此时如果输入英文:会进入末行模式,在末行模式下输入q!可以在不保存当前工作的情况下强行退出vim;在命令模式下输入v会进入可视模式(Visual模式),可以用光标选择一个区域再完成对应的操作。
  • 保存和退出vim:在命令模式下输入: 进入末行模式,输入wq可以实现保存退出;如果想放弃编辑的内容输入q!强行退出,这一点刚才已经提到过了;在命令模式下也可以直接输入ZZ实现保存退出。如果只想保存文件不退出,那么可以在末行模式下输入w;可以在w后面输入空格再指定要保存的文件名。
  • 光标操作。
    • 在命令模式下可以通过h、j、k、l来控制光标向左、下、上、右的方向移动,可以在字母前输入数字来表示移动的距离,例如:10h表示向左移动10个字符。
    • 在命令模式下可以通过Ctrl+y和Ctrl+e来实现向上、向下滚动一行文本的操作,可以通过Ctrl+f和Ctrl+b来实现向前和向后翻页的操作。
    • 在命令模式下可以通过输入英文字母G将光标移到文件的末尾,可以通过gg将光标移到文件的开始,也可以通过在G前输入数字来将光标移动到指定的行。
  • 文本操作。
    • 删除:在命令模式下可以用dd来删除整行;可以在dd前加数字来指定删除的行数;可以用d$来实现删除从光标处删到行尾的操作,也可以通过d0来实现从光标处删到行首的操作;如果想删除一个单词,可以使用dw;如果要删除全文,可以在输入:%d(其中:用来从命令模式进入末行模式)。
    • 复制和粘贴:在命令模式下可以用yy来复制整行;可以在yy前加数字来指定复制的行数;可以通过p将复制的内容粘贴到光标所在的地方。
    • 撤销和恢复:在命令模式下输入u可以撤销之前的操作;通过Ctrl+r可以恢复被撤销的操作。
    • 对内容进行排序:在命令模式下输入%!sort。
  • 查找和替换。
    • 查找操作需要输入/进入末行模式并提供正则表达式来匹配与之对应的内容,例如:/doc.*\.,输入n来向前搜索,也可以输入N来向后搜索。
    • 替换操作需要输入:进入末行模式并指定搜索的范围、正则表达式以及替换后的内容和匹配选项,例如::1,$s/doc.*/hello/gice,其中:
      • g – global:全局匹配。
      • i – ignore case:忽略大小写匹配。
      • c – confirm:替换时需要确认。
      • e – error:忽略错误。
  • 参数设定:在输入:进入末行模式后可以对vim进行设定。
    • 设置Tab键的空格数:set ts=4
    • 设置显示/不显示行号:set nu / set nonu
    • 设置启用/关闭高亮语法:syntax on / syntax off
    • 设置显示标尺(光标所在的行和列): set ruler
    • 设置启用/关闭搜索结果高亮:set hls / set nohls
  • 高级技巧
    • 较多个文件。

Python自学Day31-35 玩转Linux操作系统

    • 打开多个文件。

启动vim后只有一个窗口显示的是foo.txt,可以在末行模式中输入ls查看到打开的三个文件,也可以在末行模式中输入b <num>来显示另一个文件,例如可以用:b 2将bar.txt显示出来,可以用:b 3将hello.txt显示出来。

    • 拆分和切换窗口。

可以在末行模式中输入sp或vs来实现对窗口的水平或垂直拆分,这样我们就可以同时打开多个编辑窗口,通过按两次Ctrl+w就可以实现编辑窗口的切换,在一个窗口中执行退出操作只会关闭对应的窗口,其他的窗口继续保留。

    • 映射快捷键:在vim下可以将一些常用操作映射为快捷键来提升工作效率。

例子1:在命令模式下输入F4执行从第一行开始删除10000行代码的操作。

例子2:在编辑模式下输入__main直接补全为if __name__ == ‘__main__’:。

    • 录制宏。
      • 在命令模式下输入qa开始录制宏(其中a是寄存器的名字,也可以是其他英文字母或0-9的数字)。
      • 执行你的操作(光标操作、编辑操作等),这些操作都会被录制下来。
      • 如果录制的操作已经完成了,按q结束录制。
      • 通过@a(a是刚才使用的寄存器的名字)播放宏,如果要多次执行宏可以在前面加数字,例如[email protected]表示将宏播放100次。
      • 可以试一试下面的例子来体验录制宏的操作,该例子来源于Harttle Land网站,该网站上提供了很多关于vim的使用技巧,有兴趣的可以了解一下。

Python自学Day31-35 玩转Linux操作系统

软件安装和配置

使用包管理工具

  • yum – Yellowdog Updater Modified。
    • yum search:搜索软件包,例如yum search nginx。
    • yum list installed:列出已经安装的软件包,例如yum list installed | grep zlib。
    • yum install:安装软件包,例如yum install nginx。
    • yum remove:删除软件包,例如yum remove nginx。
    • yum update:更新软件包,例如yum update可以更新所有软件包,而yum update tar只会更新tar。
    • yum check-update:检查有哪些可以更新的软件包。
    • yum info:显示软件包的相关信息,例如yum info nginx。
  • rpm – Redhat Package Manager。
    • 安装软件包:rpm -ivh <packagename>.rpm。
    • 移除软件包:rpm -e <packagename>。
    • 查询软件包:rpm -qa,例如可以用rpm -qa | grep mysql来检查是否安装了MySQL相关的软件包。

下面以Nginx为例,演示如何使用yum安装软件。

移除Nginx。

下面以MySQL为例,演示如何使用rpm安装软件。要安装MySQL需要先到MySQL官方网站下载对应的RPM文件,当然要选择和你使用的Linux系统对应的版本。MySQL现在是Oracle公司旗下的产品,在MySQL被收购后,MySQL的作者重新制作了一个MySQL的分支MariaDB,可以通过yum进行安装。

移除安装的MySQL。

下载解压配置环境变量

下面以安装MongoDB为例,演示这类软件应该如何安装。

源代码构建安装

  • 安装Python 3.6。

  • 安装Redis-3.2.12。

配置服务

我们可以Linux系统下安装和配置各种服务,也就是说我们可以把Linux系统打造成数据库服务器、Web服务器、缓存服务器、文件服务器、消息队列服务器等等。Linux下的大多数服务都被设置为守护进程(驻留在系统后台运行,但不会因为服务还在运行而导致Linux无法停止运行),所以我们安装的服务通常名字后面都有一个字母d,它是英文单词daemon的缩写,例如:防火墙服务叫firewalld,我们之前安装的MySQL服务叫mysqld,Apache服务器叫httpd等。在安装好服务之后,可以使用systemctl命令或service命令来完成对服务的启动、停止等操作,具体操作如下所示。

  • 启动防火墙服务。

  • 终止防火墙服务。

  • 重启防火墙服务。

  • 查看防火墙服务状态。

  • 设置/禁用防火墙服务开机自启。

计划任务

  • 在指定的时间执行命令
    • at – 将任务排队,在指定的时间执行。
    • atq – 查看待执行的任务队列。
    • atrm – 从队列中删除待执行的任务。

指定3天以后下午5点要执行的任务。

查看待执行的任务队列。

从队列中删除指定的任务。

  • 计划任务表 – crontab。

和crontab相关的文件在/etc目录下,通过修改/etc目录下的crontab文件也能够定制计划任务。

网络访问和管理

  • 安全远程连接 – ssh。

  • 通过网络获取资源 – wget。
    • -b 后台下载模式
    • -O 下载到指定的目录
    • -r 递归下载
  • 发送和接收邮件 – mail。
  • 网络配置工具(旧) – ifconfig。

  • 网络配置工具(新) – ip。

  • 网络可达性检查 – ping。

  • 显示或管理路由表 – route。
  • 查看网络服务和端口 – netstat / ss。

  • 网络监听抓包 – tcpdump。
  • 安全文件拷贝 – scp。

  • 文件同步工具 – rsync。
  • 安全文件传输 – sftp。

    • help:显示帮助信息。
    • ls/lls:显示远端/本地目录列表。
    • cd/lcd:切换远端/本地路径。
    • mkdir/lmkdir:创建远端/本地目录。
    • pwd/lpwd:显示远端/本地当前工作目录。
    • get:下载文件。
    • put:上传文件。
    • rm:删除远端文件。
    • bye/exit/quit:退出sftp。

进程管理

查看进程 – ps。

  • 显示进程状态树 – pstree。

  • 查找与指定条件匹配的进程 – pgrep。

  • 通过进程号终止进程 – kill。

例子:用一条命令强制终止正在运行的Redis进程。

  • 通过进程名终止进程 – killall / pkill。

结束名为mysqld的进程。

结束hellokitty用户的所有进程。

  • 将进程置于后台运行。
    • Ctrl+Z – 快捷键,用于停止进程并置于后台。
    • & – 将进程置于后台运行。

  • 查询后台进程 – jobs。

  • 让进程在后台继续运行 – bg。

  • 将后台进程置于前台 – fg。

  • 调整程序/进程运行时优先级 – nice / renice。
  • 用户登出后进程继续工作 – nohup。

  • 跟踪进程系统调用情况 – strace。

  • 查看当前运行级别 – runlevel。

  • 实时监控进程占用资源状况 – top。

    • -c – 显示进程的整个路径。
    • -d – 指定两次刷屏之间的间隔时间(秒为单位)。
    • -i – 不显示闲置进程或僵尸进程。
    • -p – 显示指定进程的信息。

系统诊断

  • 系统启动异常诊断 – dmesg。
  • 查看系统活动信息 – sar。

    • -A – 显示所有设备(CPU、内存、磁盘)的运行状况。
    • -u – 显示所有CPU的负载情况。
    • -d – 显示所有磁盘的使用情况。
    • -r – 显示内存的使用情况。
    • -n – 显示网络运行状态。
  • 看内存使用情况 – free。

  • 虚拟内存统计 – vmstat。

  • CPU信息统计 – mpstat。

  • 查看进程使用内存状况 – pmap。

  • 报告设备CPU和I/O统计信息 – iostat。

  • 显示所有PCI设备 – lspci。

  • 显示进程间通信设施的状态 – ipcs。

Shell编程

之前我们提到过,Shell是一个连接用户和操作系统的应用程序,它提供了人机交互的界面(接口),用户通过这个界面访问操作系统内核的服务。Shell脚本是一种为Shell编写的脚本程序,我们可以通过Shell脚本来进行系统管理,同时也可以通过它进行文件操作。总之,编写Shell脚本对于使用Linux系统的人来说,应该是一项标配技能。

互联网上有大量关于Shell脚本的相关知识,我不打算再此对Shell脚本做一个全面系统的讲解,我们通过下面的代码来感性的认识下Shell脚本就行了。

例子1:输入两个整数m和n,计算从m到n的整数求和的结果。

例子2:自动创建文件夹和指定数量的文件。

例子3:自动安装指定版本的Redis。

相关资源

  • Linux命令行常用快捷键

  • man查阅命令手册的内容说明

本文来自这个系列长期转载Python-100-Days ,本文观点不代表蓝洛水深立场,转载请联系原作者。

发表评论

登录后才能评论

联系我们

455922333

在线咨询:
点击这里给我发消息
邮件:[email protected]

工作时间:大部分和你一样