利用Linux命令行进行文本按行去重并按重复次数排序

利用linux命令行进行文本按行去重并按重复次数排序linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是实现相邻文本行的去重，cut可以从文本行中提取相应的文本列(简单地说，就是按列操作文本行)。用于演示的测试文件内容如下：[plain]Hello

站在用户的角度思考问题，与客户深入沟通，找到蒙自网站设计与蒙自网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：网站设计、成都网站制作、企业官网、英文网站、手机端网站、网站推广、国际域名空间、网站空间、企业邮箱。业务覆盖蒙自地区。

World.

Apple

and

Nokia.

Hello

World.

I

wanna

buy

an

Apple

device.

The

Iphone

of

Apple

company.

Hello

World.

The

Iphone

of

Apple

company.

My

name

is

Friendfish.

Hello

World.

Apple

and

Nokia.

实现命令及过程如下：[plain]1、文本行去重

(1)排序

由于uniq命令只能对相邻行进行去重复操作，所以在进行去重前，先要对文本行进行排序，使重复行集中到一起。

$

sort

test.txt

Apple

and

Nokia.

Apple

and

Nokia.

Hello

World.

Hello

World.

Hello

World.

Hello

World.

I

wanna

buy

an

Apple

device.

My

name

is

Friendfish.

The

Iphone

of

Apple

company.

The

Iphone

of

Apple

company.

(2)去掉相邻的重复行

$

sort

test.txt

|

uniq

Apple

and

Nokia.

Hello

World.

I

wanna

buy

an

Apple

device.

My

name

is

Friendfish.

The

Iphone

of

Apple

company.

2、文本行去重并按重复次数排序

(1)首先，对文本行进行去重并统计重复次数(uniq命令加-c选项可以实现对重复次数进行统计。)。

$

sort

test.txt

|

uniq

-c

2

Apple

and

Nokia.

4

Hello

World.

1

I

wanna

buy

an

Apple

device.

1

My

name

is

Friendfish.

2

The

Iphone

of

Apple

company.

(2)对文本行按重复次数进行排序。

sort

-n可以识别每行开头的数字，并按其大小对文本行进行排序。默认是按升序排列，如果想要按降序要加-r选项(sort

-rn)。

$

sort

test.txt

|

uniq

-c

|

sort

-rn

4

Hello

World.

2

The

Iphone

of

Apple

company.

2

Apple

and

Nokia.

1

My

name

is

Friendfish.

1

I

wanna

buy

an

Apple

device.

(3)每行前面的删除重复次数。

cut命令可以按列操作文本行。可以看出前面的重复次数占8个字符，因此，可以用命令cut

-c

9-

取出每行第9个及其以后的字符。

$

sort

test.txt

|

uniq

-c

|

sort

-rn

|

cut

-c

9-

Hello

World.

The

Iphone

of

Apple

company.

Apple

and

Nokia.

My

name

is

Friendfish.

I

wanna

buy

an

Apple

device.

下面附带说一下cut命令的使用，用法如下：[plain]cut

-b

list

[-n]

[file

...]

cut

-c

list

[file

...]

cut

-f

list

[-d

delim][-s][file

...]

上面的-b、-c、-f分别表示字节、字符、字段（即byte、character、field）；

list表示-b、-c、-f操作范围，-n常常表示具体数字；

file表示的自然是要操作的文本文件的名称；

delim（英文全写：delimiter）表示分隔符，默认情况下为TAB；

-s表示不包括那些不含分隔符的行（这样有利于去掉注释和标题）

三种方式中，表示从指定的范围中提取字节（-b）、或字符（-c）、或字段（-f）。

范围的表示方法：

n

只有第n项

n-

从第n项一直到行尾

n-m

从第n项到第m项(包括m)

-m

从一行的开始到第m项(包括m)

-

从一行的开始到结束的所有项

在写这篇文章的时候，用到了vim的大小写转化的快捷键：gu变小写，gU变大写。结合ctrl+v能够将一片文字中的字符进行大小写转换，非常好用。

linux命令之排序命令sort命令

sort命令是对文件进行排序,并将排序的结果输出到屏幕,不影响原文件

以行为单位,将每一行作为一个单位,相互比较,比较原则是从首字符向后,以此按ASCII码进行比较,最后升序输出

参数

-b 忽略每行前面开始处的空格

-d 只按照英文字母,数字,空格字符排序,忽略其他字符

-m 将几个排序好的文件进行合并

-n 依照数值的大小进行排序,如果是按照数值大小排序一定要加 -n ,否则就会出现 10 比2 小的情况,因为默认比较数值是先比较第1位的,后面的位不考虑

-o 将排序好的结果输出到文件, 也可以使用重定向符号 输出到文件中

-r 以相反的顺序来排序, 默认是升序

linux常用命令有哪些

linux 常用命令有：

pwd 命令

使用 pwd 命令找出您所在的当前工作目录（文件夹）的路径。该命令将返回一个绝对（完整）路径，该路径基本上是所有以 / 开头的目录的路径。绝对路径的一个示例是 /home/username。

cd 命令

要浏览 Linux 文件和目录，请使用 cd 命令。根据您所在的当前工作目录，它需要目录的完整路径或名称。假设您位于 /home/username / Documents 中，并且想要转到 Documents 的子目录 Photos。为此，只需键入以下命令：cd Photos。另一种情况是，如果您想切换到一个全新的目录，例如 /home/username / Movies。在这种情况下，您必须输入 cd，然后输入目录的绝对路径：cd /home/username / Movies。有一些快捷方式可帮助您快速导航：cd ..（带有两个点）将一个目录向上移动 cd 直接转到主文件夹 cd-（带连字符）移动到上一个目录附带说明一下，Linux 的 shell 是区分大小写的。因此，您必须准确输入名称的目录。

ls 命令

LS 命令用于查看目录的内容。默认情况下，此命令将显示当前工作目录的内容。如果要查看其他目录的内容，请键入 ls，然后键入目录的路径。例如，输入 LS / 家 / 用户名 / 文档查看的内容的文件。您可以使用 ls 命令使用以下变体：ls -R 还将列出子目录中的所有文件 ls -a 将显示隐藏的文件 ls -al 将列出文件和目录以及详细信息，例如权限，大小，所有者等。

cat 命令

cat（连接的缩写）是 Linux 中最常用的命令之一。它用于在标准输出（sdout）上列出文件的内容。要运行此命令，请键入 cat，然后输入文件名及其扩展名。例如：cat file.txt。以下是使用 cat 命令的其他方法：cat filename 创建一个新文件 cat filename1 filename2 filename3 连接两个文件（1 和 2），并将它们的输出存储在新文件中（3）将文件转换为大写或小写使用，cat filename | tr a-z A-Z output.txt

cp 命令

使用 cp 命令将文件从当前目录复制到另一个目录。例如，命令 cp scenery.jpg/home /username/ Pictures 将在您的 Pictures 目录中创建一个 Scene.jpg 副本（来自当前目录）。

mv 命令

mv 命令的主要用途是移动文件，尽管它也可以用于重命名文件。mv 中的参数类似于 cp 命令。您需要输入 mv，文件名和目标目录。例如：mv file.txt/home /username/ Documents。

mkdir 命令

使用 mkdir 命令创建一个新目录 - 如果键入 mkdir Music，它将创建一个名为 Music 的目录。还有一些额外的 mkdir 命令：要在另一个目录中生成新目录，请使用此 Linux 基本命令 mkdir Music / Newfile 使用 p（父级）选项在两个现有目录之间创建一个目录。例如，mkdir -p Music / 2022 / Newfile 将创建新的 “2022” 文件。

rmdir 命令

如果需要删除目录，请使用 rmdir 命令。但是，rmdir 仅允许您删除空目录。

rm 命令

该 RM 命令用于删除目录以及其中的内容。如果只想删除目录（作为 rmdir 的替代方法），请使用 rm -r。注意：使用此命令时要格外小心，并仔细检查您所在的目录。这将删除所有内容，并且没有撤消操作。

touch 命令

该触摸命令允许您创建通过 Linux 命令行新的空白文件。例如，输入 touch /home/username/Documents/Web.html 在 Documents 目录下创建一个名为 Web 的 HTML 文件。

locate 命令

您可以使用此命令来定位文件，就像 Windows 中的搜索命令一样。此外，将 - i 参数与该命令一起使用将使其不区分大小写，因此即使您不记得其确切名称，也可以搜索文件。要搜索包含两个或多个单词的文件，请使用星号（*）。例如，locate -i school * note 命令将搜索包含单词 “school” 和 “ note” 的任何文件，无论它是大写还是小写。

find 命令

在类似定位命令，使用 查找也搜索文件和目录。区别在于，您可以使用 find 命令在给定目录中查找文件。例如，find /home/-name notes.txt 命令将在主目录及其子目录中搜索名为 notes.txt 的文件。使用查找时的其他变化 是：要查找当前目录中使用的文件，请使用 find . -name notes.txt 要查找目录，请使用 /-type d -name notes. txt13. grep 命令无疑对日常使用很有帮助的另一个基本 Linux 命令是 grep。它使您可以搜索给定文件中的所有文本。为了说明这一点，grep blue notepad.txt 将在记事本文件中搜索单词 blue。包含搜索到的单词的行将被完整显示。

sudo 命令

该命令是 “SuperUser Do” 的缩写，使您能够执行需要管理或超级用户权限的任务。但是，建议不要将此命令用于日常使用，因为如果您做错了一些事情，很容易发生错误。

df 命令

使用 df 命令可获取有关系统磁盘空间使用情况的报告，以百分比和 KB 表示。如果要以兆字节为单位查看报告，请输入 df -m。

du 命令

如果要检查文件或目录占用了多少空间，答案是 du（磁盘使用情况）命令。但是，磁盘使用情况摘要将显示磁盘块号，而不是通常的大小格式。如果要以字节，千字节和兆字节为单位查看它，请在命令行中添加 - h 参数。

head 命令

所述头命令用于查看任何文本文件的第一行。默认情况下，它将显示前十行，但是您可以根据自己的喜好更改此数字。例如，如果只想显示前五行，则键入 head -n 5 filename.ext。

tail 命令

该命令与 head 命令具有相似的功能，但是 tail 命令将显示文本文件的最后十行，而不是显示第一行。例如，tail -n filename.ext。

diff 命令

diff 命令是差异的缩写，diff 命令逐行比较两个文件的内容。分析文件后，它将输出不匹配的行。程序员在需要进行程序更改时经常使用此命令，而不是重写整个源代码。此命令最简单的形式是 diff file1.ext file2.ext

tar 命令

该 tar 命令是最常用的命令归档多个文件到一个压缩包。类似于 zip 格式常见的 Linux 文件格式，压缩是可选的。该命令具有很长的功能列表，非常复杂，例如将新文件添加到现有档案中，列出档案内容，从档案中提取内容等等。查看一些实际示例，以了解有关其他功能的更多信息。

chmod 命令

chmod 是另一个 Linux 命令，用于更改文件和目录的读取，写入和执行权限。由于此命令相当复杂，因此您可以阅读完整的教程以正确执行它。

chown 命令

在 Linux 中，所有文件均归特定用户所有。该 CHOWN 命令使您可以更改或文件的所有权转让给指定的用户名。例如，chown linuxuser2 file.ext 将使 linuxuser2 成为 file.ext 的所有者。

Jobs 命令

jobs 命令将显示所有当前作业及其状态。作业基本上是由 Shell 启动的进程。

kill 命令

如果您的程序无响应，则可以使用 kill 命令手动终止它。它将向运行异常的应用发送特定信号，并指示该应用自行终止。您总共可以使用 64 个信号，但是人们通常只使用两个信号：SIGTERM（15） — 请求程序停止运行，并给它一些时间来保存其所有进度。如果在输入 kill 命令时未指定信号，则将使用此信号。SIGKILL（9） - 强制程序立即停止。未保存的进度将丢失。除了知道信号之外，您还需要知道要杀死的程序的进程标识号（PID）。如果您不知道 PID，只需运行命令 ps ux。在知道您要使用什么信号以及程序的 PID 之后，输入以下语法：kill [signal option] PID.

ping 命令

使用 ping 命令检查与服务器的连接状态。例如，只需输入 ping google.com，该命令将检查您是否能够连接到 Google 并测量响应时间。

wget 命令

Linux 命令行非常有用 - 您甚至可以在 wget 命令的帮助下从 Internet 下载文件。为此，只需键入 wget，然后输入下载链接即可。

uname 命令

该 UNAME 命令，短期对于 Unix 名，将打印您的 Linux 系统，如计算机名称的详细信息，操作系统，内核，等等。

top 命令

作为与 Windows 中的任务管理器等效的终端，top 命令将显示正在运行的进程的列表以及每个进程使用的 CPU 数量。监视系统资源使用情况非常有用，尤其是知道哪个进程由于消耗太多资源而需要终止时。

history 命令

当您使用 Linux 一段时间后，您会很快注意到每天可以运行数百个命令。因此，如果您想查看之前输入的命令，运行历史记录命令特别有用。

man 命令

对某些 Linux 命令的功能感到困惑吗？不用担心，您可以使用 man 命令从 Linux 的外壳程序中轻松地学习如何使用它们。例如，输入 man tail 将显示 tail 命令的手动指令。

echo 命令

此命令用于将一些数据移到文件中。例如，如果要将文本 “Hello，我的名字叫 John” 添加到名为 name.txt 的文件中，则可以键入 echo Hello, my name is John name.txt

zip，unzip 命令

使用 zip 命令将文件压缩到 zip 归档文件中，然后使用 unzip 命令从 zip 归档文件中提取压缩文件。

hostname 命令

如果您想知道主机 / 网络的名称，只需键入 hostname。在末尾添加 - I 将显示您的网络的 IP 地址。

useradd，userdel 命令

每天一个linux命令（1）sort

sort 是将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按照ASCII码值进行比较，默认将他们按照升序输出

降序

在输出中去重

将排序结果输出到原文件

sort的默认输出是输出到标准输出，如果想把结果输出到文件，需要 sort file newfile,但是如果想把结果输出到原文件这样就不行了，这时就需要 使用sort -o

以数值来排序

sort 默认是按照字符串排序的，这样就会出现10比3小的情况，sort -n 就可以告诉sort 以整数排序

-t 后面跟 分隔符

-k 后面跟数字，表示用第几列排序

如 sort -t : -k 2 表示把每行 以：号分割，按照第二列排序

banana:30:5.5

orange:20:3.4

apple:10:2.5

我们可以看到，当baidu 和soho都是100的时候，baidu排在前面，当当前域按照默认规矩，是从第一个域开始进行升序排序，因此baidu排在了sohu前面。

sort 支持 -k 2 -k3这种模式，如果你需要，你可以继续这么写下去

你仔细看看，在-k 3后面偷偷加上了一个小写字母r,r和-r的作用是一样，你也可以把前面的-n去掉 在r后面加上n,如下

其实-k 选项 功能很强大，语法[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

从逗号前后 分为两大部分，即-k 2,2，是严格使用第一个域排序，如果只设置-k 2 其实是按照从第一个域到行尾。逗号分开的每部分又有一个点表示子域，即-k 1.2表示 按照第一个域的第二个字符排序，Modifiers就是我们用到的n和r 如 -k 1.2nr 具体我们看下面的例子。

我们使用了-k 1.2，这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu因为第二个字母是a而名列榜首。sohu和 google第二个字符都是o，但sohu的h在google的o前面，所以两者分别排在第二和第三。这和之前说到的按照默认的排序规则 是不同的，当第一个域的第二个字符相同时，他不会去按照第一个字符排序，而是按照后面的字符排序，这是因为-k 1.2是对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。而之前的夸域其实是一种假象。

-u只识别用-k设定的域，发现相同，就将后续相同的行都删除

但是这时候，却一行也没有删除。原来-u是会权衡所有-k选项，将都相同的才会删除，只要其中有一级不同都不会轻易删除的

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已经很熟悉了。

b表示忽略本域的签到空白符号。

d表示对本域按照字典顺序排序（即，只考虑空白和字母）。

f表示对本域忽略大小写进行排序。

i表示忽略“不可打印字符”，只针对可打印字符进行排序。（有些ASCII就是不可打印字符，比如\a是报警，\b是退格，\n是换行，\r是回车等等）

Linux TOP命令按内存占用排序和按CPU占用排序

Linux存在着许多不同的Linux版本，但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。下面让我们一起去了解Linux TOP命令 按内存占用排序和按CPU占用排序。

　 　Linux TOP命令 按内存占用排序和按CPU占用排序：

：在命令行提示符执行top命令

2：输入大写P，则结果按CPU占用降序排序。输入大写M，结果按内存占用降序排序。(注：大写P可以在capslock状态输入p，或者按Shift+p)

另外：

认识top的显示结果

top命令的显示结果如下所示：

top - 01:06:48 up 1:22, 1 user, load average: 0.06, 0.60, 0.48 Tasks: 29 total, 1 running, 28 sleeping, 0 stopped, 0 zombie Cpu(s): 0.3% us, 1.0% sy, 0.0% ni, 98.7% id, 0.0% wa, 0.0% hi, 0.0% si Mem: 191272k total, 173656k used, 17616k free, 22052k buffers Swap: 192772k total, 0k used, 192772k free, 123988k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1379 root 16 0 7976 2456 1980 S 0.7 1.3 0:11.03 sshd 14704 root 16 0 2128 980 796 R 0.7 0.5 0:02.72 top 1 root 16 0 1992 632 544 S 0.0 0.3 0:00.90 init 2 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/0 3 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/0统计信息区

前五行是系统整体的统计信息。第一行是任务队列信息，同 uptime 命令的执行结果。其内容如下：

01:06:48当前时间

up 1:22系统运行时间，格式为时:分

1 user当前登录用户数

load average: 0.06, 0.60, 0.48系统负载，即任务队列的平均长度。

三个数值分别为 1分钟、5分钟、15分钟前到现在的平均值。

第二、三行为进程和CPU的信息。当有多个CPU时，这些内容可能会超过两行。内容如下：

Tasks: 29 total进程总数

1 running正在运行的进程数

28 sleeping睡眠的进程数

0 stopped停止的进程数

0 zombie僵尸进程数

Cpu(s): 0.3% us用户空间占用CPU百分比

1.0% sy内核空间占用CPU百分比

0.0% ni用户进程空间内改变过优先级的进程占用CPU百分比

98.7% id空闲CPU百分比

0.0% wa等待输入输出的CPU时间百分比

0.0% hi

0.0% si

最后两行为内存信息。内容如下：

Mem: 191272k total物理内存总量

173656k used使用的物理内存总量

17616k free空闲内存总量

22052k buffers用作内核缓存的内存量

Swap: 192772k total交换区总量

0k used使用的交换区总量

192772k free空闲交换区总量

123988k cached缓冲的交换区总量。

内存中的内容被换出到交换区，而后又被换入到内存，但使用过的交换区尚未被覆盖，

该数值即为这些内容已存在于内存中的交换区的大小。

相应的内存再次被换出时可不必再对交换区写入。

进程信息区

统计信息区域的下方显示了各个进程的详细信息。首先来认识一下各列的含义。

序号列名含义

aPID进程id

bPPID父进程id

cRUSERReal user name

dUID进程所有者的用户id

eUSER进程所有者的用户名

fGROUP进程所有者的组名

gTTY启动进程的终端名。不是从终端启动的进程则显示为 ?

hPR优先级

iNInice值。负值表示高优先级，正值表示低优先级

jP最后使用的CPU，仅在多CPU环境下有意义

k%CPU上次更新到现在的CPU时间占用百分比

lTIME进程使用的CPU时间总计，单位秒

mTIME+进程使用的CPU时间总计，单位1/100秒

n%MEM进程使用的物理内存百分比

oVIRT进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES

pSWAP进程使用的虚拟内存中，被换出的大小，单位kb。

qRES进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA

rCODE可执行代码占用的物理内存大小，单位kb

sDATA可执行代码以外的部分(数据段+栈)占用的物理内存大小，单位kb

tSHR共享内存大小，单位kb

unFLT页面错误次数

vnDRT最后一次写入到现在，被修改过的页面数。

wS进程状态。

D=不可中断的睡眠状态

R=运行

S=睡眠

T=跟踪/停止

Z=僵尸进程

xCOMMAND命令名/命令行

yWCHAN若该进程在睡眠，则显示睡眠中的系统函数名

zFlags任务标志，参考 sched.h

默认情况下仅显示比较重要的 PID、USER、PR、NI、VIRT、RES、SHR、S、%CPU、%MEM、TIME+、COMMAND 列。可以通过下面的快捷键来更改显示内容。

更改显示内容

通过 f 键可以选择显示的内容。按 f 键之后会显示列的列表，按 a-z 即可显示或隐藏对应的列，最后按回车键确定。

按 o 键可以改变列的显示顺序。按小写的 a-z 可以将相应的列向右移动，而大写的 A-Z 可以将相应的列向左移动。最后按回车键确定。

按大写的 F 或 O 键，然后按 a-z 可以将进程按照相应的列进行排序。而大写的 R 键可以将当前的排序倒转。

linux sort命令参数及用法详解

Linux sort命令用于将文本文件内容加以排序，sort可针对文本文件的内容，以行为单位来排序。

sort命令的语法格式：sort[参数][文件]

Linux sort命令参数：

-b：忽略每行前面开始出的空格符号。

-c：检查文件是否已经按照顺序排序。

-d：排序时，处理英文字母、数字及空格字符外，忽略其他的字符。

-f：排序时，将小写字母视为大写字母。

-i：排序时，除了040至176之间的ASCII字符外，忽略其他的字符。

-m：将几个排序好的文件进行合并。

-M：将前面三个字母依照月份的缩写进行排序。

-n：依照数值的大小排序。

-u：意味着是唯一的，输出的结果是去完重了的。

-o：输出文件将排序后的结果存入指定的文件。

-r：以相反的顺序来排序。

-t：分隔字符指定排序时所用的栏位分隔字符。

分享标题：linux命令行排序 linux文件排序
标题网址：http://lswzjz.com/article/hhdcgo.html