linux 我的总结

---

title: "linux"

date: 2015-03-27 16:46

shell && 基本语法

基础命令

if 语法

for x in $in_list;do
if [ "$new" == "$x" ]
then
    echo "same "$x
    continue
else
    continue
    #sh run.sh $new $x > $root$new"_"$x.log
fi
done;

cp

默认cp -i 会提示overrite。
能够先unalias

不复制指定文件： cp -r `ls| grep -v git`  ~/tmp/text_analysis

grep 参考连接

在grep 中使用正则的{} 须要转义
or
    grep -e | egrep 等
and
    grep -e "a.*b|b*.a"
not
    grep -v

du
-B
crontab
注意的地方： 默认root用户执行。 添加 python path。python 路径。

vim

%s/\\x22/"/g
%s/\\x5C//g
g 表明全局。
s 表明替换

AWK

NF 妙用
在awk中你们都知道NF的做用，它是一个awk的内建变量，表明是每行的字段数量。经常使用的几种方式我给你们慢慢到来。最多的就是在读取每一个字段内容 for(i=1;i<=NF;i++) 这个运用很是之多。咱们看看高级的几个高级用法：
$ cat file
a b c d
1 2 3 4
$ awk -vOFS="|" 'NF+=0' file
a|b|c|d
1|2|3|4
[解析]
替换字段分割符，必需要对字段有个action才能使OFS生效，这里咱们运用 NF+=0 的方法，即有了操做，而并为改变其原有的值，很巧妙吧。

$ cat file 
aa
bb

cc

dd
$ awk NF file 
aa
bb
cc
dd
[解析]
  排除空行，由于空行NF=0，0为假不会打印该行。

不打印某一个字段

cat file 
a b c d e f
1 2 3 4
awk 'NF-=2' file
a b c d
1 2
awk '{for(i=3;i<NF;i++)printf("%s ",$i);print $NF}' file
c d e f
3 4

[解析]
  不输出后面2个字段和前面2个字段。

不打印某一列
    echo '1 2 3 4 5 6 7' | awk '{$1=$2=$3=""}1' | tr  ' ' '-' 
    ---4-5-6-7
    cat somefile | awk '{$1=$2=""; print $0}'

截取字符串
substr(str,start,end)

awk grep
注意grep的$0 要用“”

awk '{print $0;a="cat log|grep "$0"|head -n 1";system(a)}'

uniq

基本用法

uniq命令

文件通过处理后在它的输出文件中可能会出现重复的行。例如，使用cat命令将两个文件合并后，再使用sort命令进行排序，就可能出现重复行。这时可使用uniq命令将这些重复行从输出文件中删除，只留下每条记录的惟同样本。

语法：

uniq [选项] 文件

说明：这个命令读取输入文件，并比较相邻的行。在正常状况下，第二个及之后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不一样。若是输入文件用“- ”表示，则从标准输入读取。

该命令各选项含义以下：

- c 显示输出中，在每行行首加上本行在文件中出现的次数。它可取代- u和- d选项。

- d 只显示重复行。

- u 只显示文件中不重复的各行。

- n 前n个字段与每一个字段前的空白一块儿被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开（字段从0开始编号）。

+n 前n个字符被忽略，以前的字符被跳过（字符从0开始编号）。

- f n 与- n相同，这里n是字段数。

- s n 与＋n相同，这里n是字符数。

文件交集、并集

1. 取出两个文件的并集(重复的行只保留一份)

cat file1 file2 | sort | uniq

2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)

cat file1 file2 | sort | uniq -d

3. 删除交集，留下其余的行

cat file1 file2 | sort | uniq -u

若是须要计数也有一个很好的参数uniq -c 能够将相同行数的计数放在行首

sort排序是根据从输入行抽取的一个或多个关键字进行比较来完成的。排序关键字定义了用来排序的最小的字符序列。缺省状况下以整行为关键字按ASCII字符顺序进行排序。

改变缺省设置的选项主要有：

- m 若给定文件已排好序，合并文件。

- c 检查给定文件是否已排好序，若是它们没有都排好序，则打印一个出错信息，并以状态值1退出。

- u 对排序后认为相同的行只留其中一行。

- o 输出文件 将排序输出写到输出文件中而不是标准输出，若是输出文件是输入文件之一，sort先将该文件的内容写入一个临时文件，而后再排序和写输出结果。

改变缺省排序规则的选项主要有：

- d 按字典顺序排序，比较时仅字母、数字、空格和制表符有意义。

- f 将小写字母与大写字母同等对待。

- I 忽略非打印字符。

- M 做为月份比较：“JAN”<“FEB”

- r 按逆序输出排序结果。

-k, -key=POS1[,POS2] posl - pos2 指定一个或几个字段做为排序关键字，字段位置从posl开始，到pos2为止（包括posl，不包括pos2）。如不指定pos2，则关键字为从posl到行尾。字段和字符的位置从0开始。

- b 在每行中寻找排序关键字时忽略前导的空白（空格和制表符）。

- t separator 指定字符separator做为字段分隔符。

sed -s

用户权限

chmod
chown [-R] 帐号名称 文件或目录
chgrp -R

chown [-R] 帐号名称:用户组名称 文件或目录

关于先后台的命令

fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令

1、&

加在一个命令的最后，能够把这个命令放到后台执行，如

watch  -n 10 sh  test.sh  &  #每10s在后台执行一次test.sh脚本

2、ctrl + z

能够将一个正在前台执行的命令放到后台，而且处于暂停状态。

3、jobs

查看当前有多少在后台运行的命令

jobs -l选项可显示全部任务的PID，jobs的状态能够是running, stopped, Terminated。可是若是任务被终止了（kill），shell 从当前的shell环境已知的列表中删除任务的进程标识。

4、fg

将后台中的命令调至前台继续运行。若是后台中有多个命令，能够用fg %jobnumber（是命令编号，不是进程号）将选中的命令调出。

5、bg

将一个在后台暂停的命令，变成在后台继续执行。若是后台中有多个命令，能够用bg %jobnumber将选中的命令调出。

6、kill

法子1：经过jobs命令查看job号（假设为num），而后执行kill %num
法子2：经过ps命令查看job的进程号（PID，假设为pid），而后执行kill pid
前台进程的终止：Ctrl+c

7、nohup

若是让程序始终在后台执行，即便关闭当前的终端也执行（以前的&作不到），这时候须要nohup。该命令能够在你退出账户/关闭终端以后继续运行相应的进程。关闭中断后，在另外一个终端jobs已经没法看到后台跑得程序了，此时利用ps（进程查看命令）

ps -aux | grep "test.sh"  #a:显示全部程序 u:以用户为主的格式来显示 x:显示全部程序，不以终端机来区分

Linux运行与控制后台进程的方法：nohup, setsid, &, disown, screen

1.nohup

顾名思义，nohup的用途就是让提交的命令忽略全部的hangup信号。
使用方法：nohup COMMAND [ARG]...

2.setsid

在一个新的会话中运行命令，从而能够避开当前终端发出的HUP信号。
使用方法：setsid COMMAND [ARG]...

3.&

能够结合()产生一个新的子shell并在这个子shell中将任务放置到后台运行，从而不受当前shell终端的HUP信号影响。
使用方法：(COMMAND [ARG]... &)

而我一般的使用方式为：
nohup ./filename.sh > filename.log 2>&1 &
三点理由:
1)nohup保障进程不会被hangup信号异常中断；
2)将任务放置到后台运行，不占用当前的终端；
3)将错误输出也打印到log中，默认>只有标准输出，错误输出没有。

4.控制进程

经过如下命令，咱们能够对放入到后台的命令进行控制

查看当前终端下的后台进程：
直接执行：jobs

将查看到的某个后台进程放回到前台：
直接输入：fg {jobid} //这里的{jobid}是经过jobs命令中看到的进程前[]中的数字。

将当前正在前台运行的进程放到后台运行:
先敲下快捷键：ctrl +z //暂停当前正在运行的进程。
再执行：bg

终止当前正在前台运行的进程：
直接敲下快捷键：ctrl +c

5.disown

亡羊补牢，为没有使用nohup与setsid的进程加上忽略HUP信号的功能。
使用方法：
将当前正在前台运行的进程放到后台运行（ctrl+z和bg）;
而后执行disown -h %{jobid} //这里的{jobid}是经过jobs命令中看到的进程前[]中的数字。

6.经过screen来实现稳定的后台运行

screen是创建一个新的全屏虚拟会话终端，这个会话只有在手动输入exit的时候才会退出，在这个会话里执行的命令不用担忧HUP信号会对咱们的进程    形成影响，所以也不用给每一个命令前都加上“nohup”或“setsid”了，很是适合咱们有规划的执行大量的后台任务，能够很是方便的让咱们对这些后台任   务进行管理。

使用方法：
screen //当即建立并进入一个会话。
screen -dmS {name} //创建一个处于断开模式下的会话，并根据咱们的须要指定其会话名称。
screen -list //列出全部会话。
screen -r {name} //进入指定会话。
ctrl +ad //输入快捷键ctrl +a和d，可暂时退出当前会话。
exit //进入指定会话后执行exit便可关闭该会话。

问题

linux 乱码问题 查看locale 所有修改成en_US.UTF-8

linux 读取windows 乱码问题 iconv -f gbk -t utf8 README.txt > README.txt.utf8

快捷

1. 给出用户名，用一行shell 命令kill掉全部该用户全部进程。
   ○ 参考答案：
   § 用户名：kobe
     ps -ef | grep kobe | grep -v 'grep|sshd' | awk '{print $2}' | xargs -i kill {}

多个字段匹配

grep -E "svm|Accuracy"

上传公钥

SSH Keys
SSH key 可让你在你的电脑和 Git @ OSC 之间创建安全的加密链接。

你能够按以下命令来生成sshkey

ssh-keygen -t rsa -C "xxxxx@xxxxx.com"# Creates a new ssh key using the provided email
Generating public/private rsa key pair...
查看你的public key，并把他添加到 Git @ OSC http://git.oschina.net/keys

cat ~/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC6eNtGpNGwstc....
添加后，在终端（Terminal）中输入

ssh -T git@git.oschina.net
若返回

Welcome to Git@OSC, yourname! 则证实添加成功。