一行代码提取markdown文件中图片

在一个博客的诞生中 说到还有几件没完成的事情，其中一件就是要将markdown中的图片进行备份，这篇文章将介绍如何使用shell对md文件中图片连接进行解析并下载
本文记录了整个思考和实现的过程，有些啰嗦，不想看详细内容的能够直接用下面的命令行，若是是mac，须要安装gnu-sed并使用gsed代替自带的sed

grep -oP "\!\[.*?]\(.*?\)" 计算机基础-内存管理介绍.md | sed  -E  "s/(\!\[.*]\()(https?:\/\/.+\.(png|jpe?g|webp|gif|svg))(.*\))/\2/gi" |xargs  wget –c -N
复制代码

• grep使用懒惰模式匹配图片连接
• sed将markdown图片连接替换成其中的URL
• wget下载

写了一个bash脚本，能够遍历文件夹中的md文件，对其中图片批量下载
md_img_dl
欢迎star

匹配图片连接的正则式

markdown中图片连接的格式仍是比较清晰的![描述](图片url)，写出来的正则式为

\!\[.*\]\(.+\)
复制代码

使用grep输出图片连接

随便找了一个md文件测试了下

grep  "\!\[.*\]\(.+\)" 计算机基础-内存管理介绍.md
复制代码

发现并无出现预期的结果，查了下貌似grep的basic regular expression 不支持 + 这个元字符。因此须要使用extended regular expression ,用法为 egrep 或者 grep -E ,最后可用的命令为

grep -E  "\!\[.*\]\(.+\)" 计算机基础-内存管理介绍.md
复制代码

结果为

只匹配图片连接部分

上面匹配的连接部分是完整的，可是事实上咱们须要的是url的部分，那么是否能够将url单独提出来呢？
这种看上去就须要用到正则表达式中的先后查找功能，开始修改正则式

(?<=\!\[.*\]\()(.+)(?=\))
复制代码

解释下这个正则干了什么
(?<=\!\[.*\]\() 中 ?<= 表示这个子表达式是个向后查找表达式。表示对该表达式进行匹配可是不含在最后的结果，向后查找表达式匹配的内容位于整个匹配的前面，这个表达式 ![.*]( 匹配 ![xxx](
(?=\)) 这个是向前查找表达式，和向后查找相似，不过匹配的是字符串最后的位置，这里匹配图片连接最后的 )
这样就能够匹配到整个图片连接而最终结果中只包含图片url了
vscode中的搜索结果

使用grep进行匹配

grep -E "(?<=\!\[.*\]\()(.+)(?=\))" 计算机基础-内存管理介绍.md
复制代码

结果打印出来是

grep: repetition-operator operand invalid
复制代码

并不能成功的匹配url

缘由多是vscode太强大了，大部分正则表达式的实现是不支持可变长度的向后查找的，只能换其余方法了

使用sed进行匹配

sed是一个进行字符串替换的工具，由于上面的方式是由于向后查找的问题，因此咱们不使用向后查找，而使用匹配整个图片连接的表达式，再用sed提取出其中表明url的子表达式替换整个的图片连接，以此完成只匹配图片url的目的

sed  -E  "s/(\!\[.*]\()(.+)(.*\))/\2/g" 计算机基础-内存管理介绍.md
复制代码

s///g s表示替换模式，g表示匹配每一行有行首到行尾的全部字符，加g则一行有多个图片连接能够匹配处理，不加只能匹配第一个
\2 表明第二个子表达式，即用url部分替换整个 ![描述](url)

执行以后能够看到图片连接已经变成url了，可是其余没匹配到的内容仍是输出出来了

只输出匹配内容

这里有两个思路，
思路是先使用grep先过滤一遍再使用sed替换，须要使用-o选项，只打印正则匹配的部分

grep -o "\!\[.*]\(.*\)" 计算机基础-内存管理介绍.md | sed  -E  "s/(\!\[.*]\()(.+)(.*\))/\2/g"
复制代码

或者直接在sed中 -n 和 p子命令一块儿使用，只打印匹配的内容

sed  -E -n  "s/(\!\[.*]\()(.+)(.*\))/\2/gp" 计算机基础-内存管理介绍.md
复制代码

以前对这个sed命令有个误解。

• -n 和p命令一块儿使用只能屏蔽不匹配的行，若是一行里有不匹配的内容仍是会显示出来

因此单纯使用sed去过滤匹配内容看上去有点麻烦

懒惰匹配

最近在写脚本的时候发现markdown中图片连接是能够作为超连接的一部分，相似下面这种

[![图片描述](图片url)](页面url)
复制代码

这种状况用上面的正则表达式由于使用了贪婪型元字符，匹配的内容是尽量多的，它把下面的当作一个总体去匹配

![图片描述](图片url)](页面url)
复制代码

这种状况向咱们须要使用懒惰型元字符，将 * + 替换为 *? +?

sed是不支持懒惰匹配的，而咱们先用grep过滤了一遍，grep能够支持懒惰匹配，须要加上-P选项
修改完命令为

grep -oP "\!\[.*?]\(.*?\)" 计算机基础-内存管理介绍.md | sed  -E  "s/(\!\[.*]\()(.+)(.*\))/\2/g"
复制代码

下载图片

命令行中下载经常使用wget
将前面的输出经过管道重定向给wget做为参数，这里须要使用xargs

grep -oP "\!\[.*?]\(.*?\)" 计算机基础-内存管理介绍.md | sed  -E  "s/(\!\[.*]\()(.+)(.*\))/\2/g" |xargs  wget –c -N
复制代码

为了让wget在本地有图片的时候就不去下载，先加了 -N 选项，发现有些图片能够，有些图片仍是会下载第二次，应该依赖于服务端的实现
再加上 -c 断点续传的选项，我这边使用的图床都知足了本地有图片就不下载的需求
第一次正常下载图片

第二次提示 304 Not Modified不用从新下载

小修小补

加上http/https的校验。以及图片格式校验，主要在sed这一步，加上i不区分大小写

sed  -E  "s/(\!\[.*]\()(https?:\/\/.+\.(png|jpe?g|webp|gif|svg))(.*\))/\2/gi"
复制代码

相关文章

一个博客的诞生
聊一聊shell中的条件控制