正则表达式&&Java文本复杂操做

正则表达式
1.正则表达式的优点和用途？
　　一种强大而灵活的文本处理工具；
　　大部分编程语言 、数据库、文本编辑器、开发环境都支持正则表达式。
2.正则表达式定义：
　　正如他的名字同样是描述了一个规则，经过这个规则能够匹配一类字符串。

3.正则表达式语法

（1）普通字符
　　字母、数字、汉字、下划线、以及没有特殊定义的标点符号，都是“普通字符”。表达式中的普通字符，在匹配一个字符串的时候，匹配与之相同的一个字符。
（2）简单的转义字符

\n	表明换行符
\t	制表符
\\	表明\自己
\^ ，\$,\.，\(， \) ， \{， \} ， \? ， \+ ， \* ，\| ，\[， \]	匹配这些字符自己

（3）标准字符集合

　　注意区分大小写，大写是相反的意思

\d	任意一个数字，0~9 中的任意一个
\w	任意一个字母或数字或下划线，也就是 A~Z,a~z,0~9,_ 中任意一个
\s	包括空格、制表符、换行符等空白字符的其中任意一个
.	小数点能够匹配任意一个字符(除了换行符)若是要匹配包括“\n”在内的全部字符，通常用[\s\S]

（4）自定义字符集合

　　[ ]方括号匹配方式，可以匹配方括号中任意一个字符

　　正则表达式的特殊符号，被包含到中括号中，则失去特殊意义，除了^,-以外。
　　标准字符集合，除小数点外，若是被包含于中括号，自定义字符集合将包含该集合。好比：[\d.\-+]将匹配：数字、小数点、+、-

[ab5@]	匹配 "a" 或 "b" 或 "5" 或 "@"
[^ abc]	匹配 "a","b","c" 以外的任意一个字符
[f-k]	匹配 "f"~"k" 之间的任意一个字母
[^A-F0-3]	匹配 "A"~"F","0"~"3" 以外的任意一个字符

（5）量词：修饰匹配次数的特殊符号

　　匹配次数中的贪婪模式(匹配字符越多越好，默认！)
　　 匹配次数中的非贪婪模式（匹配字符越少越好，修饰匹配次数的特殊符号后再加上一个 "?" 号）

{n}	表达式重复n次
{m,n}	表达式至少重复m次，最多重复n次
{m,}	表达式至少重复m次
?	匹配表达式0次或者1次，至关于 {0,1}
+	表达式至少出现1次，至关于 {1,}
*	表达式不出现或出现任意次，至关于 {0,}

（6）字符边界

^	与字符串开始的地方匹配
$	与字符串结束的地方匹配
\b	匹配一个单词边界

正则表达式匹配模式：

• IGNORECASE 忽略大小写模式

　　　　匹配时忽略大小写。

　　 　　默认状况下，正则表达式是要区分大小写的。

• SINGLELINE 单行模式

　　　　整个文本看做一个字符串，只有一个开头，一个结尾。
　　　　使小数点 "." 能够匹配包含换行符（\n）在内的任意字符。

• MULTILINE 多行模式

　　　　每行都是一个字符串，都有开头和结尾。
　　　　 在指定了 MULTILINE 以后，若是须要仅匹配字符串开始和结束位置，可使用 \A 和 \Z

（7）选择符和分组

表达式	做用
|分支结构	左右两边表达式之间 "或" 关系，匹配左边或者右边
( )捕获组	(1). 在被修饰匹配次数的时候，括号中的表达式能够做为总体被修饰 (2). 取匹配结果的时候，括号中的表达式匹配到的内容能够被单独获得 (3). 每一对括号会分配一个编号，使用 () 的捕获根据左括号的顺序从 1 开始自动编号。捕获元素编号为零的第一个捕获是由整个正则表达式模式 匹配的文本
(?:Expression)非捕获组	一些表达式中，不得不使用( )，但又不须要保存( )中子表达式匹 配的内容，这时能够用非捕获组来抵消使用( )带来的反作用。

反向引用(\nnn)：

　　每一对()会分配一个编号，使用 () 的捕获根据左括号的顺序从 1 开始自动编号。
　　经过反向引用，能够对分组已捕获的字符串进行引用。

(8) 预搜索(零宽断言)

 　　只进行子表达式的匹配，匹配内容不计入最终的匹配结果，是零宽度
　　这个位置应该符合某个条件。判断当前位置的先后字符，是否符合指定的条件，但不匹配先后的字符。是对位置的匹配。
　　正则表达式匹配过程当中，若是子表达式匹配到的是字符内容，而非位置，并被保存到最终的匹配结果中，那么就认为这个子表达式是占有字符的；若是子表达式匹配的仅仅是位置，或者匹配的内容并不保存到最终的匹配结果中，那么就认为这个子表达式是 零宽度 的。占有字符仍是零宽度，是针对匹配的内容是否保存到最终的匹配结果中而言的。

(?=exp)	断言自身出现的位置的后面能匹配表达式exp
(?<=exp)	断言自身出现的位置的前面能匹配表达式exp
(?!exp)	断言此位置的后面不能匹配表达式exp
(?<!exp)	断言此位置的前面不能匹配表达式exp

4.经常使用的正则表达式列表

匹配中文字符	[\u4e00-\u9fa5]
匹配空白行	\n\s*\r
匹配HTML标记	<(\S*?)[^>]*>.*?</\1>|<.*? />
匹配首尾空白字符	^\s*|\s*$
匹配Email地址	\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
匹配网址URL	[a-zA-z]+://[^\s]*
匹配国内电话号码	\d{3}-\d{8}|\d{4}-\d{7}
匹配腾讯QQ号	[1-9][0-9]{4,}
匹配中国邮政编码	[1-9]\d{5}(?!\d)
匹配身份证	\d{15}|\d{18}
匹配ip地址	\d+\.\d+\.\d+\.\d+

5.Java程序中使用正则表达式

 相关类位于：java.util.regex包下面
类 Pattern：

　　正则表达式的编译表示形式。
　　Pattern p = Pattern. compile(r,int) ; //创建正则表达式，并启用相应模式
类 Matcher：
　　经过解释 Pattern 对 character sequence 执行匹配操做的引擎
　　Matcher m = p.matcher(str); //匹配str字符串

public class Demo01 { public static void main(String[] args) { //表达式对象
        Pattern p = Pattern.compile("\\w+"); //建立Matcher对象
        Matcher m  = p.matcher("asfsdf&23323"); boolean flag = m.matches(); //尝试将整个字符序列与该模式匹配
        
        boolean flag2 = m.find(); //该方法扫描输入的序列，查找与该模式匹配的下一个子序列
 String str = m.group(); //返回找到的字符串
 String newStr = m.replaceAll("#");///替换
 String str2 = "asds234adsa23sdsf"; String[] arrs = str2.split("\\d+"); System.out.println(Arrays.toString(arrs)); } }

6.简单网络爬虫 如:weget

/** * 简单网络爬虫 * @author MA * */
public class WebSpiderTest { public static String getURLContent(String urlStr,String charSet) throws IOException{ StringBuilder sb = new StringBuilder(); try { URL url = new URL(urlStr); BufferedReader reader =new BufferedReader(new InputStreamReader(url.openStream(),Charset.forName(charSet))); String temp = ""; while((temp=reader.readLine())!=null){ //System.out.println(temp);
 sb.append(temp); } } catch (MalformedURLException e) { e.printStackTrace(); } return sb.toString(); } public static List<String> getMatherSubstrs(String destStr,String regexStr){ //Pattern p = Pattern.compile("<a[\\s\\S]+?</a>");//取到超连接整个内容
        Pattern p = Pattern.compile(regexStr);//取到超连接地址 
        Matcher m = p.matcher(destStr); List<String> result =new ArrayList<String>(); while(m.find()){ result.add(m.group(1)); } return result; } public static void main(String[] args) throws Exception { String destStr = getURLContent("http://www.163.com","gbk"); List<String> result = getMatherSubstrs(destStr, "href=\"([\\w\\s./:]+?)\""); for(String temp : result){ System.out.println(temp); } } }