Java 中文字符判断 中文标点符号判断

时间  2019-12-01
标签 java 中文 字符 判断 标点符号 栏目 Java 繁體版
原文   原文链接

Java Character 实现Unicode字符集介绍  CJK中文字符和中文标点判断html

主要内容：java

1. Java Character类介绍；api

2. Unicode 简介及 UnicodeBlock 与 UnicodeScript区别和联系oracle

3. 如何判断汉字及中文标点符号学习

 

作中文信息处理，常常会遇到如何判断一个字是不是中文，或者是不是中文的标点符号等。测试

在Java中，主要使用 Character类处理字符有关功能，而JDK 1.7中Character是按照Unicode 6.0版本实现的，因此这个要先学习下经常使用的 Unicode编码。this

具体的定义、历史等请见 wikiwikipedia编码

Character 类中有3个静态内部类，spa

Modifier and Type http://http://www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1Class and Description
static class  Character.Subset
Instances of this class represent particular subsets of the Unicode character set.
static class  Character.UnicodeBlock
A family of character subsets representing the character blocks in the Unicode specification.
static class  Character.UnicodeScript
A family of character subsets representing the character scripts defined in the Unicode Standard Annex #24: Script Names.

 

其中的UnicodeBlock 和 UnicodeScript类能够帮助咱们判断字符类型，翻译

UnicodeBlock是Unicode标准协会组织unicode码的一个基本单位，实际上一个 UnicodeBlock表明一片连续的Unicode号码段，UnicodeBlock之间不重叠。例如，一般咱们利用Unicode编码是否在 0x4E00–0x9FCC 来判断某字符是否为汉字，就是由于，有个UnicodeBlock 专门划分为存储汉字 (准确的说是 CJK统一汉字)，这个UnicodeBlock叫作 CJK Unified Ideographs，总共定义了 74,617 个汉字。

固然还有其余不少UnicodeBlock，例如，对于汉字还有4个扩展 UnicodeBlock，CJK Unified Ideographs Extension A, B, C, D 分别都扩展了一些咱们平时见都没见过的汉字(若是不是专门的古籍数字化，Unicode字符集中的汉字普通交流够了)

 

Unicode中一种Script一般就是一个字符或者其余书写符号的集合，表明着一种或多种writing systems （这里暂且翻译为文书类型，文书类型细分能够分红不一样语言)。有些Script仅支持一种文字类型，有些能够支持多种，例如 Latin Script 支持 supports English, French, German, Italian, Vietnamese, Latin 等等，具体可见wikipedia，

http://en.wikipedia.org/wiki/Scripts_in_Unicode

 

UnicodeBlock 与 UnicodeScript 关系：

因此UnicodeScript 是从语言书写规则层次对Unicode字符的分类，这是用使用角度划分，而UnicodeBlock是从硬的编码角度划分。

1. UnicodeBlock是简单的数值范围 (其中可能有些Block中会有一些还没有分配字符的“空号”)。

2. 在一个UnicodeScript中的字符可能分散在多个UnicodeBlock中；

3. 一个UnicodeBlock中的字符可能会被划进多个UnicodeScript中。

 

另外须要注意的是UnicodeScript实现是在Java 7中新引入的。

 

具体在编写程序中，能够游2种办法，一是使用 UnicodeBlock，请见代码：

    //使用UnicodeBlock方法判断
    public boolean isChineseByBlock(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
            return true;
        } else {
            return false;
        }
    }

 

或者若是使用JDK1.7，那么UnicodeScript方法会更方便，由于UnicodeScript.HAN 包括了上面所列的5个UnicodeBlock：

    //使用UnicodeScript方法判断
    public boolean isChineseByScript(char c) {
        Character.UnicodeScript sc = Character.UnicodeScript.of(c);
        if (sc == Character.UnicodeScript.HAN) {
            return true;
        }
        return false;
    }

 

 

相似的，扩展开去还能够判别中文标点符号。

由于中文的标点符号主要存在于如下5个UnicodeBlock中，

U2000-General Punctuation (百分号，千分号，单引号，双引号等)

U3000-CJK Symbols and Punctuation ( 顿号，句号，书名号，〸，〹，〺 等；PS: 后面三个字符你知道什么意思吗？ : )    )

UFF00-Halfwidth and Fullwidth Forms ( 大于，小于，等于，括号，感叹号，加，减，冒号，分号等等)

UFE30-CJK Compatibility Forms  (主要是给竖写方式使用的括号，以及间断线﹉，波浪线﹌等)

UFE10-Vertical Forms (主要是一些竖着写的标点符号，    等等)

    // 根据UnicodeBlock方法判断中文标点符号
    public boolean isChinesePunctuation(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
                || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                || ub == Character.UnicodeBlock.VERTICAL_FORMS) {
            return true;
        } else {
            return false;
        }
    }

 

最后上测试代码：

import java.util.regex.Pattern;

/**
 * author: Tong
 * Date: 11/16/13
 * Time: 10:42 PM
 */
public class CharClassifier {

    public static void main(String[] args) {
        CharClassifier classifier = new CharClassifier();
        String[] strings = new String[]{"Hello", "你好", "㐀㐂㐄", "にほんご", "조선어",",.?!@#$%^&()", "，。？！＠＃￥％……＆（）"};

        for (int i = 0; i < strings.length; i++) {
            String str = strings[i];
            System.out.println("原字符串为：" + str);
            char[] chars = str.toCharArray();

            if (i < 5) {
                System.out.println("使用0x4E00-0x9FCC范围判断字符是否为汉字：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChineseByRange(String.valueOf(aChar)) ? "YES" : "NO"));
                }

                System.out.println("使用UnicodeBlock方法判断字符是否为汉字：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChineseByBlock(aChar) ? "YES" : "NO"));
                }

                System.out.println("使用UnicodeScript方法判断字符是否为汉字：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChineseByScript(aChar) ? "YES" : "NO"));
                }
            } else {
                System.out.println("判断是否为中文符号：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChinesePunctuation(aChar) ? "YES" : "NO"));
                }

            }
        }
    }

    //使用UnicodeBlock方法判断
    public boolean isChineseByBlock(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
            return true;
        } else {
            return false;
        }
    }


    //使用UnicodeScript方法判断
    public boolean isChineseByScript(char c) {
        Character.UnicodeScript sc = Character.UnicodeScript.of(c);
        if (sc == Character.UnicodeScript.HAN) {
            return true;
        }
        return false;
    }

    // 根据UnicodeBlock方法判断中文标点符号
    public boolean isChinesePunctuation(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
                || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                || ub == Character.UnicodeBlock.VERTICAL_FORMS) {
            return true;
        } else {
            return false;
        }
    }

    // 使用Unicode编码范围来判断汉字；这个方法不许确,由于还有不少汉字不在这个范围以内
    public boolean isChineseByRange(String str) {
        if (str == null) {
            return false;
        }
        Pattern pattern = Pattern.compile("[\\u4E00-\\u9FCC]+");
        return pattern.matcher(str.trim()).find();
    }

}

 

程序输出：

原字符串为：Hello
使用0x4E00-0x9FCC范围判断字符是否为汉字：
H:NO
e:NO
l:NO
l:NO
o:NO
使用UnicodeBlock方法判断字符是否为汉字：
H:NO
e:NO
l:NO
l:NO
o:NO
使用UnicodeScript方法判断字符是否为汉字：
H:NO
e:NO
l:NO
l:NO
o:NO
原字符串为：你好
使用0x4E00-0x9FCC范围判断字符是否为汉字：
你:YES
好:YES
使用UnicodeBlock方法判断字符是否为汉字：
你:YES
好:YES
使用UnicodeScript方法判断字符是否为汉字：
你:YES
好:YES
原字符串为：㐀㐂㐄
使用0x4E00-0x9FCC范围判断字符是否为汉字：
㐀:NO
㐂:NO
㐄:NO
使用UnicodeBlock方法判断字符是否为汉字：
㐀:YES
㐂:YES
㐄:YES
使用UnicodeScript方法判断字符是否为汉字：
㐀:YES
㐂:YES
㐄:YES
原字符串为：にほんご
使用0x4E00-0x9FCC范围判断字符是否为汉字：
に:NO
ほ:NO
ん:NO
ご:NO
使用UnicodeBlock方法判断字符是否为汉字：
に:NO
ほ:NO
ん:NO
ご:NO
使用UnicodeScript方法判断字符是否为汉字：
に:NO
ほ:NO
ん:NO
ご:NO
原字符串为：조선어
使用0x4E00-0x9FCC范围判断字符是否为汉字：
조:NO
선:NO
어:NO
使用UnicodeBlock方法判断字符是否为汉字：
조:NO
선:NO
어:NO
使用UnicodeScript方法判断字符是否为汉字：
조:NO
선:NO
어:NO
原字符串为：,.?!@#$%^&()
判断是否为中文符号：
,:NO
.:NO
?:NO
!:NO
@:NO
#:NO
$:NO
%:NO
^:NO
&:NO
(:NO
):NO
原字符串为：，。？！＠＃￥％……＆（）
判断是否为中文符号：
，:YES
。:YES
？:YES
！:YES
＠:YES
＃:YES
￥:YES
％:YES
…:YES
…:YES
＆:YES
（:YES
）:YES
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程