- 在线时间
- 0 小时
- 最后登录
- 2007-9-23
- 注册时间
- 2004-9-10
- 听众数
- 3
- 收听数
- 0
- 能力
- 0 分
- 体力
- 9975 点
- 威望
- 7 点
- 阅读权限
- 150
- 积分
- 4048
- 相册
- 0
- 日志
- 0
- 记录
- 0
- 帖子
- 1893
- 主题
- 823
- 精华
- 2
- 分享
- 0
- 好友
- 0

我的地盘我做主
该用户从未签到
 |
世界上的各地区都有本地的语言。地区差异直接导致了语言环境的差异。在开发一个国际化程序的过程中,处理语言问题就显得很重要了。( N/ Z: U1 X9 D/ \) [+ S
. C! E T# I- r" k/ K, j, h: ^% T
这是一个世界范围内都存在的问题,所以,Java提供了世界性的解决方法。本文描述的方法是用于处理中文的,但是,推而广之,对于处理世界上其它国家和地区的语言同样适用。
; E0 V- f/ F5 }) P4 `& U* v; J! y. J6 G0 }% {0 `
汉字是双字节的。所谓双字节是指一个双字要占用两个BYTE的位置(即16位),分别称为高位和低位。中国规定的汉字编码为GB2312,这是强制性的,目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号,高位从0xa1到0xfe,低位也是从0xa1到0xfe,其中,汉字的编码范围为0xb0a1到0xf7fe。
' N7 Y0 g, s, X. d8 P& {
* c, h2 m. W8 W7 f( `8 ` 另外有一种编码,叫做GBK,但这是一份规范,不是强制的。GBK提供了20902个汉字,它兼容GB2312,编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。3 \) e* |0 i6 o+ d" }. W. o, m- e+ U
/ }2 }" b$ S5 S- i7 O& |
在不久的将来,中国会颁布另一种标准:GB18030-2000(GBK2K)。它收录了藏、蒙等少数民族的字型,从根本上解决了字位不足的问题。注意:它不再是定长的。其二字节部份与GBK兼容,四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe,二字节和第四字节从0x30到0x39。
* P3 ?0 k9 T$ Z: p; e3 I: t/ H& J$ ^6 M' x2 r
本文不打算介绍Unicode,有兴趣的可以浏览“http://www.unicode.org/”查看更多的信息。Unicode有一个特性:它包括了世界上所有的字符字形。所以,各个地区的语言都可以建立与Unicode的映射关系,而Java正是利用了这一点以达到异种语言之间的转换。+ U! }( f. \" H" n( r0 s! B* i) u2 @) O
% {1 f' q7 ]/ w0 S2 ~ 在JDK中,与中文相关的编码有:% l. X) z Z( h! M
; N5 P9 t/ ^+ v8 i# X3 ~3 [ 表1 JDK中与中文相关的编码列表% W6 Y7 L* D- H
( k7 }& [' b' v# U0 Q1 k
编码名称说明ASCII7位,与ascii7相同ISO8859-18-位,与 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同GB2312-8016位,与gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同GBK与MS936相同,注意:区分大小写UTF8与UTF-8相同GB18030与cp1392、1392相同,目前支持的JDK很少+ H! E; H# R' B7 P
在实际编程时,接触得比较多的是GB2312(GBK)和ISO8859-1。* n( B9 D7 @' |3 m: ?6 C1 S: h6 T
3 X- ?$ X. R8 Y8 n$ g
为什么会有“?”号' e9 J: J; {! ~) x9 S- m/ i
" m6 A/ ?! t/ N# ? G
上文说过,异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B,转换的步骤为:先把A转化为Unicode,再把Unicode转化为B。
5 r/ @# Z8 z3 }8 q$ f! m9 _
8 E; b5 U7 N; Z+ |) N 举例说明。有GB2312中有一个汉字“李”,其编码为“C0EE”,欲转化为ISO8859-1编码。步骤为:先把“李”字转化为Unicode,得到“674E”,再把“674E”转化为ISO8859-1字符。当然,这个映射不会成功,因为ISO8859-1中根本就没有与“674E”对应的字符。
( `! V4 b3 l; {, _3 t$ P. I
# E' M! }4 `% e 当映射不成功时,问题就发生了!当从某语言向Unicode转化时,如果在某语言中没有该字符,得到的将是Unicode的代码“\uffffd”(“\u”表示是Unicode编码,)。而从Unicode向某语言转化时,如果某语言没有对应的字符,则得到的是“0x3f”(“?”)。这就是“?”的由来。
7 i/ j6 r# ^) ?
6 m& e/ u9 d5 ~ 例如:把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作,得到的结果是“\ufffd\u554a”,再println出来,得到的结果将是“?啊”,因为“0x80 0x40”是GBK中的字符,在GB2312中没有。
0 B/ c# A4 m$ }
& D- P. \& d2 k3 P0 z 再如,把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"进行new String (buf.getBytes("GBK"))操作,得到的结果是“3fa8aca8a6463fa8b4”,其中,“\u00d6”在“GBK”中没有对应的字符,得到“3f”,“\u00ec”对应着“a8ac”,“\u00e9”对应着“a8a6”,“0046”对应着“46”(因为这是ASCII字符),“\u00bb”没找到,得到“3f”,最后,“\u00f9”对应着“a8b4”。把这个字符串println一下,得到的结果是“?ìéF?ù”。看到没?这里并不全是问号,因为GBK与Unicode映射的内容中除了汉字外还有字符,本例就是最好的明证。
9 C/ q1 }" K( p5 ~$ V) Z% P! f9 b* }3 J0 [+ N) x( L) O6 v! ?# f6 s; f
所以,在汉字转码时,如果发生错乱,得到的不一定都是问号噢!不过,错了终究是错了,50步和100步并没有质的差别。4 | g+ u. `3 g B l9 t( m
" d. U) D" z* s7 g" g9 D% b$ z 或者会问:如果源字符集中有,而Unicode中没有,结果会如何?回答是不知道。因为我手头没有能做这个测试的源字符集。但有一点是肯定的,那就是源字符集不够规范。在Java中,如果发生这种情况,是会抛出异常的。) I# r7 Z" {/ o/ `. p
3 b) E$ m. p( G2 ]+ k什么是UTF
8 s' i: j2 _$ B8 Y: w j! E% {5 W
; J, F4 P5 y/ I9 e9 p! g6 _/ H UTF,是Unicode Text Format的缩写,意为Unicode文本格式。对于UTF,是这样定义的:
9 z+ K8 ], N# ]8 Y* ]9 b, u$ G6 e0 J: o; n
(1)如果Unicode的16位字符的头9位是0,则用一个字节表示,这个字节的首位是“0”,剩下的7位与原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(与源Unicode字符是相同的);
{) Q( N+ W* }9 H* f. C2 q8 D) e. l _
(2)如果Unicode的16位字符的头5位是0,则用2个字节表示,首字节是“110”开头,后面的5位与源字符中除去头5个零后的最高5位相同;第二个字节以“10”开头,后面的6位与源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),转化后为“c99d”(1100 1001 1001 1101);+ r$ A! H( Y# }9 d
- I: {8 S9 ?% N& x+ h6 G
(3)如果不符合上述两个规则,则用三个字节表示。第一个字节以“1110”开头,后四位为源字符的高四位;第二个字节以“10”开头,后六位为源字符中间的六位;第三个字节以“10”开头,后六位为源字符的低六位;如“\u9da7”(1001 1101 1010 0111),转化为“e9b6a7”(1110 1001 1011 0110 1010 0111);+ L: Y2 T. p' m4 v! h
- L% o- l! T$ W* y. F% f: a- D m 可以这么描述JAVA程序中Unicode与UTF的关系,虽然不绝对:字符串在内存中运行时,表现为Unicode代码,而当要保存到文件或其它介质中去时,用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。6 Y8 I7 B8 P& s! F1 w
% }- a4 h2 k* A
好了,基础性的论述差不多了,下面进入正题。+ Q1 D1 L! q' v ?
8 h9 M* O9 |# K. j
先把这个问题想成是一个黑匣子。先看黑匣子的一级表示:
3 O K+ |6 o9 {% N- \$ D8 Z7 y, s% [
input(charsetA)->process(Unicode)->output(charsetB)4 X: V7 |9 G# p% d; |
( R- X" E7 D' I* {* w" g6 a: q5 l) O
简单,这就是一个IPO模型,即输入、处理和输出。同样的内容要经过“从charsetA到unicode再到charsetB”的转化。
: _ Z6 e: v1 X( U7 v2 j
8 F3 @+ u( p+ O% Z3 q: d/ k 再看二级表示:7 ^5 v( [2 r2 R+ f- \$ W
4 c+ N% O; y' r: aSourceFile(jsp,java)->class->output, I# M* s$ a+ o9 y8 q) X
+ K* A6 j- F6 f9 q# A
在这个图中,可以看出,输入的是jsp和java源文件,在处理过程中,以Class文件为载体,然后输出。再细化到三级表示:( l0 G! b. i4 M( G9 n8 }2 Y
# Q: l k: `0 d. D7 `2 D2 H
jsp->temp file->class->browser,os console,db
& F- F3 f- K6 w
0 A+ c) s. e; W- X% Rapp,servlet->class->browser,os console,db) \% p5 q: q" f! o
7 ], T0 Z$ Z! i1 d3 ~5 X
这个图就更明白了。Jsp文件先生成中间的Java文件,再生成Class。而Servlet和普通App则直接编译生成Class。然后,从Class再输出到浏览器、控制台或数据库等。- _* C4 k& Y! w5 X( c# B
4 L3 a% k4 O! H6 s( w JSP:从源文件到Class的过程
" A1 b$ o8 A' L, \& g0 J& U2 K" c% [ M# U; O3 a! ~
Jsp的源文件是以“.jsp”结尾的文本文件。在本节中,将阐述JSP文件的解释和编译过程,并跟踪其中的中文变化。
# W. w* B# q& F; P6 x' P$ j9 C
# p6 [( x( U' I 1、JSP/Servlet引擎提供的JSP转换工具(jspc)搜索JSP文件中用<%@ page contentType ="text/html; charset=<Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定<Jsp-charset>,则取JVM中的默认设置file.encoding,一般情况下,这个值是ISO8859-1;
. O" C2 W }( y4 ?8 v+ l# }
7 I" Z$ x, p0 }. N6 f 2、jspc用相当于“javac –encoding <Jsp-charset>”的命令解释JSP文件中出现的所有字符,包括中文字符和ASCII字符,然后把这些字符转换成Unicode字符,再转化成UTF格式,存为JAVA文件。ASCII码字符转化为Unicode字符时只是简单地在前面加“00”,如“A”,转化为“\u0041”(不需要理由,Unicode的码表就是这么编的)。然后,经过到UTF的转换,又变回“41”了!这也就是可以使用普通文本编辑器查看由JSP生成的JAVA文件的原因;7 H+ L- `# q2 h1 Q7 A- q, E
( e4 I4 g$ x5 l! k
3、引擎用相当于“javac –encoding UNICODE”的命令,把JAVA文件编译成CLASS文件;1 r2 t! Q! a+ ]8 U* L
$ k! U+ r! y) {1 Z% F' ] 先看一下这些过程中中文字符的转换情况。有如下源代码:' I m0 W% d% I
( {; q0 u, V. d6 C; ?
<%@ page contentType="text/html; charset=gb2312"%>
# c _% ]0 C7 L' ]: t. o f<html><body>
0 R% B* u J6 p; l1 z) z2 Q<%+ _4 X; z+ {! l* X. e
String a="中文";
' n( @( @, U: H! r out.println(a);- O- d: P- K1 h+ b, ?
%>
, @( ]/ o x7 B/ `: D R, @</body></html>
0 D1 G0 S9 g! O6 b5 h* I' |7 P 这段代码是在UltraEdit for Windows上编写的。保存后,“中文”两个字的16进制编码为“D6 D0 CE C4”(GB2312编码)。经查表,“中文”两字的Unicode编码为“\u4E2D\u6587”,用 UTF表示就是“E4 B8 AD E6 96 87”。打开引擎生成的由JSP文件转变而成的JAVA文件,发现其中的“中文”两个字确实被“E4 B8 AD E6 96 87”替代了,再查看由JAVA文件编译生成的CLASS文件,发现结果与JAVA文件中的完全一样。* T1 O% L& E. `! ?9 k5 h) g
4 S! P! x( M) [1 v
再看JSP中指定的CharSet为ISO-8859-1的情况。
; {! k* E% F( E
# z ^# I$ X" m1 z$ C) X2 i* ^$ T0 X0 l! Z
<%@ page contentType="text/html; charset=ISO-8859-1"%>1 p3 Q2 B R; G* s1 n6 S0 @
<html><body>
* M* Y# r1 R. u/ m! W<%
6 H8 t: c$ L! n% ?" K String a="中文";
0 z: l4 K; C( e3 B2 N out.println(a);
( i. a1 a. z2 x. B: C& ^0 [/ [%>
& P" k2 {; \: ?/ q3 [, g/ O</body></html>
1 J; [9 t. b' N 同样,该文件是用UltraEdit编写的,“中文”这两个字也是存为GB2312编码“D6 D0 CE C4”。先模拟一下生成的JAVA文件和CLASS文件的过程:jspc用ISO-8859-1来解释“中文”,并把它映射到Unicode。由于ISO-8859-1是8位的,且是拉丁语系,其映射规则就是在每个字节前加“00”,所以,映射后的Unicode编码应为“\u00D6\u00D0\u00CE\u00C4”,转化成UTF后应该是“C3 96 C3 90 C3 8E C3 84”。好,打开文件看一下,JAVA文件和CLASS文件中,“中文”果然都表示为“C3 96 C3 90 C3 8E C3 84”。
2 o; B3 r" f4 ^$ _$ s6 |
8 y( ~. f- G# N, d 如果上述代码中不指定<Jsp-charset>,即把第一行写成“<%@ page contentType="text/html" %>”,JSPC会使用file.encoding的设置来解释JSP文件。在RedHat 6.2上,其处理结果与指定为ISO-8859-1是完全相同的。+ ~' f. o7 X8 H( J
: i1 K; o3 t' b E
到现在为止,已经解释了从JSP文件到CLASS文件的转变过程中中文字符的映射过程。一句话:从“JspCharSet到Unicode再到UTF”。下表总结了这个过程:
7 ^$ J1 t- R# l% s# N. ?- t' Z" a2 Z) ]
表2 “中文”从JSP到CLASS的转化过程% d$ A, u7 b5 I
3 d0 ?3 W) G( b% ^: \
2 G: f2 x+ @; J$ |, F& DJsp-CharSetJSP文件中JAVA文件中CLASS文件中GB2312D6 D0 CE C4(GB2312)从\u4E2D\u6587(Unicode)到E4 B8 AD E6 96 87 (UTF)E4 B8 AD E6 96 87 (UTF)ISO-8859-1D6 D0 CE C4 w* Y8 q$ X8 z
(GB2312)从\u00D6\u00D0\u00CE\u00C4 (Unicode)到C3 96 C3 90 C3 8E C3 84 (UTF)C3 96 C3 90 C3 8E C3 84 (UTF)无(默认=file.encoding)同ISO-8859-1同ISO-8859-1同ISO-8859-1
6 r }! Z& z8 p5 g0 K2 ?% ? 下节先讨论Servlet从JAVA文件到CLASS文件的转化过程,然后再解释从CLASS文件如何输出到客户端。之所以这样安排,是因为JSP和Servlet在输出时处理方法是一样的。 |
zan
|