世界上的各地区都有本地的语言。地区差异直接导致了语言环境的差异。在开发一个国际化程序的过程中,处理语言问题就显得很重要了。 , ^* S8 w) m+ T# W) j, w7 D3 f+ X$ J1 j+ v& o! U' w: [7 T( V. N
这是一个世界范围内都存在的问题,所以,Java提供了世界性的解决方法。本文描述的方法是用于处理中文的,但是,推而广之,对于处理世界上其它国家和地区的语言同样适用。 5 y* @. Z& Q; C$ E) i) @+ r6 y' s
汉字是双字节的。所谓双字节是指一个双字要占用两个BYTE的位置(即16位),分别称为高位和低位。中国规定的汉字编码为GB2312,这是强制性的,目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号,高位从0xa1到0xfe,低位也是从0xa1到0xfe,其中,汉字的编码范围为0xb0a1到0xf7fe。 2 \5 O0 j' `% A2 ~2 |" n- P4 m# }, t. G& l
另外有一种编码,叫做GBK,但这是一份规范,不是强制的。GBK提供了20902个汉字,它兼容GB2312,编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。 * T* E# G3 Q# |( n % h u5 A5 ?, B8 R' H 在不久的将来,中国会颁布另一种标准:GB18030-2000(GBK2K)。它收录了藏、蒙等少数民族的字型,从根本上解决了字位不足的问题。注意:它不再是定长的。其二字节部份与GBK兼容,四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe,二字节和第四字节从0x30到0x39。: h( ^, B5 ]& H$ N w4 L) Q! V
# B, H, d% Q L& Q) z 本文不打算介绍Unicode,有兴趣的可以浏览“http://www.unicode.org/”查看更多的信息。Unicode有一个特性:它包括了世界上所有的字符字形。所以,各个地区的语言都可以建立与Unicode的映射关系,而Java正是利用了这一点以达到异种语言之间的转换。- u' ]2 X- q4 L5 ^& ^, H
! ~$ z9 Y$ w* a0 O. {5 G
在JDK中,与中文相关的编码有: $ u! i9 L, B1 h& A i% {* q( s, R6 T3 [- i4 @8 g& a: U
表1 JDK中与中文相关的编码列表. Z0 V. l. f! Z/ C* w' c
$ _2 H q, {* e+ {, _* C3 ^3 @/ h, h% o编码名称说明ASCII7位,与ascii7相同ISO8859-18-位,与 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同GB2312-8016位,与gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同GBK与MS936相同,注意:区分大小写UTF8与UTF-8相同GB18030与cp1392、1392相同,目前支持的JDK很少 3 {" P9 q; ~9 l7 a* J' f& s. Q6 d 在实际编程时,接触得比较多的是GB2312(GBK)和ISO8859-1。5 N3 O) \/ W% N) O
* N& d2 z* G+ B1 h 为什么会有“?”号3 H% j0 v- F# Z' h+ I
% f3 K, e& k) k5 a) x/ M' V* m 上文说过,异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B,转换的步骤为:先把A转化为Unicode,再把Unicode转化为B。 ; G% z+ C: i+ J; v/ f1 x7 E9 I, V b
举例说明。有GB2312中有一个汉字“李”,其编码为“C0EE”,欲转化为ISO8859-1编码。步骤为:先把“李”字转化为Unicode,得到“674E”,再把“674E”转化为ISO8859-1字符。当然,这个映射不会成功,因为ISO8859-1中根本就没有与“674E”对应的字符。4 i) G! y' C/ h$ t9 s0 D g
% T/ B( t3 H( x+ n. h6 U 当映射不成功时,问题就发生了!当从某语言向Unicode转化时,如果在某语言中没有该字符,得到的将是Unicode的代码“\uffffd”(“\u”表示是Unicode编码,)。而从Unicode向某语言转化时,如果某语言没有对应的字符,则得到的是“0x3f”(“?”)。这就是“?”的由来。" z( }+ u8 d4 u! o: r# R1 Q8 S& u
7 Z- }' w7 t1 g
例如:把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作,得到的结果是“\ufffd\u554a”,再println出来,得到的结果将是“?啊”,因为“0x80 0x40”是GBK中的字符,在GB2312中没有。0 w& U- a6 |# s3 J; c/ j
! o C7 F" l! O( d
再如,把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"进行new String (buf.getBytes("GBK"))操作,得到的结果是“3fa8aca8a6463fa8b4”,其中,“\u00d6”在“GBK”中没有对应的字符,得到“3f”,“\u00ec”对应着“a8ac”,“\u00e9”对应着“a8a6”,“0046”对应着“46”(因为这是ASCII字符),“\u00bb”没找到,得到“3f”,最后,“\u00f9”对应着“a8b4”。把这个字符串println一下,得到的结果是“?ìéF?ù”。看到没?这里并不全是问号,因为GBK与Unicode映射的内容中除了汉字外还有字符,本例就是最好的明证。 0 P- ?* B( K2 o% W % \9 A/ Y; |3 w" n( H7 L2 n- J) X+ D 所以,在汉字转码时,如果发生错乱,得到的不一定都是问号噢!不过,错了终究是错了,50步和100步并没有质的差别。; k. {1 W/ l5 Q0 W. x
$ L8 n% q7 O& T% k' Q
或者会问:如果源字符集中有,而Unicode中没有,结果会如何?回答是不知道。因为我手头没有能做这个测试的源字符集。但有一点是肯定的,那就是源字符集不够规范。在Java中,如果发生这种情况,是会抛出异常的。 3 F4 N+ ?* y& A3 c& ?9 S2 j0 [* {7 O8 }. {& V
什么是UTF 1 G9 w' `8 c' Z0 H! k9 ?5 ^2 B) o) L% d1 G$ |- Q! t
UTF,是Unicode Text Format的缩写,意为Unicode文本格式。对于UTF,是这样定义的:5 o4 ?0 W# l5 a5 _
" E( Q( d9 _6 f8 S# m! v p7 a
(1)如果Unicode的16位字符的头9位是0,则用一个字节表示,这个字节的首位是“0”,剩下的7位与原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(与源Unicode字符是相同的);% B* i4 `5 u7 K g; \# E0 M2 t
7 F' y" [2 k0 v M7 W8 p
(2)如果Unicode的16位字符的头5位是0,则用2个字节表示,首字节是“110”开头,后面的5位与源字符中除去头5个零后的最高5位相同;第二个字节以“10”开头,后面的6位与源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),转化后为“c99d”(1100 1001 1001 1101); # n* }: [. ~2 {) l , m. u2 a& B4 `1 b" B (3)如果不符合上述两个规则,则用三个字节表示。第一个字节以“1110”开头,后四位为源字符的高四位;第二个字节以“10”开头,后六位为源字符中间的六位;第三个字节以“10”开头,后六位为源字符的低六位;如“\u9da7”(1001 1101 1010 0111),转化为“e9b6a7”(1110 1001 1011 0110 1010 0111); ) t% z& E: \6 F- h) e/ L, D x% w' b/ W, X% M- X
可以这么描述JAVA程序中Unicode与UTF的关系,虽然不绝对:字符串在内存中运行时,表现为Unicode代码,而当要保存到文件或其它介质中去时,用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。% p" Q* e- D" O
* `3 w9 P& ?: k7 @3 r- k 好了,基础性的论述差不多了,下面进入正题。 " d6 W6 s, V. `2 P+ l+ |8 O2 A( g2 B M% w8 H* m3 w
先把这个问题想成是一个黑匣子。先看黑匣子的一级表示: @$ {, f) J- c( @1 u9 t' w9 k/ z4 N$ g/ C! ?* U& a2 o
input(charsetA)->process(Unicode)->output(charsetB)+ `; x& A4 d+ U% G; p4 K9 [- t
. ` Z& L L$ j4 ^ 简单,这就是一个IPO模型,即输入、处理和输出。同样的内容要经过“从charsetA到unicode再到charsetB”的转化。 7 h/ W6 D, {) f2 ~# q! P1 l5 O1 n0 N, Y, w
再看二级表示: 4 G- m7 X2 A* o% D8 N/ G7 E$ A1 K* q" z% b: t% N
SourceFile(jsp,java)->class->output' C) R+ s, R- ^% G7 G( C0 n& e
9 _* Q! k2 }8 \ s! s 在这个图中,可以看出,输入的是jsp和java源文件,在处理过程中,以Class文件为载体,然后输出。再细化到三级表示: - ?9 R9 I9 x+ C; V1 Y: D$ V2 D K8 F9 b
jsp->temp file->class->browser,os console,db! G# m- V7 \& q8 h) V
( L2 f- v0 q2 K& _' Z. Wapp,servlet->class->browser,os console,db + Z( ~( D6 I/ l* f 2 h5 ^$ I" E2 n/ K3 ~8 K 这个图就更明白了。Jsp文件先生成中间的Java文件,再生成Class。而Servlet和普通App则直接编译生成Class。然后,从Class再输出到浏览器、控制台或数据库等。; F* M$ Z c( Q% F; E
- y( _4 p- G; i/ Y" |+ F
JSP:从源文件到Class的过程+ `" |1 [2 F0 d) {# j
+ T9 m5 `5 S- i Y* W1 @$ w
Jsp的源文件是以“.jsp”结尾的文本文件。在本节中,将阐述JSP文件的解释和编译过程,并跟踪其中的中文变化。" }* i/ t4 Q# ]$ e$ K8 M