世界上的各地区都有本地的语言。地区差异直接导致了语言环境的差异。在开发一个国际化程序的过程中,处理语言问题就显得很重要了。 ! W q% ]' J; G& M ? 3 }% w( f: `% H 这是一个世界范围内都存在的问题,所以,Java提供了世界性的解决方法。本文描述的方法是用于处理中文的,但是,推而广之,对于处理世界上其它国家和地区的语言同样适用。 / S. Y4 Z) N* q9 Q! b( _) s4 f2 g4 g! w. h1 c
汉字是双字节的。所谓双字节是指一个双字要占用两个BYTE的位置(即16位),分别称为高位和低位。中国规定的汉字编码为GB2312,这是强制性的,目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号,高位从0xa1到0xfe,低位也是从0xa1到0xfe,其中,汉字的编码范围为0xb0a1到0xf7fe。 9 I" J% o; M; i! F) m8 q5 m. i$ t0 F" G# q2 M
另外有一种编码,叫做GBK,但这是一份规范,不是强制的。GBK提供了20902个汉字,它兼容GB2312,编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。 + k y8 O) W) {4 A, N: Z 4 \. _5 Q0 b' f f& s6 E 在不久的将来,中国会颁布另一种标准:GB18030-2000(GBK2K)。它收录了藏、蒙等少数民族的字型,从根本上解决了字位不足的问题。注意:它不再是定长的。其二字节部份与GBK兼容,四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe,二字节和第四字节从0x30到0x39。/ Q: T$ D/ ]! A) h' c6 \
$ [1 v/ I% B& x( _8 v 本文不打算介绍Unicode,有兴趣的可以浏览“http://www.unicode.org/”查看更多的信息。Unicode有一个特性:它包括了世界上所有的字符字形。所以,各个地区的语言都可以建立与Unicode的映射关系,而Java正是利用了这一点以达到异种语言之间的转换。 , b N3 q# z/ F. `* j) n9 O8 q: W
在JDK中,与中文相关的编码有: ) O" S. i7 _" ~9 K% F) v& U3 R; ?: \6 V! X9 y. p3 Q, K' [
表1 JDK中与中文相关的编码列表* ?5 X1 p1 t2 C- o/ @
$ {5 t1 U. d- p% x8 v% ?
编码名称说明ASCII7位,与ascii7相同ISO8859-18-位,与 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同GB2312-8016位,与gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同GBK与MS936相同,注意:区分大小写UTF8与UTF-8相同GB18030与cp1392、1392相同,目前支持的JDK很少5 |1 X$ L J3 c+ A+ d
在实际编程时,接触得比较多的是GB2312(GBK)和ISO8859-1。 3 K t% c+ ~# O* j, T# d9 X 7 I% i, T; g2 u, s" Z; Y: U+ r 为什么会有“?”号 M0 o0 R, {# `, c+ X8 e2 h 5 ]4 P% w" J4 J* ` 上文说过,异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B,转换的步骤为:先把A转化为Unicode,再把Unicode转化为B。3 x9 N9 s7 `" L1 R2 z. ~
% D. ?; l; I& X( q! m/ z0 c4 i 例如:把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作,得到的结果是“\ufffd\u554a”,再println出来,得到的结果将是“?啊”,因为“0x80 0x40”是GBK中的字符,在GB2312中没有。) W- x) z; T+ \( R
5 M& n6 F/ X, _- i' R 再如,把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"进行new String (buf.getBytes("GBK"))操作,得到的结果是“3fa8aca8a6463fa8b4”,其中,“\u00d6”在“GBK”中没有对应的字符,得到“3f”,“\u00ec”对应着“a8ac”,“\u00e9”对应着“a8a6”,“0046”对应着“46”(因为这是ASCII字符),“\u00bb”没找到,得到“3f”,最后,“\u00f9”对应着“a8b4”。把这个字符串println一下,得到的结果是“?ìéF?ù”。看到没?这里并不全是问号,因为GBK与Unicode映射的内容中除了汉字外还有字符,本例就是最好的明证。 , X! V8 C. L# i+ s2 h( w7 n& K# v
所以,在汉字转码时,如果发生错乱,得到的不一定都是问号噢!不过,错了终究是错了,50步和100步并没有质的差别。; |3 E! }' Q3 q8 r5 P2 Y; `1 l2 v
8 s U0 H2 h; j5 V# ?: P4 P; {
或者会问:如果源字符集中有,而Unicode中没有,结果会如何?回答是不知道。因为我手头没有能做这个测试的源字符集。但有一点是肯定的,那就是源字符集不够规范。在Java中,如果发生这种情况,是会抛出异常的。 ' m& D# _3 i0 ?( M, {$ Y( I! I- w9 x2 p4 `& l$ O9 N8 G
什么是UTF/ _( \* D2 l( i' N
! e0 m O# T4 N+ ] UTF,是Unicode Text Format的缩写,意为Unicode文本格式。对于UTF,是这样定义的: / w3 c9 ]; ]2 S; [" e F0 ~# i' `! L; [5 ]6 Z' d
(1)如果Unicode的16位字符的头9位是0,则用一个字节表示,这个字节的首位是“0”,剩下的7位与原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(与源Unicode字符是相同的); * z. \5 @( c6 [1 c& f0 F+ ?1 P |! m, P
(2)如果Unicode的16位字符的头5位是0,则用2个字节表示,首字节是“110”开头,后面的5位与源字符中除去头5个零后的最高5位相同;第二个字节以“10”开头,后面的6位与源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),转化后为“c99d”(1100 1001 1001 1101); / T- g3 M7 b& w! i4 c! _3 e , G# C2 S: E5 \7 c u) i) } (3)如果不符合上述两个规则,则用三个字节表示。第一个字节以“1110”开头,后四位为源字符的高四位;第二个字节以“10”开头,后六位为源字符中间的六位;第三个字节以“10”开头,后六位为源字符的低六位;如“\u9da7”(1001 1101 1010 0111),转化为“e9b6a7”(1110 1001 1011 0110 1010 0111);8 n$ v$ Y5 T. |5 F7 o2 F
# a3 G }5 G0 p+ @) f1 [2 m 可以这么描述JAVA程序中Unicode与UTF的关系,虽然不绝对:字符串在内存中运行时,表现为Unicode代码,而当要保存到文件或其它介质中去时,用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。1 s: \" e5 m$ u' I$ g( B
' {* V% i8 L9 @" L- e: {- r+ t 好了,基础性的论述差不多了,下面进入正题。5 t, A% l5 f" G* q
( `* n$ J: N9 t. z
先把这个问题想成是一个黑匣子。先看黑匣子的一级表示: " @ B$ J" T* x+ e. {& v6 r% M5 B$ H V! w
input(charsetA)->process(Unicode)->output(charsetB) - U1 u1 o& g; h) L7 G0 Z9 _, X* A& e N7 n3 ^% ?0 S7 p
简单,这就是一个IPO模型,即输入、处理和输出。同样的内容要经过“从charsetA到unicode再到charsetB”的转化。 9 P* p. S/ K) h, y+ k; G 6 [1 W7 G. R5 K5 o2 D. r, [ 再看二级表示:) K: }, N: ~4 h
# f$ k3 O9 X, c, d; R! ]7 A
SourceFile(jsp,java)->class->output 4 I5 N0 p% P2 V9 ~9 h+ ~$ |- [& |5 F4 ^& ^. s% J
在这个图中,可以看出,输入的是jsp和java源文件,在处理过程中,以Class文件为载体,然后输出。再细化到三级表示:: L/ Y5 k& Z, |2 O$ ^
$ v* L2 }- }+ R7 @* @; b3 w
jsp->temp file->class->browser,os console,db 3 D, V9 B; `2 P9 o2 S( `) Y3 Z0 h: _$ T5 u
app,servlet->class->browser,os console,db) u9 L$ r" p! w
5 y# F3 C p y" O5 ^6 J
这个图就更明白了。Jsp文件先生成中间的Java文件,再生成Class。而Servlet和普通App则直接编译生成Class。然后,从Class再输出到浏览器、控制台或数据库等。( w) f! D0 f+ G3 h$ ~/ l2 F8 m& }
# C) B$ p0 a1 u, [1 p# ]2 Y9 O' {
JSP:从源文件到Class的过程( l1 O' T4 [% K
5 {+ r8 m7 ]2 `: }9 j$ n' g/ P4 i
Jsp的源文件是以“.jsp”结尾的文本文件。在本节中,将阐述JSP文件的解释和编译过程,并跟踪其中的中文变化。 4 N/ y0 r+ Q" @ ; k) y: Y# B' ?* G1 @3 B$ B) g; A/ k 1、JSP/Servlet引擎提供的JSP转换工具(jspc)搜索JSP文件中用<%@ page contentType ="text/html; charset=<Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定<Jsp-charset>,则取JVM中的默认设置file.encoding,一般情况下,这个值是ISO8859-1;/ }1 d" J9 }" L6 h5 S# J7 M# Q/ J
/ w" n5 M# m6 g7 }& D+ H- H
2、jspc用相当于“javac –encoding <Jsp-charset>”的命令解释JSP文件中出现的所有字符,包括中文字符和ASCII字符,然后把这些字符转换成Unicode字符,再转化成UTF格式,存为JAVA文件。ASCII码字符转化为Unicode字符时只是简单地在前面加“00”,如“A”,转化为“\u0041”(不需要理由,Unicode的码表就是这么编的)。然后,经过到UTF的转换,又变回“41”了!这也就是可以使用普通文本编辑器查看由JSP生成的JAVA文件的原因; 9 q& P( x ~( R. ~+ @7 o$ |( F: v3 Q; T- y9 }
3、引擎用相当于“javac –encoding UNICODE”的命令,把JAVA文件编译成CLASS文件; ! W; Y- X) v5 M' @ & `( N1 a" d' ^: d/ H7 s8 [6 E1 Y8 C 先看一下这些过程中中文字符的转换情况。有如下源代码:* R7 v3 D j5 s3 J
# m+ \( h2 U! W<%@ page contentType="text/html; charset=gb2312"%>6 a7 z; ~8 T9 p
<html><body># _- G( t! c7 m5 [# Q5 P
<%9 W) n8 W" S1 j% f* Y9 N
String a="中文";! m9 ` ~& W; B- W6 | J/ z
out.println(a); 3 X1 U7 [% i! a2 ^%> ! n' R+ h8 y6 j( c2 y5 y</body></html> ' z+ d( d8 W& W5 ] 这段代码是在UltraEdit for Windows上编写的。保存后,“中文”两个字的16进制编码为“D6 D0 CE C4”(GB2312编码)。经查表,“中文”两字的Unicode编码为“\u4E2D\u6587”,用 UTF表示就是“E4 B8 AD E6 96 87”。打开引擎生成的由JSP文件转变而成的JAVA文件,发现其中的“中文”两个字确实被“E4 B8 AD E6 96 87”替代了,再查看由JAVA文件编译生成的CLASS文件,发现结果与JAVA文件中的完全一样。: i& p1 i( r1 g3 {
, `% J% [- K5 {' M3 Z8 `, d) l
再看JSP中指定的CharSet为ISO-8859-1的情况。 7 v7 p I0 D/ \7 E7 f5 L6 ]: e' l9 v: }8 w
- m4 A7 I% Y3 N& s7 o9 K<%@ page contentType="text/html; charset=ISO-8859-1"%> + ]0 Y' T- O) k' c5 J! A9 G<html><body>6 L+ K9 P. Q% L; c4 X1 g; O
<% 0 z3 D4 `* |8 r$ f. r; v String a="中文";- s. H9 l5 ?2 R2 R, U9 a, E
out.println(a); . S! J$ O6 a1 j8 ~0 L%> ; _7 j# p2 I+ f0 Z. G! {$ S/ L</body></html>9 P7 L, Y& f3 x2 e; n! a$ o( q
同样,该文件是用UltraEdit编写的,“中文”这两个字也是存为GB2312编码“D6 D0 CE C4”。先模拟一下生成的JAVA文件和CLASS文件的过程:jspc用ISO-8859-1来解释“中文”,并把它映射到Unicode。由于ISO-8859-1是8位的,且是拉丁语系,其映射规则就是在每个字节前加“00”,所以,映射后的Unicode编码应为“\u00D6\u00D0\u00CE\u00C4”,转化成UTF后应该是“C3 96 C3 90 C3 8E C3 84”。好,打开文件看一下,JAVA文件和CLASS文件中,“中文”果然都表示为“C3 96 C3 90 C3 8E C3 84”。2 o; y4 j( U" {2 t
/ G5 P4 n H" O9 A5 [ 如果上述代码中不指定<Jsp-charset>,即把第一行写成“<%@ page contentType="text/html" %>”,JSPC会使用file.encoding的设置来解释JSP文件。在RedHat 6.2上,其处理结果与指定为ISO-8859-1是完全相同的。 8 C. L8 u6 V6 ]: E# S3 S; s8 P# L+ i1 s N
到现在为止,已经解释了从JSP文件到CLASS文件的转变过程中中文字符的映射过程。一句话:从“JspCharSet到Unicode再到UTF”。下表总结了这个过程: ; f' I8 z5 V' @* P+ {6 T; E9 I* l s1 b8 H2 Z7 H" W$ Y% w
表2 “中文”从JSP到CLASS的转化过程 7 A. ?. H. Z. [/ h& T) W4 k . i) F4 E& }9 \, Z+ H6 |( t . n# l1 l: g+ z3 ]Jsp-CharSetJSP文件中JAVA文件中CLASS文件中GB2312D6 D0 CE C4(GB2312)从\u4E2D\u6587(Unicode)到E4 B8 AD E6 96 87 (UTF)E4 B8 AD E6 96 87 (UTF)ISO-8859-1D6 D0 CE C4: E8 O9 x3 q2 s: n2 M
(GB2312)从\u00D6\u00D0\u00CE\u00C4 (Unicode)到C3 96 C3 90 C3 8E C3 84 (UTF)C3 96 C3 90 C3 8E C3 84 (UTF)无(默认=file.encoding)同ISO-8859-1同ISO-8859-1同ISO-8859-12 o% N. X. z2 x# P s' ?
下节先讨论Servlet从JAVA文件到CLASS文件的转化过程,然后再解释从CLASS文件如何输出到客户端。之所以这样安排,是因为JSP和Servlet在输出时处理方法是一样的。