世界上的各地区都有本地的语言。地区差异直接导致了语言环境的差异。在开发一个国际化程序的过程中,处理语言问题就显得很重要了。2 f& n: s# U, N( @, M
0 @: m3 n! I8 R: @% a 这是一个世界范围内都存在的问题,所以,Java提供了世界性的解决方法。本文描述的方法是用于处理中文的,但是,推而广之,对于处理世界上其它国家和地区的语言同样适用。1 N0 m. h; R6 x3 K! y+ K
6 X7 _" W$ q- p% K7 x
汉字是双字节的。所谓双字节是指一个双字要占用两个BYTE的位置(即16位),分别称为高位和低位。中国规定的汉字编码为GB2312,这是强制性的,目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号,高位从0xa1到0xfe,低位也是从0xa1到0xfe,其中,汉字的编码范围为0xb0a1到0xf7fe。, b3 y* `" C7 S& C7 c: p
6 `6 b: G1 T+ ^/ d4 Z1 d! G 另外有一种编码,叫做GBK,但这是一份规范,不是强制的。GBK提供了20902个汉字,它兼容GB2312,编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。! I \; X5 W; N4 n0 K2 E
4 U% `! a; L' L 在不久的将来,中国会颁布另一种标准:GB18030-2000(GBK2K)。它收录了藏、蒙等少数民族的字型,从根本上解决了字位不足的问题。注意:它不再是定长的。其二字节部份与GBK兼容,四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe,二字节和第四字节从0x30到0x39。 G3 i. v8 v, q- X* ?4 w' i
1 b6 S5 Q% a% X 本文不打算介绍Unicode,有兴趣的可以浏览“http://www.unicode.org/”查看更多的信息。Unicode有一个特性:它包括了世界上所有的字符字形。所以,各个地区的语言都可以建立与Unicode的映射关系,而Java正是利用了这一点以达到异种语言之间的转换。! r7 B. u' Q# c' `* C$ D# N9 `0 f: T
Servlet:从源文件到Class的过程 % b) T t5 n. k5 n8 _3 n; D' i ! U# W4 w: C0 }. q- T Servlet源文件是以“.java”结尾的文本文件。本节将讨论Servlet的编译过程并跟踪其中的中文变化。 , m- g4 r3 X H* ]2 ^1 } - a$ ~) M' S0 N8 c% H, o 用“javac”编译Servlet源文件。javac可以带“-encoding <Compile-charset>”参数,意思是“用< Compile-charset >中指定的编码来解释Serlvet源文件”。" T' }' C; G) O6 D5 g' m
% V' l h7 K9 _- T' o: [/ X( R2 H/ ] 源文件在编译时,用<Compile-charset>来解释所有字符,包括中文字符和ASCII字符。然后把字符常量转变成Unicode字符,最后,把Unicode转变成UTF。 " T5 H; X( w( ]$ l! A( P 5 j. ]# a: Z, K9 ?& W9 ] h& a 在Servlet中,还有一个地方设置输出流的CharSet。通常在输出结果前,调用HttpServletResponse的setContentType方法来达到与在JSP中设置<Jsp-charset>一样的效果,称之为<Servlet-charset>。 / ?" ?9 K9 X( g* z$ {7 c) F2 X- y7 v' p1 V3 x4 D5 _
注意,文中一共提到了三个变量:<Jsp-charset>、<Compile-charset>和<Servlet-charset>。其中,JSP文件只与<Jsp-charset>有关,而<Compile-charset>和<Servlet-charset>只与Servlet有关。& U l% R% n$ R/ ~: `
# [ h& R7 `/ b3 L: H( M1 S
看下例:, [( I! i8 D* x4 V9 T5 o
# J/ L3 _+ o: ^8 X3 f
import javax.servlet.*; * a& z* [+ j' K2 v* P4 x6 G; i 2 @' Q, P) a0 y Yimport javax.servlet.http.*; x3 s$ m) a1 y$ }' ~: E7 {6 D8 y
class testServlet extends HttpServlet 6 P% |* o3 ?9 a9 V: w+ k* C1 b5 |) A{3 w5 e3 V1 N$ n3 `) c& G! Q" ~* E
public void doGet(HttpServletRequest req,HttpServletResponse resp)! s1 F$ F( Z9 `% L
throws ServletException,java.io.IOException 7 q% [9 O# U& \1 Q2 i, I+ i {& v+ F# Q/ ^+ w( O
resp.setContentType("text/html; charset=GB2312");- [. a5 `" L' a8 ]$ g6 v' y6 w2 R
java.io.PrintWriter out=resp.getWriter();2 V9 k \+ r! C. ]) i2 x
out.println("<html>");& q4 N6 s) e. g# |: O& r
out.println("#中文#"); / V6 l* C) \& j, y" Y6 Q; V out.println("</html>");- U) |1 L- |' x t P0 k5 l
}) P: a5 x% T& M" F! M/ H6 [; L8 L4 i
}* @8 V. q+ `% j' s: H0 _
该文件也是用UltraEdit for Windows编写的,其中的“中文”两个字保存为“D6 D0 CE C4”(GB2312编码)。7 m; h( u; l: f4 _. O$ W
5 p6 F3 }6 |. B
开始编译。下表是<Compile-charset>不同时,CLASS文件中“中文”两字的十六进制码。在编译过程中,<Servlet-charset>不起任何作用。<Servlet-charset>只对CLASS文件的输出产生影响,实际上是<Servlet-charset>和<Compile-charset>一起,达到与JSP文件中的<Jsp-charset>相同的效果,因为<Jsp-charset>对编译和CLASS文件的输出都会产生影响。 * K5 {8 I: B/ R L- Y' D) O5 U7 x$ O4 X( [7 D6 ]
表3 “中文”从Servlet源文件到Class的转变过程 ) o% J1 j: L9 C- X' d! k+ S) E# D' |; E7 X- W8 W6 `/ J
Compile-charsetServlet源文件中Class文件中等效的Unicode码GB2312D6 D0 CE C4 3 X/ m) |; L0 _' p
(GB2312)E4 B8 AD E6 96 87 (UTF)\u4E2D\u6587 (在Unicode中=“中文”)ISO-8859-1D6 D0 CE C4 1 B5 {: u" h) j& H8 B$ p(GB2312)C3 96 C3 90 C3 8E C3 84 (UTF)\u00D6 \u00D0 \u00CE \u00C4 (在D6 D0 CE C4前面各加了一个00)无(默认)D6 D0 CE C4 (GB2312)同ISO-8859-1同ISO-8859-1& i; B! \/ s( y
普通Java程序的编译过程与Servlet完全一样。! V( W" V* v5 L' e# u
* J% l8 t- M" m3 }1 V- J2 L* G CLASS文件中的中文表示法是不是昭然若揭了?OK,接下来看看CLASS又是怎样输出中文的呢?3 T9 g% K2 Q; J; \$ s" l
1 H" R+ X) n2 | }
Class:输出字符串 , E9 N4 L g$ n/ ]& o4 A; q2 m7 c
上文说过,字符串在内存中表现为Unicode编码。至于这种Unicode编码表示了什么,那要看它是从哪种字符集映射过来的,也就是说要看它的祖先。这好比在托运行李时,外观都是纸箱子,里面装了什么就要看寄邮件的人实际邮了什么东西。 8 j. a8 c. n$ L 3 M& @6 q/ F/ x' v! g. ~, d3 K 看看上面的例子,如果给一串Unicode编码“00D6 00D0 00CE 00C4”,如果不作转换,直接用Unicode码表来对照它时,是四个字符(而且是特殊字符);假如把它与“ISO8859-1”进行映射,则直接去掉前面的“00”即可得到“D6 D0 CE C4”,这是ASCII码表中的四个字符;而假如把它当作GB2312来进行映射,得到的结果很可能是一大堆乱码,因为在GB2312中有可能没有(也有可能有)字符与00D6等字符对应(如果对应不上,将得到0x3f,也就是问号,如果对应上了,由于00D6等字符太靠前,估计也是一些特殊符号,真正的汉字在Unicode中的编码从4E00开始)。; x6 Q# Z& G$ F
- S% N2 Z! ]5 ?& \- p
各位看到了,同样的Unicode字符,可以解释成不同的样子。当然,这其中有一种是我们期望的结果。以上例而论,“D6 D0 CE C4”应该是我们所想要的,当把“D6 D0 CE C4”输出到IE中时,用“简体中文”方式查看,就能看到清楚的“中文”两个字了。(当然了,如果你一定要用“西欧字符”来看,那也没办法,你将得不到任何有何时何地的东西)为什么呢?因为“00D6 00D0 00CE 00C4”本来就是由ISO8859-1转化过去的。 5 q& ]/ F: z) q & y6 t) S" l2 ]' H2 U* H给出如下结论: + c% r/ m$ T& Y) ~1 ^. J0 w4 G / K B0 i: x# C% b+ }* a& @2 | 在Class输出字符串前,会将Unicode的字符串按照某一种内码重新生成字节流,然后把字节流输入,相当于进行了一步“String.getBytes(???)”操作。???代表某一种字符集。, b2 T# p" D# U
! u: i2 V/ y: l# ] 如果是Servlet,那么,这种内码就是在HttpServletResponse.setContentType()方法中指定的内码,也就是上文定义的<Servlet-charset>。: a: j3 E7 w2 `+ k0 L) d
1 C3 x1 }8 O ?, a) F. }- |# R5 p
如果是JSP,那么,这种内码就是在<%@ page contentType=""%>中指定的内码,也就是上文定义的<Jsp-charset>。7 f- K/ Y! R0 J5 _& E4 t, H* f
1 d. X5 ]$ e+ q5 [) W% W+ L
如果是Java程序,那么,这种内码就是file.encoding中指定的内码,默认为ISO8859-1。 . l. J. _' p W7 r' {+ X; R7 [' k _: m! ~8 f% e) o
当输出对象是浏览器时 * j* F& p0 R' ^2 t( U% } ) y* d! l8 r/ H2 z% X. J 以流行的浏览器IE为例。IE支持多种内码。假如IE接收到了一个字节流“D6 D0 CE C4”,你可以尝试用各种内码去查看。你会发现用“简体中文”时能得到正确的结果。因为“D6 D0 CE C4”本来就是简体中文中“中文”两个字的编码。 ! s3 O# @* G& i5 u6 \) g' u( g0 R( h: u, J, }
OK,完整地看一遍。, L9 r$ F/ ~. `
! @) S7 U! l# V1 s JSP:源文件为GB2312格式的文本文件,且JSP源文件中有“中文”这两个汉字) \* l& @0 d& z1 B P
( M2 Z6 u7 ^* C; j 如果指定了<Jsp-charset>为GB2312,转化过程如下表。; K/ U) R; A n
7 W3 Q9 A" A3 w3 c: G* a 表4 Jsp-charset = GB2312时的变化过程 t# a/ p k, r+ C1 W3 h. r% T+ A3 t, K# _3 T8 h
序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C44 v4 D t. C) Z% A% A
(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照GB2312映射到Unicode,并用UTF格式写入JAVA文件中E4 B8 AD E6 96 873把临时JAVA文件编译成CLASS文件E4 B8 AD E6 96 874运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码4E 2D 65 87(在Unicode中4E2D=中 6587=文)5根据Jsp-charset=GB2312把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中,并设置IE的编码为GB2312(作者按:这个信息隐藏在HTTP头中)D6 D0 CE C47IE用“简体中文”查看结果“中文”(正确显示)1 Y8 J+ Y. {4 Y4 g
如果指定了<Jsp-charset>为ISO8859-1,转化过程如下表。- z- m2 s' u% A2 U! H
( B- R$ J4 x: X' e 表5 Jsp-charset = ISO8859-1时的变化过程 3 V( B; m6 l3 {; L- A: m C - y2 W$ P! v) k/ Y' I( L序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C4 8 l! R% z0 H5 v# ?4 F( q, L(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中C3 96 C3 90 C3 8E C3 843把临时JAVA文件编译成CLASS文件C3 96 C3 90 C3 8E C3 844运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C4# d( Q; I4 {) y; e( f* `7 P
(啥都不是!!!)5根据Jsp-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中,并设置IE的编码为ISO8859-1(作者按:这个信息隐藏在HTTP头中)D6 D0 CE C47IE用“西欧字符”查看结果乱码,其实是四个ASCII字符,但由于大于128,所以显示出来的怪模怪样8改变IE的页面编码为“简体中文”“中文”(正确显示) , b- {. {& x- }+ K8 @/ [ 奇怪了!为什么把<Jsp-charset>设成GB2312和ISO8859-1是一个样的,都能正确显示?因为表4表5中的第2步和第5步互逆,是相互“抵消”的。只不过当指定为ISO8859-1时,要增加第8步操作,殊为不便。. `4 O3 ^; Q, g5 z( \! U/ E% J
6 o& G5 O4 c1 }3 o 再看看不指定<Jsp-charset> 时的情况。) [! r, s( D8 S6 O0 j2 Y$ H) L/ v
$ f) M( r |! {3 Y2 ^ 表6 未指定Jsp-charset 时的变化过程, [' O4 P! Z' I# C
: \( e. @ ^: H" o8 ~" L序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C4- O" K: @7 X6 ]0 C6 t
(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中C3 96 C3 90 C3 8E C3 843把临时JAVA文件编译成CLASS文件C3 96 C3 90 C3 8E C3 844运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C45根据Jsp-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中D6 D0 CE C47IE用发出请求时的页面的编码查看结果视情况而定。如果是简体中文,则能正确显示,否则,需执行表5中的第8步- P' ]/ P4 O. ]
Servlet:源文件为JAVA文件,格式是GB2312,源文件中含有“中文”这两个汉字) Z( [8 L' g& P: m1 a7 y* e2 {
G6 L8 E; P, B9 g$ W3 ~
如果<Compile-charset>=GB2312,<Servlet-charset>=GB23120 F) `/ ]' A/ V% u5 e
- v+ ?0 V: i( H, F# y# {% Q
表7 Compile-charset=Servlet-charset=GB2312 时的变化过程$ w, B+ D: @' R& B
# n' a1 t/ K/ C4 u; d
序号步骤说明结果1编写Servlet源文件,且存为GB2312格式D6 D0 CE C4 3 ?/ n; J2 G3 r8 t! G5 n(D6D0=中 CEC4=文)2用javac –encoding GB2312把JAVA源文件编译成CLASS文件E4 B8 AD E6 96 87 (UTF)3运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码4E 2D 65 87 (Unicode)4根据Servlet-charset=GB2312把Unicode转化为字节流D6 D0 CE C4 (GB2312)5把字节流输出到IE中并设置IE的编码属性为Servlet-charset=GB2312D6 D0 CE C4 (GB2312)6IE用“简体中文”查看结果“中文”(正确显示) 8 U% C1 T: A. P$ j5 `- H0 n 如果<Compile-charset>=ISO8859-1,<Servlet-charset>=ISO8859-1 1 y; J8 ~' `) k6 n+ D6 R; \ 8 X. f, I5 B3 f1 |- S 表8 Compile-charset=Servlet-charset=ISO8859-1时的变化过程 8 C2 ^, K4 t3 ~# |* f- s& @) Y D& |# P' c - T1 A! a$ R2 b1 ?6 E1 `序号步骤说明结果1编写Servlet源文件,且存为GB2312格式D6 D0 CE C40 R- r/ X5 Y. V
(D6D0=中 CEC4=文)2用javac –encoding ISO8859-1把JAVA源文件编译成CLASS文件C3 96 C3 90 C3 8E C3 84 (UTF)3运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C44根据Servlet-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C45把字节流输出到IE中并设置IE的编码属性为Servlet-charset=ISO8859-1D6 D0 CE C4 (GB2312)6IE用“西欧字符”查看结果乱码(原因同表5)7改变IE的页面编码为“简体中文”“中文”(正确显示)2 M. d9 _, O! p$ e
如果不指定Compile-charset或Servlet-charset,其默认值均为ISO8859-1。 0 U0 u6 q. F" D1 T5 b- j. b( S& ]" x # r q" M o4 ^# S/ G 当Compile-charset=Servlet-charset时,第2步和第4步能互逆,“抵消”,显示结果均能正确。读者可试着写一下Compile-charset<>Servlet-charset时的情况,肯定是不正确的。; ?) f0 D J& A9 y: `6 i! A
- Z! p6 M: ~5 @' K* p3 ?5 E 当输出对象是数据库时 + H+ Q: w' X3 s' y2 t- n) A) R0 t. L3 I! {' l8 q) M
输出到数据库时,原理与输出到浏览器也是一样的。本节只是Servlet为例,JSP的情况请读者自行推导。1 k; x o% g/ n A% i0 ?, C U
u+ r9 U F7 |& Z5 o8 u: a 假设有一个Servlet,它能接收来自客户端(IE,简体中文)的汉字字符串,然后把它写入到内码为ISO8859-1的数据库中,然后再从数据库中取出这个字符串,显示到客户端。0 O5 r' W: D" B, Z
5 N4 }, T8 t! M" o6 Y% | 表9 输出对象是数据库时的变化过程(1) & _+ V* v# n; b. V: C) e1 l* H0 e7 w P K* V
序号步骤说明结果域1在IE中输入“中文”D6 D0 CE C4IE2IE把字符串转变成UTF,并送入传输流中E4 B8 AD E6 96 873Servlet接收到输入流,用readUTF读取4E 2D 65 87(unicode)Servlet4编程者在Servlet中必须把字符串根据GB2312还原为字节流D6 D0 CE C45编程者根据数据库内码ISO8859-1生成新的字符串00 D6 00 D0 00 CE 00 C46把新生成的字符串提交给JDBC00 D6 00 D0 00 CE 00 C47JDBC检测到数据库内码为ISO8859-100 D6 00 D0 00 CE 00 C4JDBC8JDBC把接收到的字符串按照ISO8859-1生成字节流D6 D0 CE C49JDBC把字节流写入数据库中D6 D0 CE C410完成数据存储工作D6 D0 CE C4 数据库以下是从数据库中取出数的过程11JDBC从数据库中取出字节流D6 D0 CE C4JDBC12JDBC按照数据库的字符集ISO8859-1生成字符串,并提交给Servlet00 D6 00 D0 00 CE 00 C4 (Unicode) 13Servlet获得字符串00 D6 00 D0 00 CE 00 C4 (Unicode)Servlet14编程者必须根据数据库的内码ISO8859-1还原成原始字节流D6 D0 CE C4 15编程者必须根据客户端字符集GB2312生成新的字符串4E 2D 65 87 & `3 N+ e. D0 \4 e1 z(Unicode) Servlet准备把字符串输出到客户端16Servlet根据<Servlet-charset>生成字节流D6D0 CE C4Servlet17Servlet把字节流输出到IE中,如果已指定<Servlet-charset>,还会设置IE的编码为<Servlet-charset>D6 D0 CE C418IE根据指定的编码或默认编码查看结果“中文”(正确显示)IE9 e% n$ u4 W& J; T A/ ?, u
解释一下,表中第4第5步和第15第16步是用红色标记的,表示要由编码者来作转换。第4、5两步其实就是一句话:“new String(source.getBytes("GB2312"), "ISO8859-1")”。第15、16两步也是一句话:“new String(source.getBytes("ISO8859-1"), "GB2312")”。亲爱的读者,你在这样编写代码时是否意识到了其中的每一个细节呢? 9 Q+ f# d ~7 `; i9 O- {/ M1 p4 Z' \1 {
至于客户端内码和数据库内码为其它值时的流程,和输出对象是系统控制台时的流程,请读者自己想吧。明白了上述流程的原理,相信你可以轻松地写出来。! \; h2 b2 a* U' }# n8 [4 u+ Z% x
$ f _$ G* {+ y% W$ S) o
行文至此,已可告一段落了。终点又回到了起点,对于编程者而言,几乎是什么影响都没有。 3 W$ Z& H2 C8 U7 V6 P+ a4 n" w# ^' f5 X) b2 G$ Q
因为我们早就被告之要这么做了。 - ` h0 o( S& K J" O * ? t2 ]+ z1 S3 I 以下给出一个结论,作为结尾。7 B: V& `6 P0 a; `! |" J
4 U) L) r' m- Y3 h
1、 在Jsp文件中,要指定contentType,其中,charset的值要与客户端浏览器所用的字符集一样;对于其中的字符串常量,不需做任何内码转换;对于字符串变量,要求能根据ContentType中指定的字符集还原成客户端能识别的字节流,简单地说,就是“字符串变量是基于<Jsp-charset>字符集的”;1 Q" i( k ~9 r0 j4 d R4 V
: z& n% |6 Z7 d7 s. n
2、 在Servlet中,必须用HttpServletResponse.setContentType()设置charset,且设置成与客户端内码一致;对于其中的字符串常量,需要在Javac编译时指定encoding,这个encoding必须与编写源文件的平台的字符集一样,一般说来都是GB2312或GBK;对于字符串变量,与JSP一样,必须“是基于<Servlet-charset>字符集的”。