3 `) }$ ^0 k# C n* c 汉字是双字节的。所谓双字节是指一个双字要占用两个BYTE的位置(即16位),分别称为高位和低位。中国规定的汉字编码为GB2312,这是强制性的,目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号,高位从0xa1到0xfe,低位也是从0xa1到0xfe,其中,汉字的编码范围为0xb0a1到0xf7fe。" h! V. [% c/ T: H/ C) M; @
, u4 q, v; V5 a5 U! E f 另外有一种编码,叫做GBK,但这是一份规范,不是强制的。GBK提供了20902个汉字,它兼容GB2312,编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。 6 H8 r3 ^ w/ S _: r v 8 c7 J6 H& t5 l5 S& z. b" s 在不久的将来,中国会颁布另一种标准:GB18030-2000(GBK2K)。它收录了藏、蒙等少数民族的字型,从根本上解决了字位不足的问题。注意:它不再是定长的。其二字节部份与GBK兼容,四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe,二字节和第四字节从0x30到0x39。% d& ^7 F3 `. T9 d, |
& K8 r* R* c; v1 k Y$ v4 v( s/ V8 u
本文不打算介绍Unicode,有兴趣的可以浏览“http://www.unicode.org/”查看更多的信息。Unicode有一个特性:它包括了世界上所有的字符字形。所以,各个地区的语言都可以建立与Unicode的映射关系,而Java正是利用了这一点以达到异种语言之间的转换。* n& D' y0 w$ {
8 A- B6 a) t" c1 l" u# [ t
在JDK中,与中文相关的编码有:8 l1 t9 Q' u; F& h
% \* |3 @) H' y" ]; V; T3 s, q/ s% q 表1 JDK中与中文相关的编码列表9 b3 U0 s/ O' I2 K, \2 Y
Q1 {" ?1 ~) _3 x* w+ N* m* Y
编码名称说明ASCII7位,与ascii7相同ISO8859-18-位,与 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同GB2312-8016位,与gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同GBK与MS936相同,注意:区分大小写UTF8与UTF-8相同GB18030与cp1392、1392相同,目前支持的JDK很少8 J; x' i! ]. c7 p
在实际编程时,接触得比较多的是GB2312(GBK)和ISO8859-1。 $ b- p% V9 y+ t$ n: ^ # K+ c( z* k9 X: D' B, d8 m1 M9 J 为什么会有“?”号# ?; h$ o' @! Q% f4 A0 u7 @$ {
8 V- s/ D/ N3 k. [/ G+ b6 r
上文说过,异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B,转换的步骤为:先把A转化为Unicode,再把Unicode转化为B。/ T, V4 _: G0 |" T$ m, U( L# D: s; o
: G# M, D: K5 J. d; d) N: m 举例说明。有GB2312中有一个汉字“李”,其编码为“C0EE”,欲转化为ISO8859-1编码。步骤为:先把“李”字转化为Unicode,得到“674E”,再把“674E”转化为ISO8859-1字符。当然,这个映射不会成功,因为ISO8859-1中根本就没有与“674E”对应的字符。3 u; _" Q) T% F
Servlet:从源文件到Class的过程 ! H- H( X& s& l" U0 ] , t `0 `& m+ l! ?3 B s" X Servlet源文件是以“.java”结尾的文本文件。本节将讨论Servlet的编译过程并跟踪其中的中文变化。( d9 X2 G3 F. w% \7 V; E5 k
, i2 K( l1 w: h. X* o/ [
用“javac”编译Servlet源文件。javac可以带“-encoding <Compile-charset>”参数,意思是“用< Compile-charset >中指定的编码来解释Serlvet源文件”。9 i) [5 g" p% C8 R* O2 I, Z
@( K" T0 u+ @5 S
源文件在编译时,用<Compile-charset>来解释所有字符,包括中文字符和ASCII字符。然后把字符常量转变成Unicode字符,最后,把Unicode转变成UTF。 8 m, ~) |. S; r8 F1 c% T; U : x ?3 a9 W( }: T4 R 在Servlet中,还有一个地方设置输出流的CharSet。通常在输出结果前,调用HttpServletResponse的setContentType方法来达到与在JSP中设置<Jsp-charset>一样的效果,称之为<Servlet-charset>。 ' j6 F e. t/ d% M; S" o0 g0 h: I5 w9 Y
注意,文中一共提到了三个变量:<Jsp-charset>、<Compile-charset>和<Servlet-charset>。其中,JSP文件只与<Jsp-charset>有关,而<Compile-charset>和<Servlet-charset>只与Servlet有关。 7 K0 m2 e) M4 q+ |, G! X0 v1 ~; b: f
看下例:) u# a' P7 M3 C3 z
4 _" h+ o/ x" ^% O' @: m3 Uimport javax.servlet.*; : o# R, ~* ]2 y1 O7 e " d w6 c1 L: m8 |' y9 ^import javax.servlet.http.*;2 X; {# U, o9 `: i
) O+ q9 @1 Y) R2 Y) w
class testServlet extends HttpServlet" Q" l: V5 m% S; J/ X2 l# o
{ - {- L8 O7 s* R: | public void doGet(HttpServletRequest req,HttpServletResponse resp)/ U( @& r9 o i$ t4 p) k# X5 A
throws ServletException,java.io.IOException 1 [5 N k2 [3 ~7 y2 } { 7 M$ j! r. X1 ~3 `9 v resp.setContentType("text/html; charset=GB2312"); : a! q3 v( O; j( X java.io.PrintWriter out=resp.getWriter();& n* p4 q% [9 @% I
out.println("<html>"); " v+ Q1 B2 i/ s' S out.println("#中文#");6 x0 g5 M) _- o# Y0 s) w
out.println("</html>"); 4 F p' y: A/ F' H# w( j* B1 ^ } 2 _& }- \; @, s4 E) d9 ]}* q9 V; q" U6 L
该文件也是用UltraEdit for Windows编写的,其中的“中文”两个字保存为“D6 D0 CE C4”(GB2312编码)。 # A( Y3 ]) `+ D' D6 n! e p0 S& T2 S) I* K
开始编译。下表是<Compile-charset>不同时,CLASS文件中“中文”两字的十六进制码。在编译过程中,<Servlet-charset>不起任何作用。<Servlet-charset>只对CLASS文件的输出产生影响,实际上是<Servlet-charset>和<Compile-charset>一起,达到与JSP文件中的<Jsp-charset>相同的效果,因为<Jsp-charset>对编译和CLASS文件的输出都会产生影响。 X: ~/ ]* I, p1 }$ E) o- W9 p- }) D
表3 “中文”从Servlet源文件到Class的转变过程 U' f3 c3 I7 q9 T
( O$ q8 Y% ^% C4 ~Compile-charsetServlet源文件中Class文件中等效的Unicode码GB2312D6 D0 CE C4 - E! ]4 P z3 c3 P2 O
(GB2312)E4 B8 AD E6 96 87 (UTF)\u4E2D\u6587 (在Unicode中=“中文”)ISO-8859-1D6 D0 CE C4 4 e8 i9 u( b% m$ _. R ?. i(GB2312)C3 96 C3 90 C3 8E C3 84 (UTF)\u00D6 \u00D0 \u00CE \u00C4 (在D6 D0 CE C4前面各加了一个00)无(默认)D6 D0 CE C4 (GB2312)同ISO-8859-1同ISO-8859-1! v8 ]" U8 Y8 u* P; M
普通Java程序的编译过程与Servlet完全一样。 ( D( x3 x/ X( k0 u: r . D3 v; Q/ K+ l2 `0 I9 A( ` CLASS文件中的中文表示法是不是昭然若揭了?OK,接下来看看CLASS又是怎样输出中文的呢?0 ]$ s* A W; H r7 j
( c1 [3 _: u' j8 ]
Class:输出字符串 : U) F6 w) q- r4 g3 V" q7 w* x8 |& T b, u9 y) G3 G
上文说过,字符串在内存中表现为Unicode编码。至于这种Unicode编码表示了什么,那要看它是从哪种字符集映射过来的,也就是说要看它的祖先。这好比在托运行李时,外观都是纸箱子,里面装了什么就要看寄邮件的人实际邮了什么东西。) I9 g ?& q2 V; |
3 D0 D7 ~% N. M6 N( f- \7 F/ m, Y; S2 f 看看上面的例子,如果给一串Unicode编码“00D6 00D0 00CE 00C4”,如果不作转换,直接用Unicode码表来对照它时,是四个字符(而且是特殊字符);假如把它与“ISO8859-1”进行映射,则直接去掉前面的“00”即可得到“D6 D0 CE C4”,这是ASCII码表中的四个字符;而假如把它当作GB2312来进行映射,得到的结果很可能是一大堆乱码,因为在GB2312中有可能没有(也有可能有)字符与00D6等字符对应(如果对应不上,将得到0x3f,也就是问号,如果对应上了,由于00D6等字符太靠前,估计也是一些特殊符号,真正的汉字在Unicode中的编码从4E00开始)。 * F, g5 D c% o- o+ T6 h: R- _/ c& y: \8 w" B. ^- i
各位看到了,同样的Unicode字符,可以解释成不同的样子。当然,这其中有一种是我们期望的结果。以上例而论,“D6 D0 CE C4”应该是我们所想要的,当把“D6 D0 CE C4”输出到IE中时,用“简体中文”方式查看,就能看到清楚的“中文”两个字了。(当然了,如果你一定要用“西欧字符”来看,那也没办法,你将得不到任何有何时何地的东西)为什么呢?因为“00D6 00D0 00CE 00C4”本来就是由ISO8859-1转化过去的。 # ~1 y: f/ H+ P+ ~) n+ V. I' f) I: A1 j0 {. d, v1 W
给出如下结论: " \8 B7 O2 D9 t/ t& P: l; v H: ]* h Q4 i- E4 h7 C
在Class输出字符串前,会将Unicode的字符串按照某一种内码重新生成字节流,然后把字节流输入,相当于进行了一步“String.getBytes(???)”操作。???代表某一种字符集。 6 D( L, i8 R% [5 g4 a ) i" _# |6 @: A; D% f6 v) I( S 如果是Servlet,那么,这种内码就是在HttpServletResponse.setContentType()方法中指定的内码,也就是上文定义的<Servlet-charset>。 6 }- d' E( m& W* K0 i% Q0 X4 e( S; u0 Z6 Z
如果是JSP,那么,这种内码就是在<%@ page contentType=""%>中指定的内码,也就是上文定义的<Jsp-charset>。7 [' T! W3 S9 u( v9 I0 B* w& {( X8 l
2 d8 p' N) ?4 e( i) s' L 如果是Java程序,那么,这种内码就是file.encoding中指定的内码,默认为ISO8859-1。8 q9 E8 F$ R) I6 _ x9 M6 u
: }4 T% }8 f6 O x: A
当输出对象是浏览器时+ A' v% f/ ?( q; {" s4 w0 e
" f, _1 s& u5 W) H9 O4 W! ~- t5 J
以流行的浏览器IE为例。IE支持多种内码。假如IE接收到了一个字节流“D6 D0 CE C4”,你可以尝试用各种内码去查看。你会发现用“简体中文”时能得到正确的结果。因为“D6 D0 CE C4”本来就是简体中文中“中文”两个字的编码。& V, B0 r% ?$ d
2 z, X2 O& v! m Z9 H
OK,完整地看一遍。 `/ J" ]4 A9 M: T3 v& I3 U" d. m& q4 s! E' Q* `% H- c
JSP:源文件为GB2312格式的文本文件,且JSP源文件中有“中文”这两个汉字* R8 S0 g1 t \, x
2 x3 Q* S% k- g) R6 w% t 如果指定了<Jsp-charset>为GB2312,转化过程如下表。 . @, o& A1 t! e# k4 }! H6 g6 J6 t, @0 |2 J# i
表4 Jsp-charset = GB2312时的变化过程! T( E, E. K- q$ c0 P% J
" H1 V1 ?1 ^+ i! H2 \序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C4 5 A" o1 n" s, J1 i, u(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照GB2312映射到Unicode,并用UTF格式写入JAVA文件中E4 B8 AD E6 96 873把临时JAVA文件编译成CLASS文件E4 B8 AD E6 96 874运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码4E 2D 65 87(在Unicode中4E2D=中 6587=文)5根据Jsp-charset=GB2312把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中,并设置IE的编码为GB2312(作者按:这个信息隐藏在HTTP头中)D6 D0 CE C47IE用“简体中文”查看结果“中文”(正确显示)2 G L8 l4 I, C8 \- A
如果指定了<Jsp-charset>为ISO8859-1,转化过程如下表。$ Z( h6 b/ U/ C8 E) W E
/ ?- u0 Z7 d# N6 `8 j0 ]7 d 表5 Jsp-charset = ISO8859-1时的变化过程' [8 U! R+ P7 M' B" s
0 ?1 g7 i& ?. ^8 I0 v1 l
序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C43 v$ q% b! A8 I1 |# ?) `
(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中C3 96 C3 90 C3 8E C3 843把临时JAVA文件编译成CLASS文件C3 96 C3 90 C3 8E C3 844运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C4 & j9 U1 F, I; ^" C; p(啥都不是!!!)5根据Jsp-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中,并设置IE的编码为ISO8859-1(作者按:这个信息隐藏在HTTP头中)D6 D0 CE C47IE用“西欧字符”查看结果乱码,其实是四个ASCII字符,但由于大于128,所以显示出来的怪模怪样8改变IE的页面编码为“简体中文”“中文”(正确显示) . j* @ X4 M; m( H3 k( l* c 奇怪了!为什么把<Jsp-charset>设成GB2312和ISO8859-1是一个样的,都能正确显示?因为表4表5中的第2步和第5步互逆,是相互“抵消”的。只不过当指定为ISO8859-1时,要增加第8步操作,殊为不便。- p8 P# a4 d; _5 A1 r
: l4 S: K$ x. W0 [' i# M* c
再看看不指定<Jsp-charset> 时的情况。 + A8 G5 L# u6 N4 Y - A& X* j/ }7 o% ]3 M$ L2 u# X6 }& ? 表6 未指定Jsp-charset 时的变化过程5 r3 B$ h/ k1 J/ a
$ L5 Q3 ]* e/ `- o M" F
序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C4 # \# L, I# `( s/ G; M(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中C3 96 C3 90 C3 8E C3 843把临时JAVA文件编译成CLASS文件C3 96 C3 90 C3 8E C3 844运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C45根据Jsp-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中D6 D0 CE C47IE用发出请求时的页面的编码查看结果视情况而定。如果是简体中文,则能正确显示,否则,需执行表5中的第8步 # z# `& q+ O1 [# X! w8 [! D' Z5 w Servlet:源文件为JAVA文件,格式是GB2312,源文件中含有“中文”这两个汉字( \; g0 X F- n5 z2 \6 g. V6 K
7 o/ b, ~$ Z& W: l8 n
如果<Compile-charset>=GB2312,<Servlet-charset>=GB2312: F% W) v* S- \5 n
: \, l" L c! a% r: f9 }6 x 表7 Compile-charset=Servlet-charset=GB2312 时的变化过程' b7 W( ]' p5 c9 |/ m2 T
; l. b% T3 T9 M6 c序号步骤说明结果1编写Servlet源文件,且存为GB2312格式D6 D0 CE C4 " o4 q2 Z0 I( A4 b6 N2 v(D6D0=中 CEC4=文)2用javac –encoding GB2312把JAVA源文件编译成CLASS文件E4 B8 AD E6 96 87 (UTF)3运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码4E 2D 65 87 (Unicode)4根据Servlet-charset=GB2312把Unicode转化为字节流D6 D0 CE C4 (GB2312)5把字节流输出到IE中并设置IE的编码属性为Servlet-charset=GB2312D6 D0 CE C4 (GB2312)6IE用“简体中文”查看结果“中文”(正确显示)1 W% ]7 r7 ]8 _+ g6 J
如果<Compile-charset>=ISO8859-1,<Servlet-charset>=ISO8859-1 I2 D+ f, \7 {& L: z" R E# t ' s+ A! P+ |. q! n+ v+ E 表8 Compile-charset=Servlet-charset=ISO8859-1时的变化过程 2 H5 l: d+ x _% Z% I. X$ `: G 6 _. c' n% o/ L5 @$ j序号步骤说明结果1编写Servlet源文件,且存为GB2312格式D6 D0 CE C43 X" ~9 d, u* _) X( T' A
(D6D0=中 CEC4=文)2用javac –encoding ISO8859-1把JAVA源文件编译成CLASS文件C3 96 C3 90 C3 8E C3 84 (UTF)3运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C44根据Servlet-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C45把字节流输出到IE中并设置IE的编码属性为Servlet-charset=ISO8859-1D6 D0 CE C4 (GB2312)6IE用“西欧字符”查看结果乱码(原因同表5)7改变IE的页面编码为“简体中文”“中文”(正确显示) 5 Y' \. g& ^* O! ^/ g 如果不指定Compile-charset或Servlet-charset,其默认值均为ISO8859-1。 + [1 m% i; Q0 L9 F7 v% A/ m; I b2 |' T5 x7 M8 j( r
当Compile-charset=Servlet-charset时,第2步和第4步能互逆,“抵消”,显示结果均能正确。读者可试着写一下Compile-charset<>Servlet-charset时的情况,肯定是不正确的。' `" Q- \# y; ^
7 H$ q1 _4 d( A0 X% ]
当输出对象是数据库时' D+ K0 e8 e2 n3 \ K
. e5 _3 V* v$ s/ t( x& k \
输出到数据库时,原理与输出到浏览器也是一样的。本节只是Servlet为例,JSP的情况请读者自行推导。8 L& J d* w& w7 @# }4 j5 {
N9 @2 |* F- A S6 ^ 假设有一个Servlet,它能接收来自客户端(IE,简体中文)的汉字字符串,然后把它写入到内码为ISO8859-1的数据库中,然后再从数据库中取出这个字符串,显示到客户端。 }# \$ {* T# W) y . ?9 m# z% j1 W. s) a3 p, p 表9 输出对象是数据库时的变化过程(1)1 U# ]) G+ v M4 n! y/ n& O$ S
! L$ i9 k, m+ u; L6 G, C2 J: _
序号步骤说明结果域1在IE中输入“中文”D6 D0 CE C4IE2IE把字符串转变成UTF,并送入传输流中E4 B8 AD E6 96 873Servlet接收到输入流,用readUTF读取4E 2D 65 87(unicode)Servlet4编程者在Servlet中必须把字符串根据GB2312还原为字节流D6 D0 CE C45编程者根据数据库内码ISO8859-1生成新的字符串00 D6 00 D0 00 CE 00 C46把新生成的字符串提交给JDBC00 D6 00 D0 00 CE 00 C47JDBC检测到数据库内码为ISO8859-100 D6 00 D0 00 CE 00 C4JDBC8JDBC把接收到的字符串按照ISO8859-1生成字节流D6 D0 CE C49JDBC把字节流写入数据库中D6 D0 CE C410完成数据存储工作D6 D0 CE C4 数据库以下是从数据库中取出数的过程11JDBC从数据库中取出字节流D6 D0 CE C4JDBC12JDBC按照数据库的字符集ISO8859-1生成字符串,并提交给Servlet00 D6 00 D0 00 CE 00 C4 (Unicode) 13Servlet获得字符串00 D6 00 D0 00 CE 00 C4 (Unicode)Servlet14编程者必须根据数据库的内码ISO8859-1还原成原始字节流D6 D0 CE C4 15编程者必须根据客户端字符集GB2312生成新的字符串4E 2D 65 87 2 m2 p5 Y+ w4 |0 q2 |(Unicode) Servlet准备把字符串输出到客户端16Servlet根据<Servlet-charset>生成字节流D6D0 CE C4Servlet17Servlet把字节流输出到IE中,如果已指定<Servlet-charset>,还会设置IE的编码为<Servlet-charset>D6 D0 CE C418IE根据指定的编码或默认编码查看结果“中文”(正确显示)IE : k* h: w, Q/ ~' n9 B% G/ ]9 B% J) L 解释一下,表中第4第5步和第15第16步是用红色标记的,表示要由编码者来作转换。第4、5两步其实就是一句话:“new String(source.getBytes("GB2312"), "ISO8859-1")”。第15、16两步也是一句话:“new String(source.getBytes("ISO8859-1"), "GB2312")”。亲爱的读者,你在这样编写代码时是否意识到了其中的每一个细节呢? ) E# [5 s# m" J/ U ; G. Q3 g- H! b 至于客户端内码和数据库内码为其它值时的流程,和输出对象是系统控制台时的流程,请读者自己想吧。明白了上述流程的原理,相信你可以轻松地写出来。 ; W0 m) {9 o) m7 } $ P9 x5 U/ g8 H: L- M3 g9 V/ B" G2 \ 行文至此,已可告一段落了。终点又回到了起点,对于编程者而言,几乎是什么影响都没有。" F& p) u) K6 C6 _ B/ q
' p9 h3 P! L6 |/ v5 q5 ]- q2 {. R
因为我们早就被告之要这么做了。 , t: o* B# T- C7 u! S7 K5 r# g 5 a7 V! @4 i* q! V# M3 _ 以下给出一个结论,作为结尾。 % r7 m& C: h9 N: @: G( J $ m8 J- J A6 e$ R6 M% B8 r 1、 在Jsp文件中,要指定contentType,其中,charset的值要与客户端浏览器所用的字符集一样;对于其中的字符串常量,不需做任何内码转换;对于字符串变量,要求能根据ContentType中指定的字符集还原成客户端能识别的字节流,简单地说,就是“字符串变量是基于<Jsp-charset>字符集的”;, p! U3 R1 _* Y; H$ b; l3 N/ x3 m
) |) M( J9 ?3 C
2、 在Servlet中,必须用HttpServletResponse.setContentType()设置charset,且设置成与客户端内码一致;对于其中的字符串常量,需要在Javac编译时指定encoding,这个encoding必须与编写源文件的平台的字符集一样,一般说来都是GB2312或GBK;对于字符串变量,与JSP一样,必须“是基于<Servlet-charset>字符集的”。