' s5 ^/ s) j# U 上文说过,异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B,转换的步骤为:先把A转化为Unicode,再把Unicode转化为B。' ^5 \3 @) }+ k
. v" t7 I% x% k! t! n
举例说明。有GB2312中有一个汉字“李”,其编码为“C0EE”,欲转化为ISO8859-1编码。步骤为:先把“李”字转化为Unicode,得到“674E”,再把“674E”转化为ISO8859-1字符。当然,这个映射不会成功,因为ISO8859-1中根本就没有与“674E”对应的字符。) v# w1 _; e" n7 [2 I! q
) |6 B6 J5 k3 C# c$ H
当映射不成功时,问题就发生了!当从某语言向Unicode转化时,如果在某语言中没有该字符,得到的将是Unicode的代码“\uffffd”(“\u”表示是Unicode编码,)。而从Unicode向某语言转化时,如果某语言没有对应的字符,则得到的是“0x3f”(“?”)。这就是“?”的由来。8 G% _2 V9 P* V! y
3 P4 l: h! A m+ b/ c2 s U0 D
例如:把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作,得到的结果是“\ufffd\u554a”,再println出来,得到的结果将是“?啊”,因为“0x80 0x40”是GBK中的字符,在GB2312中没有。 0 O5 j; q8 Q0 k% m+ G ( \$ v! Z/ F9 i' k 再如,把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"进行new String (buf.getBytes("GBK"))操作,得到的结果是“3fa8aca8a6463fa8b4”,其中,“\u00d6”在“GBK”中没有对应的字符,得到“3f”,“\u00ec”对应着“a8ac”,“\u00e9”对应着“a8a6”,“0046”对应着“46”(因为这是ASCII字符),“\u00bb”没找到,得到“3f”,最后,“\u00f9”对应着“a8b4”。把这个字符串println一下,得到的结果是“?ìéF?ù”。看到没?这里并不全是问号,因为GBK与Unicode映射的内容中除了汉字外还有字符,本例就是最好的明证。 # Q" b3 R7 r' s B4 B0 D8 ~3 c4 d3 I; a' c+ Z( E& ?4 k5 a+ b
所以,在汉字转码时,如果发生错乱,得到的不一定都是问号噢!不过,错了终究是错了,50步和100步并没有质的差别。 ' R! L, v+ v, T& S% \* E " C" m) `8 d3 d m$ M+ U( X" Q/ ^ 或者会问:如果源字符集中有,而Unicode中没有,结果会如何?回答是不知道。因为我手头没有能做这个测试的源字符集。但有一点是肯定的,那就是源字符集不够规范。在Java中,如果发生这种情况,是会抛出异常的。7 P8 s. B! G6 |3 b/ F3 K
) {9 B0 x- z8 E0 s" X, m$ `- X& X
什么是UTF $ b7 E! B) _; i" e# |* m0 i0 L2 o& |4 Z# w6 Z/ v5 v+ z- {
UTF,是Unicode Text Format的缩写,意为Unicode文本格式。对于UTF,是这样定义的:7 }. |* k3 S' f% r
# F) h& l9 L! n+ T* S (1)如果Unicode的16位字符的头9位是0,则用一个字节表示,这个字节的首位是“0”,剩下的7位与原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(与源Unicode字符是相同的); ) I* V2 M k |, z9 e; z' U# ?" o Y8 l! `! D6 J3 t X6 C; [0 z
(2)如果Unicode的16位字符的头5位是0,则用2个字节表示,首字节是“110”开头,后面的5位与源字符中除去头5个零后的最高5位相同;第二个字节以“10”开头,后面的6位与源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),转化后为“c99d”(1100 1001 1001 1101); # u5 E! ^/ ?# w/ @. O# v( o6 J/ P$ A1 g, R" X" E& F
(3)如果不符合上述两个规则,则用三个字节表示。第一个字节以“1110”开头,后四位为源字符的高四位;第二个字节以“10”开头,后六位为源字符中间的六位;第三个字节以“10”开头,后六位为源字符的低六位;如“\u9da7”(1001 1101 1010 0111),转化为“e9b6a7”(1110 1001 1011 0110 1010 0111);! l9 H1 h" G4 D5 g0 s& Y
( @# W7 i8 k8 z# E
可以这么描述JAVA程序中Unicode与UTF的关系,虽然不绝对:字符串在内存中运行时,表现为Unicode代码,而当要保存到文件或其它介质中去时,用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。 ; f- \* l5 e$ ?: q- P9 K/ ^, A0 p- I$ S
好了,基础性的论述差不多了,下面进入正题。8 y( G) O3 b4 o- t0 e
: } ^% f9 M. q5 Y7 @& Z& G 先把这个问题想成是一个黑匣子。先看黑匣子的一级表示:' f5 A! P. ]; y8 D3 ~& r2 f
( Z5 j( Q% h; l
input(charsetA)->process(Unicode)->output(charsetB)/ |' v0 Y! ]& Y, I |
! [! `. m) E' B2 G% @ 简单,这就是一个IPO模型,即输入、处理和输出。同样的内容要经过“从charsetA到unicode再到charsetB”的转化。6 t7 P1 R/ [, ?+ D8 G6 {1 n+ E
! v) s9 v& U; b. G3 V h) \/ ?+ x 再看二级表示: ' F+ v8 L9 H1 e3 W0 R' _# M6 v + W7 C% x- P, Q: p" w3 MSourceFile(jsp,java)->class->output ' h. _. N, J! g5 }/ ~( E( N. ^: m/ Z' q. S
在这个图中,可以看出,输入的是jsp和java源文件,在处理过程中,以Class文件为载体,然后输出。再细化到三级表示: & b5 x) C: G: M1 o8 F ; o4 I$ v& {# \ Fjsp->temp file->class->browser,os console,db 6 h. M; ?+ N4 W4 C5 i9 y" i4 p1 H) t9 P, N5 w
app,servlet->class->browser,os console,db) [! u8 e& ~3 |5 B
0 F8 u- c5 S( V; f给出如下结论:; }+ E, D# ~+ Q$ |7 Z
4 R6 s% N$ J; ^% I5 N
在Class输出字符串前,会将Unicode的字符串按照某一种内码重新生成字节流,然后把字节流输入,相当于进行了一步“String.getBytes(???)”操作。???代表某一种字符集。 ( `! l9 H2 _8 o) ~/ i8 |8 E7 H$ {, _/ V0 z C5 G# {. `
如果是Servlet,那么,这种内码就是在HttpServletResponse.setContentType()方法中指定的内码,也就是上文定义的<Servlet-charset>。 ' y* z1 e* I6 j" ?$ [% S . E& c0 K4 ]: x3 U 如果是JSP,那么,这种内码就是在<%@ page contentType=""%>中指定的内码,也就是上文定义的<Jsp-charset>。 - J! W# C3 m( R1 _ ( l8 O1 Y( ?6 [# q8 z6 ]! o 如果是Java程序,那么,这种内码就是file.encoding中指定的内码,默认为ISO8859-1。 : j$ Y' Y2 m% G/ H0 ~5 r' D0 Y. Y+ [! Y1 ]& L" H
当输出对象是浏览器时! \( t' B7 {' ]8 y
; n/ k+ W/ R; D5 J- }
以流行的浏览器IE为例。IE支持多种内码。假如IE接收到了一个字节流“D6 D0 CE C4”,你可以尝试用各种内码去查看。你会发现用“简体中文”时能得到正确的结果。因为“D6 D0 CE C4”本来就是简体中文中“中文”两个字的编码。2 U# H: ~- d" ^! C: M7 z6 B
( l! ? L6 [' g$ Q7 V( G
OK,完整地看一遍。, S3 f1 `( Q" \4 {, s
5 f- _ H6 ^. q# ?% B
JSP:源文件为GB2312格式的文本文件,且JSP源文件中有“中文”这两个汉字 ' a- h1 O/ I1 M! W# G, Q2 |- p; L
如果指定了<Jsp-charset>为GB2312,转化过程如下表。( f. }) ?5 K* q; _) K1 B
9 p, a* I" U( G0 T+ m9 q+ @2 J
表4 Jsp-charset = GB2312时的变化过程8 t1 ^1 c$ K) l
& U# _0 q4 E& T) h
序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C4 " M0 U. T7 N" J4 c! \# a(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照GB2312映射到Unicode,并用UTF格式写入JAVA文件中E4 B8 AD E6 96 873把临时JAVA文件编译成CLASS文件E4 B8 AD E6 96 874运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码4E 2D 65 87(在Unicode中4E2D=中 6587=文)5根据Jsp-charset=GB2312把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中,并设置IE的编码为GB2312(作者按:这个信息隐藏在HTTP头中)D6 D0 CE C47IE用“简体中文”查看结果“中文”(正确显示) 7 Q" Z" N; I( x7 T2 O/ H 如果指定了<Jsp-charset>为ISO8859-1,转化过程如下表。/ G1 d' G% |7 J; E' w; V: b
$ L% x' s; P3 X; [' d6 F 表5 Jsp-charset = ISO8859-1时的变化过程 + K( ~) a- X! Y , ]* R* b2 X) L序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C4& r4 V/ R& |9 n! F0 P( W) p
(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中C3 96 C3 90 C3 8E C3 843把临时JAVA文件编译成CLASS文件C3 96 C3 90 C3 8E C3 844运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C4 & ^) l+ U) ~; [7 o(啥都不是!!!)5根据Jsp-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中,并设置IE的编码为ISO8859-1(作者按:这个信息隐藏在HTTP头中)D6 D0 CE C47IE用“西欧字符”查看结果乱码,其实是四个ASCII字符,但由于大于128,所以显示出来的怪模怪样8改变IE的页面编码为“简体中文”“中文”(正确显示) 7 p" B- t5 l' n* v 奇怪了!为什么把<Jsp-charset>设成GB2312和ISO8859-1是一个样的,都能正确显示?因为表4表5中的第2步和第5步互逆,是相互“抵消”的。只不过当指定为ISO8859-1时,要增加第8步操作,殊为不便。 ) f6 @; g a) X G }, a2 ] K: X 再看看不指定<Jsp-charset> 时的情况。/ O4 q; W4 m$ I: _9 m$ ]
& I0 l3 j& K+ E# q) L. A, u
表6 未指定Jsp-charset 时的变化过程/ }" A8 P; ?# p! a8 K. |
: z, b3 F- Q1 f+ x* i
序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C4) ?, o& K7 V9 [* u
(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中C3 96 C3 90 C3 8E C3 843把临时JAVA文件编译成CLASS文件C3 96 C3 90 C3 8E C3 844运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C45根据Jsp-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中D6 D0 CE C47IE用发出请求时的页面的编码查看结果视情况而定。如果是简体中文,则能正确显示,否则,需执行表5中的第8步 ! W) ^3 `" s3 u7 ?. V) H Servlet:源文件为JAVA文件,格式是GB2312,源文件中含有“中文”这两个汉字 7 o' {: U* ?" X' _" e- R; N. _6 u$ t8 t1 S9 P, g9 K
如果<Compile-charset>=GB2312,<Servlet-charset>=GB2312 ( v2 }* X2 C& E; }3 U * b! o" x$ u' b: m2 | 表7 Compile-charset=Servlet-charset=GB2312 时的变化过程7 o9 t& Y3 @( z! } P% U* z" k1 N
$ L! @: |) C+ i7 T w序号步骤说明结果1编写Servlet源文件,且存为GB2312格式D6 D0 CE C48 r8 Z8 n! B, j$ x# B$ v( d9 O3 ]
(D6D0=中 CEC4=文)2用javac –encoding GB2312把JAVA源文件编译成CLASS文件E4 B8 AD E6 96 87 (UTF)3运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码4E 2D 65 87 (Unicode)4根据Servlet-charset=GB2312把Unicode转化为字节流D6 D0 CE C4 (GB2312)5把字节流输出到IE中并设置IE的编码属性为Servlet-charset=GB2312D6 D0 CE C4 (GB2312)6IE用“简体中文”查看结果“中文”(正确显示)7 ~! Q7 V2 W5 o9 c
如果<Compile-charset>=ISO8859-1,<Servlet-charset>=ISO8859-1 7 j1 d1 p: a! k, d G) V1 D% z: ^/ S3 v9 a* C7 l
表8 Compile-charset=Servlet-charset=ISO8859-1时的变化过程& q9 J' Y9 D5 m7 B; V2 c
N/ C# Q) b8 ~9 ]# k5 F J, z序号步骤说明结果1编写Servlet源文件,且存为GB2312格式D6 D0 CE C46 _$ h. v' t) m K+ u8 N/ c
(D6D0=中 CEC4=文)2用javac –encoding ISO8859-1把JAVA源文件编译成CLASS文件C3 96 C3 90 C3 8E C3 84 (UTF)3运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C44根据Servlet-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C45把字节流输出到IE中并设置IE的编码属性为Servlet-charset=ISO8859-1D6 D0 CE C4 (GB2312)6IE用“西欧字符”查看结果乱码(原因同表5)7改变IE的页面编码为“简体中文”“中文”(正确显示). K3 K0 v9 i) A1 W ~- K t1 ]
如果不指定Compile-charset或Servlet-charset,其默认值均为ISO8859-1。 1 l. Z& I. n$ G* ?8 m $ h: J, x, n( o0 f5 A1 s% Q 当Compile-charset=Servlet-charset时,第2步和第4步能互逆,“抵消”,显示结果均能正确。读者可试着写一下Compile-charset<>Servlet-charset时的情况,肯定是不正确的。, u, Q$ I) x. U9 h
+ w ~7 _, `* q2 [8 t' b/ { 当输出对象是数据库时 # N. P: B# C/ L; ?6 z " |0 r+ V3 q+ _3 s 输出到数据库时,原理与输出到浏览器也是一样的。本节只是Servlet为例,JSP的情况请读者自行推导。' g3 x. s( [) s3 k% x
# X, g+ `+ x- }# @
假设有一个Servlet,它能接收来自客户端(IE,简体中文)的汉字字符串,然后把它写入到内码为ISO8859-1的数据库中,然后再从数据库中取出这个字符串,显示到客户端。6 \- u0 S; h9 [5 f/ L" y2 ~* u
/ B+ _* H+ G! R# q
表9 输出对象是数据库时的变化过程(1), j3 U( e, ` T
1 i/ w: i' S! Y8 q' f5 @序号步骤说明结果域1在IE中输入“中文”D6 D0 CE C4IE2IE把字符串转变成UTF,并送入传输流中E4 B8 AD E6 96 873Servlet接收到输入流,用readUTF读取4E 2D 65 87(unicode)Servlet4编程者在Servlet中必须把字符串根据GB2312还原为字节流D6 D0 CE C45编程者根据数据库内码ISO8859-1生成新的字符串00 D6 00 D0 00 CE 00 C46把新生成的字符串提交给JDBC00 D6 00 D0 00 CE 00 C47JDBC检测到数据库内码为ISO8859-100 D6 00 D0 00 CE 00 C4JDBC8JDBC把接收到的字符串按照ISO8859-1生成字节流D6 D0 CE C49JDBC把字节流写入数据库中D6 D0 CE C410完成数据存储工作D6 D0 CE C4 数据库以下是从数据库中取出数的过程11JDBC从数据库中取出字节流D6 D0 CE C4JDBC12JDBC按照数据库的字符集ISO8859-1生成字符串,并提交给Servlet00 D6 00 D0 00 CE 00 C4 (Unicode) 13Servlet获得字符串00 D6 00 D0 00 CE 00 C4 (Unicode)Servlet14编程者必须根据数据库的内码ISO8859-1还原成原始字节流D6 D0 CE C4 15编程者必须根据客户端字符集GB2312生成新的字符串4E 2D 65 87 0 y$ \/ l% e% A3 G% e. ](Unicode) Servlet准备把字符串输出到客户端16Servlet根据<Servlet-charset>生成字节流D6D0 CE C4Servlet17Servlet把字节流输出到IE中,如果已指定<Servlet-charset>,还会设置IE的编码为<Servlet-charset>D6 D0 CE C418IE根据指定的编码或默认编码查看结果“中文”(正确显示)IE) z3 G# y4 _' Y& f$ a* K! I3 z
解释一下,表中第4第5步和第15第16步是用红色标记的,表示要由编码者来作转换。第4、5两步其实就是一句话:“new String(source.getBytes("GB2312"), "ISO8859-1")”。第15、16两步也是一句话:“new String(source.getBytes("ISO8859-1"), "GB2312")”。亲爱的读者,你在这样编写代码时是否意识到了其中的每一个细节呢? ) v3 i5 S& I1 l0 g7 @ ' ?9 X* G, K* w# S2 U 至于客户端内码和数据库内码为其它值时的流程,和输出对象是系统控制台时的流程,请读者自己想吧。明白了上述流程的原理,相信你可以轻松地写出来。 % p1 w3 e1 d P: B2 w, W/ R9 l. `
行文至此,已可告一段落了。终点又回到了起点,对于编程者而言,几乎是什么影响都没有。 4 b1 o( S% w1 E; E' @- T( Q8 c8 x. f8 N- w6 R
因为我们早就被告之要这么做了。 % y2 g$ O( r8 \6 Z- O ' A& F1 [% ^2 S1 [' H. S 以下给出一个结论,作为结尾。 7 q. Q4 L# x3 {4 o. J7 h V! u4 s i . K5 P2 ?3 e7 ?7 O; f( E) x 1、 在Jsp文件中,要指定contentType,其中,charset的值要与客户端浏览器所用的字符集一样;对于其中的字符串常量,不需做任何内码转换;对于字符串变量,要求能根据ContentType中指定的字符集还原成客户端能识别的字节流,简单地说,就是“字符串变量是基于<Jsp-charset>字符集的”;3 O; v, K6 _& L" a
- X# c5 O L% F3 F& J7 Y% n x 2、 在Servlet中,必须用HttpServletResponse.setContentType()设置charset,且设置成与客户端内码一致;对于其中的字符串常量,需要在Javac编译时指定encoding,这个encoding必须与编写源文件的平台的字符集一样,一般说来都是GB2312或GBK;对于字符串变量,与JSP一样,必须“是基于<Servlet-charset>字符集的”。