数学建模社区-数学中国

标题: 深入剖析JSP和Servlet对中文的处理 [打印本页]

作者: 韩冰    时间: 2004-11-21 12:02
标题: 深入剖析JSP和Servlet对中文的处理
世界上的各地区都有本地的语言。地区差异直接导致了语言环境的差异。在开发一个国际化程序的过程中,处理语言问题就显得很重要了。" I2 F6 H9 g, f) o
! {. H* \/ Y2 {( U- ?
  这是一个世界范围内都存在的问题,所以,Java提供了世界性的解决方法。本文描述的方法是用于处理中文的,但是,推而广之,对于处理世界上其它国家和地区的语言同样适用。- Y3 D2 w# Z& [$ n( I$ k

+ S. J# M- [8 Z! q  汉字是双字节的。所谓双字节是指一个双字要占用两个BYTE的位置(即16位),分别称为高位和低位。中国规定的汉字编码为GB2312,这是强制性的,目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号,高位从0xa1到0xfe,低位也是从0xa1到0xfe,其中,汉字的编码范围为0xb0a1到0xf7fe。. U$ ]7 C1 D: K3 d6 V: y& H* y! `
  s- q( ~/ I. e% J. P1 t! K' E
  另外有一种编码,叫做GBK,但这是一份规范,不是强制的。GBK提供了20902个汉字,它兼容GB2312,编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。
+ c7 W* B8 y; t  t3 H4 j% d$ Q4 W# m/ T1 @- E2 |9 C, P( w& I7 L" d# L
  在不久的将来,中国会颁布另一种标准:GB18030-2000(GBK2K)。它收录了藏、蒙等少数民族的字型,从根本上解决了字位不足的问题。注意:它不再是定长的。其二字节部份与GBK兼容,四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe,二字节和第四字节从0x30到0x39。
& r) W- K# O( q( r  h6 S
9 Y  I- K% G3 c) P9 t; K" h% J. Y  本文不打算介绍Unicode,有兴趣的可以浏览“http://www.unicode.org/”查看更多的信息。Unicode有一个特性:它包括了世界上所有的字符字形。所以,各个地区的语言都可以建立与Unicode的映射关系,而Java正是利用了这一点以达到异种语言之间的转换。
  \3 z' ^7 B: X9 G- T$ W( @9 }9 m2 @. z+ l- m8 s
  在JDK中,与中文相关的编码有:
% Q4 T6 V- V, V: `+ T/ v) u" f  v! m/ g
  表1 JDK中与中文相关的编码列表
4 ~" N$ g) R% ?! P- T- [# S$ ]0 i4 e$ i9 }9 Y3 T8 s
编码名称说明ASCII7位,与ascii7相同ISO8859-18-位,与 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同GB2312-8016位,与gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同GBK与MS936相同,注意:区分大小写UTF8与UTF-8相同GB18030与cp1392、1392相同,目前支持的JDK很少9 F% `( s3 ~2 j0 m
  在实际编程时,接触得比较多的是GB2312(GBK)和ISO8859-1。
' I; B% M, F$ r# ~# ^. b2 |" |+ M( G  O  o9 k. |" I' x' F) z& w: o
  为什么会有“?”号
0 J0 J6 C2 r% ?7 ~3 h0 ~) U* ~/ ^! R' s# |  J% i
  上文说过,异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B,转换的步骤为:先把A转化为Unicode,再把Unicode转化为B。
) Q* {/ h2 d3 G
$ M. D5 F9 j1 @% [  举例说明。有GB2312中有一个汉字“李”,其编码为“C0EE”,欲转化为ISO8859-1编码。步骤为:先把“李”字转化为Unicode,得到“674E”,再把“674E”转化为ISO8859-1字符。当然,这个映射不会成功,因为ISO8859-1中根本就没有与“674E”对应的字符。
; K5 s9 }4 l* {: r# `9 Z  }) i: @* i2 [/ V# p$ M
  当映射不成功时,问题就发生了!当从某语言向Unicode转化时,如果在某语言中没有该字符,得到的将是Unicode的代码“\uffffd”(“\u”表示是Unicode编码,)。而从Unicode向某语言转化时,如果某语言没有对应的字符,则得到的是“0x3f”(“?”)。这就是“?”的由来。# z: x( H, u% ^- |

: S  B0 m6 d8 Y  例如:把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作,得到的结果是“\ufffd\u554a”,再println出来,得到的结果将是“?啊”,因为“0x80 0x40”是GBK中的字符,在GB2312中没有。' J4 n! n; J+ U" s

5 l: F4 _8 d2 n) ^  再如,把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"进行new String (buf.getBytes("GBK"))操作,得到的结果是“3fa8aca8a6463fa8b4”,其中,“\u00d6”在“GBK”中没有对应的字符,得到“3f”,“\u00ec”对应着“a8ac”,“\u00e9”对应着“a8a6”,“0046”对应着“46”(因为这是ASCII字符),“\u00bb”没找到,得到“3f”,最后,“\u00f9”对应着“a8b4”。把这个字符串println一下,得到的结果是“?ìéF?ù”。看到没?这里并不全是问号,因为GBK与Unicode映射的内容中除了汉字外还有字符,本例就是最好的明证。  f) l( m; W  ]

8 q, y7 m7 o. |- ^9 U& T  所以,在汉字转码时,如果发生错乱,得到的不一定都是问号噢!不过,错了终究是错了,50步和100步并没有质的差别。
# ~- q9 ]7 p: N7 B) n" q
1 ]8 r9 L( r& m. R( g0 c  或者会问:如果源字符集中有,而Unicode中没有,结果会如何?回答是不知道。因为我手头没有能做这个测试的源字符集。但有一点是肯定的,那就是源字符集不够规范。在Java中,如果发生这种情况,是会抛出异常的。
" y" {; c1 G4 S+ O7 B
" z7 t! o. @( j& h9 _什么是UTF
% d0 N7 R* O, ~1 o
; R7 I, L7 B" S  U5 ^3 D9 H  UTF,是Unicode Text Format的缩写,意为Unicode文本格式。对于UTF,是这样定义的:
5 L( I7 y% a2 Z" M" `, k1 M" S" m: N2 f) v& w! s; F
  (1)如果Unicode的16位字符的头9位是0,则用一个字节表示,这个字节的首位是“0”,剩下的7位与原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(与源Unicode字符是相同的);8 p3 w0 c4 U7 b. l% p
0 I# v# `! w3 b+ c7 A; B
  (2)如果Unicode的16位字符的头5位是0,则用2个字节表示,首字节是“110”开头,后面的5位与源字符中除去头5个零后的最高5位相同;第二个字节以“10”开头,后面的6位与源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),转化后为“c99d”(1100 1001 1001 1101);& z! w* C6 T6 ]" M' ^) x/ `" l+ h' M

2 o6 O2 X/ p5 L" @7 C7 s  (3)如果不符合上述两个规则,则用三个字节表示。第一个字节以“1110”开头,后四位为源字符的高四位;第二个字节以“10”开头,后六位为源字符中间的六位;第三个字节以“10”开头,后六位为源字符的低六位;如“\u9da7”(1001 1101 1010 0111),转化为“e9b6a7”(1110 1001 1011 0110 1010 0111);
) {1 d9 I$ ^& K% U( m4 t' C) M, u: s4 ~) H  _0 N
  可以这么描述JAVA程序中Unicode与UTF的关系,虽然不绝对:字符串在内存中运行时,表现为Unicode代码,而当要保存到文件或其它介质中去时,用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。
5 [$ c: z0 @$ w. E1 j- {
+ n' o& ^6 _8 v5 l  好了,基础性的论述差不多了,下面进入正题。
- b3 G2 b  n6 Y. G9 s& |5 W; g- V! C* I* s" E8 i/ B$ h3 f. T/ ^
  先把这个问题想成是一个黑匣子。先看黑匣子的一级表示:) q! K6 C- r3 O

0 e2 \! A# L( uinput(charsetA)->process(Unicode)->output(charsetB)1 f8 L9 L  C8 g  ~5 }

% H2 h/ g) d$ T: `% q+ B' s' |, x  简单,这就是一个IPO模型,即输入、处理和输出。同样的内容要经过“从charsetA到unicode再到charsetB”的转化。3 o4 {2 k4 Q9 c1 a4 H- r' m

3 D  g) U1 n! e& P# c. }  再看二级表示:; p8 L" Z( U. v5 D

5 Z0 {9 g+ w) _; ASourceFile(jsp,java)->class->output! p* t, x2 H9 Y3 r' ~) A3 P

" w( _/ j% s/ ^+ I0 B  在这个图中,可以看出,输入的是jsp和java源文件,在处理过程中,以Class文件为载体,然后输出。再细化到三级表示:
5 N/ \* C2 ?  k% o( M1 ^2 C, q1 Z* g: F! e$ H% O4 I
jsp->temp file->class->browser,os console,db) o2 ~3 E8 \* i# P
! O# Q8 T5 H3 w1 o+ ~
app,servlet->class->browser,os console,db
1 @3 [& S* E8 |( r1 c
2 d, v2 X' z' N  这个图就更明白了。Jsp文件先生成中间的Java文件,再生成Class。而Servlet和普通App则直接编译生成Class。然后,从Class再输出到浏览器、控制台或数据库等。
; ?8 v  |; A! N' ]
& S2 w8 B1 l* b1 f( r2 F  JSP:从源文件到Class的过程
% ^- ^' i( h0 m& \8 I! z: H) |+ i( T, E5 @- }; B) p
  Jsp的源文件是以“.jsp”结尾的文本文件。在本节中,将阐述JSP文件的解释和编译过程,并跟踪其中的中文变化。% L' k2 R/ h, S9 g  j5 J
' P: C5 S7 d6 P& [* B. R! }. n
  1、JSP/Servlet引擎提供的JSP转换工具(jspc)搜索JSP文件中用<%@ page contentType ="text/html; charset=<Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定<Jsp-charset>,则取JVM中的默认设置file.encoding,一般情况下,这个值是ISO8859-1;
+ n# O5 w' Y3 R5 j- D2 C4 Y2 B" t/ x/ V; n" K4 D9 |; L
  2、jspc用相当于“javac –encoding <Jsp-charset>”的命令解释JSP文件中出现的所有字符,包括中文字符和ASCII字符,然后把这些字符转换成Unicode字符,再转化成UTF格式,存为JAVA文件。ASCII码字符转化为Unicode字符时只是简单地在前面加“00”,如“A”,转化为“\u0041”(不需要理由,Unicode的码表就是这么编的)。然后,经过到UTF的转换,又变回“41”了!这也就是可以使用普通文本编辑器查看由JSP生成的JAVA文件的原因;  b) X/ c# ]5 O2 O+ E
" F0 K: _$ {  ^& y) i2 r2 I; ^" X
  3、引擎用相当于“javac –encoding UNICODE”的命令,把JAVA文件编译成CLASS文件;
# l: u& o& w+ `. Q% C  ^$ v  w! ^( D
  先看一下这些过程中中文字符的转换情况。有如下源代码:. f7 R5 u/ P* i- k

/ B/ r$ t2 P& V<%@ page contentType="text/html; charset=gb2312"%>
2 D/ X8 @# f7 U0 g+ S0 a<html><body>6 c; R1 J+ G# @+ J5 \( [
<%" c- H) D  w3 B8 l: i
 String a="中文";
8 w5 C6 Q) q; r% i$ j. ~/ \4 E out.println(a);
; F4 W* D2 c. L' X  E6 u8 G5 _6 X%>
# t, p! a9 q' V2 p9 `% Q8 m! d! F</body></html>
* g' ?5 g) Q( z. g  这段代码是在UltraEdit for Windows上编写的。保存后,“中文”两个字的16进制编码为“D6 D0 CE C4”(GB2312编码)。经查表,“中文”两字的Unicode编码为“\u4E2D\u6587”,用 UTF表示就是“E4 B8 AD E6 96 87”。打开引擎生成的由JSP文件转变而成的JAVA文件,发现其中的“中文”两个字确实被“E4 B8 AD E6 96 87”替代了,再查看由JAVA文件编译生成的CLASS文件,发现结果与JAVA文件中的完全一样。
4 r0 ^. e7 `- |3 @; \5 P  G
1 m' O8 l' y/ V; s; t, D5 G  再看JSP中指定的CharSet为ISO-8859-1的情况。
0 c! q$ s4 a4 P1 s7 z3 X
1 Q  W3 c2 Z( H- D! Q' W9 [
/ w* X1 `0 I/ d5 ~0 S<%@ page contentType="text/html; charset=ISO-8859-1"%>
( c8 _0 w, X2 b7 J' T& ~<html><body>$ r# z7 l  R- J3 @" F" @) {
<%
! C( l* [6 y# Q String a="中文";
/ O* N3 T- F! h* e: Z out.println(a);/ D3 {- @2 R& ~/ ?: p( x
%>
/ b9 R" h9 R5 E" k  `</body></html>
5 X+ }# F6 k+ n9 a9 G( G  同样,该文件是用UltraEdit编写的,“中文”这两个字也是存为GB2312编码“D6 D0 CE C4”。先模拟一下生成的JAVA文件和CLASS文件的过程:jspc用ISO-8859-1来解释“中文”,并把它映射到Unicode。由于ISO-8859-1是8位的,且是拉丁语系,其映射规则就是在每个字节前加“00”,所以,映射后的Unicode编码应为“\u00D6\u00D0\u00CE\u00C4”,转化成UTF后应该是“C3 96 C3 90 C3 8E C3 84”。好,打开文件看一下,JAVA文件和CLASS文件中,“中文”果然都表示为“C3 96 C3 90 C3 8E C3 84”。
; |0 ], s  S! j7 Y  Q6 H) }
+ f) p" u+ {+ K, k  如果上述代码中不指定<Jsp-charset>,即把第一行写成“<%@ page contentType="text/html" %>”,JSPC会使用file.encoding的设置来解释JSP文件。在RedHat 6.2上,其处理结果与指定为ISO-8859-1是完全相同的。
8 E+ d- g6 c$ ], t$ J& }0 E
( N# m/ {. U/ W' z, }5 z  a: Z  到现在为止,已经解释了从JSP文件到CLASS文件的转变过程中中文字符的映射过程。一句话:从“JspCharSet到Unicode再到UTF”。下表总结了这个过程:5 ^( ~3 o+ N/ @' v
+ x+ R" M3 v8 {# L* Y
  表2 “中文”从JSP到CLASS的转化过程) @0 Z4 D% p, F. W; j. H
/ v$ q% \1 @$ W5 L: B- u  l/ R: B
. K( r* r( X5 d( L% h2 X4 o
Jsp-CharSetJSP文件中JAVA文件中CLASS文件中GB2312D6 D0 CE C4(GB2312)从\u4E2D\u6587(Unicode)到E4 B8 AD E6 96 87 (UTF)E4 B8 AD E6 96 87 (UTF)ISO-8859-1D6 D0 CE C4
# c: r/ x7 y. V- f: s(GB2312)从\u00D6\u00D0\u00CE\u00C4 (Unicode)到C3 96 C3 90 C3 8E C3 84 (UTF)C3 96 C3 90 C3 8E C3 84 (UTF)无(默认=file.encoding)同ISO-8859-1同ISO-8859-1同ISO-8859-1+ q' S( f" N( E( Q
  下节先讨论Servlet从JAVA文件到CLASS文件的转化过程,然后再解释从CLASS文件如何输出到客户端。之所以这样安排,是因为JSP和Servlet在输出时处理方法是一样的。
作者: 韩冰    时间: 2004-11-21 12:04
Servlet:从源文件到Class的过程
  o; r* W! y9 J7 r, y7 b2 K4 o0 J" u
  Servlet源文件是以“.java”结尾的文本文件。本节将讨论Servlet的编译过程并跟踪其中的中文变化。7 u/ V. d6 X7 K, O0 T5 o6 a
4 }( d$ g$ F* W" m
  用“javac”编译Servlet源文件。javac可以带“-encoding <Compile-charset>”参数,意思是“用< Compile-charset >中指定的编码来解释Serlvet源文件”。% _, W) }* C/ X* u, _
' ~) k8 P7 s: K# A7 U! j( F. I
  源文件在编译时,用<Compile-charset>来解释所有字符,包括中文字符和ASCII字符。然后把字符常量转变成Unicode字符,最后,把Unicode转变成UTF。
1 O0 b+ l) Z5 c0 _
: s5 p9 ]+ ?5 H# @6 ?9 ~  在Servlet中,还有一个地方设置输出流的CharSet。通常在输出结果前,调用HttpServletResponse的setContentType方法来达到与在JSP中设置<Jsp-charset>一样的效果,称之为<Servlet-charset>。
; @$ x  j$ A6 J) B$ {3 `9 }- W: k# k- V/ `3 y& B0 [  r9 M
  注意,文中一共提到了三个变量:<Jsp-charset>、<Compile-charset>和<Servlet-charset>。其中,JSP文件只与<Jsp-charset>有关,而<Compile-charset>和<Servlet-charset>只与Servlet有关。& x; w# T& p) U4 F% z
8 F& M) {# E; P0 j5 Q* W' _
  看下例:
, B- ]4 V6 o" R: I$ G9 T5 t* q3 `4 ^
import javax.servlet.*;
0 R; [( c$ q$ ~6 d5 _. U1 g, m* Y6 c" G. C9 X) ~% V; ]- t2 n9 |
import javax.servlet.http.*;1 t: T# K( Z( J: W7 l5 g0 c

7 S: F* S9 u. R' Iclass testServlet extends HttpServlet! i& f3 X5 `; u) K
{
" |6 M9 ^6 \" u: S- p public void doGet(HttpServletRequest req,HttpServletResponse resp)
# D8 {  [- ^% ~' L throws ServletException,java.io.IOException
( b, H8 A% ]5 b {5 A3 u; Y  [0 g# A
  resp.setContentType("text/html; charset=GB2312");$ T  l$ t. p5 u4 E
  java.io.PrintWriter out=resp.getWriter();2 T1 {7 f' h. k, i: H6 j4 p1 j9 O/ ^
  out.println("<html>");) q  c! x0 n/ R* R
  out.println("#中文#");4 C5 ]9 Y0 g: Q9 X6 g
  out.println("</html>");. M2 V7 _, m$ o3 `- P
 }) U" _6 Z$ J5 F( \7 n  E
}1 x6 ^: T: B7 L9 I& v
  该文件也是用UltraEdit for Windows编写的,其中的“中文”两个字保存为“D6 D0 CE C4”(GB2312编码)。8 M" o, [, o' O2 z% H3 ]

3 `- _1 F& h4 l, ^2 B  L" K  开始编译。下表是<Compile-charset>不同时,CLASS文件中“中文”两字的十六进制码。在编译过程中,<Servlet-charset>不起任何作用。<Servlet-charset>只对CLASS文件的输出产生影响,实际上是<Servlet-charset>和<Compile-charset>一起,达到与JSP文件中的<Jsp-charset>相同的效果,因为<Jsp-charset>对编译和CLASS文件的输出都会产生影响。0 d. F2 Z6 w) a; c, O5 c

; H/ E# J+ a, a9 W+ T  表3 “中文”从Servlet源文件到Class的转变过程
! V* f! J* |4 U# ?! t6 S
0 d9 E/ ?4 v0 |! Q( M' I8 j2 ]Compile-charsetServlet源文件中Class文件中等效的Unicode码GB2312D6 D0 CE C4
0 @) D, ~, C* t( h0 W6 u5 n5 T(GB2312)E4 B8 AD E6 96 87 (UTF)\u4E2D\u6587 (在Unicode中=“中文”)ISO-8859-1D6 D0 CE C4
5 V" D7 R4 Z7 J1 }5 p; q4 b0 x; |* z(GB2312)C3 96 C3 90 C3 8E C3 84 (UTF)\u00D6 \u00D0 \u00CE \u00C4 (在D6 D0 CE C4前面各加了一个00)无(默认)D6 D0 CE C4 (GB2312)同ISO-8859-1同ISO-8859-1
1 _; ?5 ~5 s6 J1 v  普通Java程序的编译过程与Servlet完全一样。
( X- L( @: J: r) s
: @8 N, P$ c& b4 V  CLASS文件中的中文表示法是不是昭然若揭了?OK,接下来看看CLASS又是怎样输出中文的呢?/ f) U1 e3 m  e0 P

4 }- V4 M& A- N$ C: J+ |  Class:输出字符串
4 Q7 z$ Q4 W6 M) _' i( e" a  i0 h3 b: {, _: J$ [7 ]5 j
  上文说过,字符串在内存中表现为Unicode编码。至于这种Unicode编码表示了什么,那要看它是从哪种字符集映射过来的,也就是说要看它的祖先。这好比在托运行李时,外观都是纸箱子,里面装了什么就要看寄邮件的人实际邮了什么东西。
, i$ J6 m) i6 w3 N; e3 _; M* Q5 K1 S) s0 {5 A, D
  看看上面的例子,如果给一串Unicode编码“00D6 00D0 00CE 00C4”,如果不作转换,直接用Unicode码表来对照它时,是四个字符(而且是特殊字符);假如把它与“ISO8859-1”进行映射,则直接去掉前面的“00”即可得到“D6 D0 CE C4”,这是ASCII码表中的四个字符;而假如把它当作GB2312来进行映射,得到的结果很可能是一大堆乱码,因为在GB2312中有可能没有(也有可能有)字符与00D6等字符对应(如果对应不上,将得到0x3f,也就是问号,如果对应上了,由于00D6等字符太靠前,估计也是一些特殊符号,真正的汉字在Unicode中的编码从4E00开始)。% t" g1 F# k. u- t

3 _. Y! D) [- h8 l$ {  各位看到了,同样的Unicode字符,可以解释成不同的样子。当然,这其中有一种是我们期望的结果。以上例而论,“D6 D0 CE C4”应该是我们所想要的,当把“D6 D0 CE C4”输出到IE中时,用“简体中文”方式查看,就能看到清楚的“中文”两个字了。(当然了,如果你一定要用“西欧字符”来看,那也没办法,你将得不到任何有何时何地的东西)为什么呢?因为“00D6 00D0 00CE 00C4”本来就是由ISO8859-1转化过去的。
% o  E# ]( E5 ^+ J+ |
- D. Q  x( u' E+ e1 A1 ~, V给出如下结论:' E- i5 E2 h9 J% Z* z9 p3 x
6 d) ]( R' ~" r# p, {: |
  在Class输出字符串前,会将Unicode的字符串按照某一种内码重新生成字节流,然后把字节流输入,相当于进行了一步“String.getBytes(???)”操作。???代表某一种字符集。
& |& \  D( i' D& @) A" b, O2 q( z# r8 k; p
  如果是Servlet,那么,这种内码就是在HttpServletResponse.setContentType()方法中指定的内码,也就是上文定义的<Servlet-charset>。
; u- i  c7 J1 x' n) B$ u1 v
& I6 g1 K" d' ~% I  如果是JSP,那么,这种内码就是在<%@ page contentType=""%>中指定的内码,也就是上文定义的<Jsp-charset>。
' \1 T/ {" G% f  d& b) i) M$ m, J9 w* d. D. a
  如果是Java程序,那么,这种内码就是file.encoding中指定的内码,默认为ISO8859-1。  S- ?2 G1 F# E: j

% w- Y# a! g  x; B$ ?. C  当输出对象是浏览器时* U1 p+ q8 n& f, }: A$ Z

. _4 |; f2 h, x; ]' J7 Q6 R+ C  以流行的浏览器IE为例。IE支持多种内码。假如IE接收到了一个字节流“D6 D0 CE C4”,你可以尝试用各种内码去查看。你会发现用“简体中文”时能得到正确的结果。因为“D6 D0 CE C4”本来就是简体中文中“中文”两个字的编码。
0 b1 ^" I1 J  Z& ^: ]
+ y$ s, G: |) H. T; |% z  OK,完整地看一遍。! W+ {0 s* n5 {5 f: a# T) }. P  D9 G
% X% p# p' q  n$ R2 Z; n
  JSP:源文件为GB2312格式的文本文件,且JSP源文件中有“中文”这两个汉字
+ [& E4 w  y$ z, L
3 o/ s- }! ~$ H% a) G; }  如果指定了<Jsp-charset>为GB2312,转化过程如下表。3 z( y" \, h- `8 D- o# @( \

$ Q0 x' B2 W2 [8 A9 i1 F5 F  表4 Jsp-charset = GB2312时的变化过程
1 p3 p: G9 R8 M4 E* j3 j( X! A! ^+ q* o8 d% E( u
序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C44 U6 d! W7 @9 P
(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照GB2312映射到Unicode,并用UTF格式写入JAVA文件中E4 B8 AD E6 96 873把临时JAVA文件编译成CLASS文件E4 B8 AD E6 96 874运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码4E 2D 65 87(在Unicode中4E2D=中 6587=文)5根据Jsp-charset=GB2312把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中,并设置IE的编码为GB2312(作者按:这个信息隐藏在HTTP头中)D6 D0 CE C47IE用“简体中文”查看结果“中文”(正确显示)
/ s; }: K# q! u7 H) |& [4 X  如果指定了<Jsp-charset>为ISO8859-1,转化过程如下表。
4 n% E( l/ }: O) r" _- ?* O# Z  w$ _' a5 M. D
  表5 Jsp-charset = ISO8859-1时的变化过程( A% Q! _- Q! I2 S4 L, ~
5 Y  U1 q( N( E1 M2 C" b* ^9 t
序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C4
, u3 s. Q; P$ t2 B(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中C3 96 C3 90 C3 8E C3 843把临时JAVA文件编译成CLASS文件C3 96 C3 90 C3 8E C3 844运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C44 }4 V& c3 @7 H
(啥都不是!!!)5根据Jsp-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中,并设置IE的编码为ISO8859-1(作者按:这个信息隐藏在HTTP头中)D6 D0 CE C47IE用“西欧字符”查看结果乱码,其实是四个ASCII字符,但由于大于128,所以显示出来的怪模怪样8改变IE的页面编码为“简体中文”“中文”(正确显示)
3 Z- ?, r4 v) O' R& P  奇怪了!为什么把<Jsp-charset>设成GB2312和ISO8859-1是一个样的,都能正确显示?因为表4表5中的第2步和第5步互逆,是相互“抵消”的。只不过当指定为ISO8859-1时,要增加第8步操作,殊为不便。* t3 H- N+ Q+ [$ o/ y: n$ }: f1 L
" z( ]* W& ]/ z$ z  t3 N; h. F9 n
  再看看不指定<Jsp-charset> 时的情况。; b- o& t) p9 X
- x  f. F/ j; ~" m
  表6 未指定Jsp-charset 时的变化过程+ H7 A+ U, K% d
1 H0 k. @1 _  J! Y: \
序号步骤说明结果1编写JSP源文件,且存为GB2312格式D6 D0 CE C4  L4 ?  F; n5 u
(D6D0=中 CEC4=文)2jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中C3 96 C3 90 C3 8E C3 843把临时JAVA文件编译成CLASS文件C3 96 C3 90 C3 8E C3 844运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C45根据Jsp-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C46把字节流输出到IE中D6 D0 CE C47IE用发出请求时的页面的编码查看结果视情况而定。如果是简体中文,则能正确显示,否则,需执行表5中的第8步
; U* j5 O6 A6 u" m' j+ J  Servlet:源文件为JAVA文件,格式是GB2312,源文件中含有“中文”这两个汉字! n( t* U0 N9 K9 l+ v  H1 X
. `; m3 A7 v7 P
  如果<Compile-charset>=GB2312,<Servlet-charset>=GB2312( s, b0 I8 ~7 V5 a/ L
, j2 I$ h" }' W' A
  表7 Compile-charset=Servlet-charset=GB2312 时的变化过程1 h5 G: ^$ E3 H2 w) ~, U& k

& |" Z: S  l  d% }6 Z  Q序号步骤说明结果1编写Servlet源文件,且存为GB2312格式D6 D0 CE C4
$ P  z/ O* ~& i) \5 v3 ]3 B# E(D6D0=中 CEC4=文)2用javac –encoding GB2312把JAVA源文件编译成CLASS文件E4 B8 AD E6 96 87 (UTF)3运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码4E 2D 65 87 (Unicode)4根据Servlet-charset=GB2312把Unicode转化为字节流D6 D0 CE C4 (GB2312)5把字节流输出到IE中并设置IE的编码属性为Servlet-charset=GB2312D6 D0 CE C4 (GB2312)6IE用“简体中文”查看结果“中文”(正确显示)
. U+ n1 |. A9 z7 e8 L" P  如果<Compile-charset>=ISO8859-1,<Servlet-charset>=ISO8859-18 ~% z" Y( S$ [

! g; A! m+ ]$ G  表8 Compile-charset=Servlet-charset=ISO8859-1时的变化过程
8 B0 y4 V4 E% F0 u$ A- b0 C8 Z5 {  ]9 i
序号步骤说明结果1编写Servlet源文件,且存为GB2312格式D6 D0 CE C4
3 w- M5 J) u: J6 ?" P(D6D0=中 CEC4=文)2用javac –encoding ISO8859-1把JAVA源文件编译成CLASS文件C3 96 C3 90 C3 8E C3 84 (UTF)3运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码00 D6 00 D0 00 CE 00 C44根据Servlet-charset=ISO8859-1把Unicode转化为字节流D6 D0 CE C45把字节流输出到IE中并设置IE的编码属性为Servlet-charset=ISO8859-1D6 D0 CE C4 (GB2312)6IE用“西欧字符”查看结果乱码(原因同表5)7改变IE的页面编码为“简体中文”“中文”(正确显示)) e0 S& F( B' z
  如果不指定Compile-charset或Servlet-charset,其默认值均为ISO8859-1。
; u2 ?7 U1 {3 F& x1 w+ B! E* @& I9 E. d9 @
  当Compile-charset=Servlet-charset时,第2步和第4步能互逆,“抵消”,显示结果均能正确。读者可试着写一下Compile-charset<>Servlet-charset时的情况,肯定是不正确的。9 b) [6 e' Y3 ?) s0 S

: M' H! \& W9 u: ?- [  当输出对象是数据库时8 ]0 [3 D8 q1 p# ~5 ^

3 i  L3 ?3 ~  t9 ~  输出到数据库时,原理与输出到浏览器也是一样的。本节只是Servlet为例,JSP的情况请读者自行推导。3 L  N) a( Q0 n2 L% D' K
! D1 J+ u; U5 k, _
  假设有一个Servlet,它能接收来自客户端(IE,简体中文)的汉字字符串,然后把它写入到内码为ISO8859-1的数据库中,然后再从数据库中取出这个字符串,显示到客户端。
; @/ W/ v0 }: F' |! ~
: \3 K% R: p) D& z% X  表9 输出对象是数据库时的变化过程(1)
6 ~: |5 J. D% s4 o
" r. \* f' \+ X4 {序号步骤说明结果域1在IE中输入“中文”D6 D0 CE C4IE2IE把字符串转变成UTF,并送入传输流中E4 B8 AD E6 96 873Servlet接收到输入流,用readUTF读取4E 2D 65 87(unicode)Servlet4编程者在Servlet中必须把字符串根据GB2312还原为字节流D6 D0 CE C45编程者根据数据库内码ISO8859-1生成新的字符串00 D6 00 D0 00 CE 00 C46把新生成的字符串提交给JDBC00 D6 00 D0 00 CE 00 C47JDBC检测到数据库内码为ISO8859-100 D6 00 D0 00 CE 00 C4JDBC8JDBC把接收到的字符串按照ISO8859-1生成字节流D6 D0 CE C49JDBC把字节流写入数据库中D6 D0 CE C410完成数据存储工作D6 D0 CE C4 数据库以下是从数据库中取出数的过程11JDBC从数据库中取出字节流D6 D0 CE C4JDBC12JDBC按照数据库的字符集ISO8859-1生成字符串,并提交给Servlet00 D6 00 D0 00 CE 00 C4 (Unicode) 13Servlet获得字符串00 D6 00 D0 00 CE 00 C4 (Unicode)Servlet14编程者必须根据数据库的内码ISO8859-1还原成原始字节流D6 D0 CE C4 15编程者必须根据客户端字符集GB2312生成新的字符串4E 2D 65 87
+ y$ c: `" a2 _+ J- @* P(Unicode) Servlet准备把字符串输出到客户端16Servlet根据<Servlet-charset>生成字节流D6D0 CE C4Servlet17Servlet把字节流输出到IE中,如果已指定<Servlet-charset>,还会设置IE的编码为<Servlet-charset>D6 D0 CE C418IE根据指定的编码或默认编码查看结果“中文”(正确显示)IE$ T7 F- D) Q, X1 `1 w' A
  解释一下,表中第4第5步和第15第16步是用红色标记的,表示要由编码者来作转换。第4、5两步其实就是一句话:“new String(source.getBytes("GB2312"), "ISO8859-1")”。第15、16两步也是一句话:“new String(source.getBytes("ISO8859-1"), "GB2312")”。亲爱的读者,你在这样编写代码时是否意识到了其中的每一个细节呢?
$ K8 z/ }- R& c2 P  i/ O5 [* A7 {4 i, @6 U; D$ J) d' j+ {
  至于客户端内码和数据库内码为其它值时的流程,和输出对象是系统控制台时的流程,请读者自己想吧。明白了上述流程的原理,相信你可以轻松地写出来。8 d8 k9 p/ a3 {4 d
+ i8 W3 u" l' U$ l# A
  行文至此,已可告一段落了。终点又回到了起点,对于编程者而言,几乎是什么影响都没有。
7 i7 y0 S1 {8 n: o3 n/ G$ q% S; g; e8 j2 X; u7 v
  因为我们早就被告之要这么做了。- ?( y* B" h8 L
3 c% s2 F  F+ X
  以下给出一个结论,作为结尾。
3 V9 a* F2 |; D0 O1 G, \% H$ V4 p) |  k6 f
  1、 在Jsp文件中,要指定contentType,其中,charset的值要与客户端浏览器所用的字符集一样;对于其中的字符串常量,不需做任何内码转换;对于字符串变量,要求能根据ContentType中指定的字符集还原成客户端能识别的字节流,简单地说,就是“字符串变量是基于<Jsp-charset>字符集的”;
, u8 L) R- Z+ ?  u/ E4 I' d/ G0 T
  2、 在Servlet中,必须用HttpServletResponse.setContentType()设置charset,且设置成与客户端内码一致;对于其中的字符串常量,需要在Javac编译时指定encoding,这个encoding必须与编写源文件的平台的字符集一样,一般说来都是GB2312或GBK;对于字符串变量,与JSP一样,必须“是基于<Servlet-charset>字符集的”。




欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5