QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 5829|回复: 1
打印 上一主题 下一主题

MS Active Accessibility 接口技术编程尝试

[复制链接]
字体大小: 正常 放大
韩冰        

823

主题

3

听众

4048

积分

我的地盘我做主

该用户从未签到

发帖功臣 元老勋章

跳转到指定楼层
1#
发表于 2004-11-21 15:21 |只看该作者 |倒序浏览
|招呼Ta 关注Ta
<TABLE cellSpacing=0 cellPadding=0 width="100%" align=center border=0>
3 }3 Z& b& D3 W' N: x: G
0 J' p; D( e& E: C; x<TR>2 z) M( q; x5 g6 h2 c+ V( ]
<TD align=left width="83%" bgColor=#efefef>文章标题:<B>MS Active Accessibility 接口技术编程尝试</B>
8 |9 X9 o1 ^$ m" o6 I* [! H3 ~) p原 作 者:崔传凯
7 K8 H: i0 D* ~+ o原 出 处:vckbase% Y9 K( k( b. _0 X
发 布 者:loose_went  V7 n. [% e) K
发布类型:转载
. `* F$ m# d& R7 z5 S  z2 G' V% @发布日期:2004-11-12
  }& p3 b' P% G" ?今日浏览:6
" o: N! @  c3 ^' ~7 P; p/ g! D总 浏 览:234
3 q2 P) i# A; o" e</TD>8 L, R- L% p! c$ r& B
<TD vAlign=bottom align=left width="15%" bgColor=#efefef><a href="http://www.vczx.com/article/file/20041112092122_vczx_msaa.rar" target="_blank" ><FONT color=#003399>下载本文所附源代码<IMG src="http://www.vczx.com/article/images/zip.gif" border=0></FONT></A> </TD></TR></TABLE>
; \/ j2 a  g$ a9 I: d% `<TABLE cellSpacing=0 cellPadding=0 width="96%" align=center border=0># b+ d& ]- j& V! {8 m' U
# b. D3 f% d7 W* j/ e
<TR>
4 B0 L, R% m4 k; K* D$ x, I<TD vAlign=top align=left bgColor=#ffffff>3 o2 O2 N; @' p5 W& @/ E

9 Z+ }, w% A" C<>( [7 o% q0 T6 ]* ?
<TABLE cellSpacing=0 cellPadding=15 width="95%" align=center bgColor=#e6e6e6 border=0>; T7 V& ^& h2 g2 q7 s

7 P6 [9 d3 l' t* v<TR>
7 D# l+ B# f1 R) [  G<TD><FONT color=#00309c>Microsoft<FONT face="Times New Roman">&copy;</FONT> Active Accessibility 2.0 is a COM-based technology that improves the
' }% q$ [. t' s% vway accessibility aids work with applications running on Microsoft Windows?. It
, q; {5 O" U) ~1 k% pprovides dynamic-link libraries that are incorporated into the operating system
5 O) ^6 q. ~" j% n. J  Was well as a COM interface and application programming elements that provide
4 s4 j; U/ W5 ], ]: G, B% s; @reliable methods for exposing information about user interface elements.      </FONT></TD></TR></TABLE></P>
( L' ]" K+ t  |. O/ u, ^3 _! H<>一、基础
* k; v8 K- Y4 ~& d; X! ~- V; }$ G' |5 C    Microsoft<FONT face="Times New Roman">&copy;</FONT> Active Accessibility 是一种相对较新的技术(1.0版在1997年5月份推出)。目的是方便身患残疾的人士使用电脑——可用于放大器、屏幕阅读器,以及触觉型鼠标。同样还可以用来开发驱动其它软件的应用程序,其模拟用户输入的能力尤其适合测试软件的开发。
$ o% U  B% h; _9 Z' C5 O    Active Accessibility 的主要思想是提供一种以程序方式访问UI元素信息或操作这些UI元素的功能。支持这种功能的 UI(User Interface) 元素是可访问的。在大多数情况下,这意味着一个UI元素支持 IAccessible 接口。你也可以说在 Active Accessibility 的世界里,一个可访问的UI元素可表示为 IAccessible 接口。% o2 u6 }9 \6 Q* S
    每当你需要得到有关一个元素的信息,在其上执行一个动作,或者使用 Active Accessibility 做其它的什么,你通常需要通过使用代表这个元素的 IAccessible 接口的一种方法或者属性来引用这个元素。</P>: y: c& n" I$ G! R; y( g* r5 \- `
<>二、Active Accessibility 原理
, ]1 Q& z1 I/ G6 }6 w    Active Accessibility? 的核心功能由 OLEACC.DLL 提供的。每次当你调用一个函数来返回一个 IAccessible 接口指针,其与一个UI元素相对应,OLEACC.DLL就检查此元素是否内在支持 IAccessible。内在的支持意思是该元素的 IAccessible 是用程序实现的。# M  G% h" W3 x2 J
    当一个UI元素不能内在的支持 IAccessible 时,OLEACC.DLL 检查该元素的Windows 类名。如果该类是一个 USER 或者 COMCTL32 支持的类,OLEACC.DLL 就创建一个代理为 UI 元素实现 IAccessible 接口。大多数--但不是全部--COMCTL32 控件都具有被 OLEACC.DLL 支持的 IAccessible 接口。
( A# P6 l, F) b) P& p    内在支持 IAccessible 的 UI 元素的例子是定制控件,owner-drawn 和无窗口的控件。因为开发者创建的程序包含这些UI元素,同样就实现了这些元素的接口,他们有责任为这些方法和属性提供正确的支持。% M( A# }# T) ~- ~: Z  J. F
    如果你用标准控件,这也意味着你不必重写你的应用,这些应用自动与Active Accessibility兼容。: ~! \/ t# q  g) G7 H3 h
    Active Accessibility 名字是基于 Win32 控件的名字给出的,角色基于控件的功能定义。</P>- v6 W& S7 {! }) B) e$ R# S3 f' t/ a
<>三、如何得到 IAccessible 接口指针/ ~. V2 y- I7 a/ C0 Y: V
    每当你需要有关一个元素的信息,在其上执行一个动作,或者使用 Active Accessibility 做其它的什么,你只需要通过使用代表这个元素的 IAccessible 接口的一种方法或者属性来引用这个元素。: n; ]& Z0 g3 \3 ?- A1 `$ k7 H! a
    有几种方法取得代表一个可访问 UI 元素的 IAccessible 接口的指针。最普通的方法是使用 Active Accessibility 提供的一种函数,例如 AccessibleObjectFromPoint,AccessibleObjectFromWindow 等等,或者使用 IAccessible 支持的方法,例如 get_accChild,get_accParent。0 J+ j/ a, Q7 ?9 Q% K5 a6 h* b! t
    IAccessible 接口支持允许你得到各 UI 元素信息的属性,而其中对于例子程序最重要的属性是名字、角色和状态。
3 l: E# {1 w! d    Active Accessibility SDK提供了一些方便的工具,其中的 Object Inspector 能显示光标指向的UI元素的属性。Object Inspector 显示了Active Accessibility 的世界如何因为具有支持一个选定窗口内的 IAccessible 接口的控制而变得通用了。除了搜索有关元素的信息和通过 IAccessible 接口控制元素以外,Active Accessibility? 还有两种对于例子程序非常有用的特性:监视UI元素发生的事件和模拟键盘、鼠标输入。由可访问的元素激发的事件称为 WinEvents,当可访问的元素创建或者名字、状态、位置或者键盘焦点发生变化时,就激发这些事件(事件机制类似于标准的 Windows 的 hook 机制。监视事件我们将在后面介绍。)。这些事件的清单见文件 WINABLE.H。每个事件的名字以 EVENT_OBJECT 或 EVENT_SYSTEM 开始。6 G+ k% I3 g7 T% d" `
    好,我们言归正传,来介绍如何得到 IAccessible 接口指针。前面已经提到过 AccessibleObjectFromWindow 这个 Active Accessibility 提供的函数,从字面上大家可以看出是通过窗口来得到对应的 IAccessible 接口指针。
  b8 n' t- V# p+ H6 A- h    因为 IAccessible 接口的数量比窗口要多(因为大多数--但不是全部--COMCTL32 控件都有被 OLEACC.DLL 支持的 IAccessible 接口。),使用 Win32 函数来搜索一个窗口将会比使用 Active Accessibility 树搜索与该窗口相应的 IAccessible 接口要占用少得多的时间。这就意味着为了提高性能,你应该使用 FindWindow 和 EnumWindows 这样的 Win32 函数来找到与希望的UI元素最接近的窗口。当然,在权衡 Win32 函数和 Active Accessibility 函数时,上面的规则只是使用它们的一般标准而不能盲目的遵照执行,重要的是理解它们的本来意义。
, S; M' @, x2 U3 Z9 U5 {# \下面结合代码介绍一下它的用法。) g3 ?6 c  t2 Z
我们来得到下面运行窗口的 IAccessible 接口指针。# S) O/ ?. H) O1 s

1 ?7 Z: d+ p9 @* S<IMG src="http://www.vczx.com/article/img/20041112092538_vczx_msaa_actaccblty1.gif" align=baseline border=0></P>
6 w( `3 ^$ u: C. S7 K- V, E/ ~<>图一</P># J) n+ d$ M% w3 P7 O
<>" `4 x  H3 J& u
<TABLE cellSpacing=0 cellPadding=15 width="95%" align=center bgColor=#e6e6e6 border=0>  s! Y& X6 c% F( z. d

3 W. x$ Q  Y* @) F3 i) D% I<TR>
$ ]5 ]4 b) c0 A/ X) x1 J3 d<TD><FONT color=#00309c>HWND hWndMainWindow;9 s8 a! C4 g( K% C
IAccessible *paccMainWindow = NULL;6 o* Z. r6 H& A$ Z: V1 M
HRESULT hr;. c9 u3 i' I6 i# \
//得到标题为"运行"的窗口的句柄3 A  Z# c3 p( P: c. S
if(NULL == (hWndMainWindow = FindWindow(NULL, "运行")))
1 S7 Z. }5 Y# N{8 ^1 k; x' y+ x$ a
MessageBox(NULL, "没有发现窗口!", "错误", MB_OK);
% X  d2 x! H" Q: W}+ T5 \) }& q: m3 ]  |
else
& W9 W" F' \+ S9 H) N4 o+ q{
4 j6 N, |7 O2 ^) n//通过窗口句柄得到窗口的 IAccessible 接口指针。: b' D& J' v" i' d- N. ^+ K3 ?
if(S_OK == (hr = AccessibleObjectFromWindow(hWndMainWindow,
2 j& R, |  m6 X                                            OBJID_WINDOW, 4 @) d3 [, D4 x2 |+ j1 [. G4 O$ H0 @
                                            IID_IAccessible,
& f. M4 ~7 E: i0 F* n% Q+ }' F                                            (void**)&amp;paccMainWindow)))( f, ]3 D( x, p0 k! c7 g6 ^
{) c5 @; N7 e, {# \' x! a5 l7 j
//……我们可以通过这个指针paccMainWindow进行操作。
; A' _, A" \9 s. H& H) V/ tpaccMainWindow-&gt;Release();
0 G4 v& Q/ ?0 q( X7 y& a        }
: ^/ X- h4 g/ r+ Y* _; z7 g}    </FONT></TD></TR></TABLE></P>
3 f7 u5 X% T! m* R9 t! `2 o- S<>   现在我们已经得到窗口的 IAccessible 接口指针了(paccMainWindow),那么,我们可以干什么呢?我们怎么得到窗口中某个控件的 IAccessible 接口指针呢?我们就以上面的运行窗口为例。看看如何得到文本框的 IAccessible 接口指针!!
( W% J% ]! f6 u! _$ L7 j  {/ ]    首先我们启动 inspect32.exe,什么?你不知道这是什么东西?赶紧先下载个Active Accessibility SDK看看吧……
2 @8 |1 q% K2 s, w' \5 M+ m    然后,把鼠标放到所关注的控件上(即上图中的文本输入框),你会得到如下信息:</P>
) P7 |, |, X5 v& x# J8 a<><IMG src="http://www.vczx.com/article/img/20041112092648_vczx_msaa_actaccblty2.gif" align=baseline border=0></P>
+ R" o  U7 ~/ A. B# I* u<>图二</P>$ o2 H* C; N7 z& ?) F4 A+ {
<>我们现在主要关注的信息是:Name、Role、Window className。</P>
1 Q- p. a4 `& W8 o- {. m, B<>
1 d. ^  p' E9 c0 q<TABLE cellSpacing=0 cellPadding=15 width="95%" align=center bgColor=#e6e6e6 border=0>
- ]" c1 p3 y2 ^8 p0 p+ J3 T/ @% A# M
<TR>
" O3 D, N* M0 ?: S$ P# b% K<TD><FONT color=#00309c>Name = "打开(O):"
! c4 A- ]3 R! O/ a  K  y1 rRole = "可编辑文字"
0 _3 a1 c6 M1 t6 n* g4 z/ f8 FWindow className = "Edit"  </FONT></TD></TR></TABLE></P>
& J$ F+ [- a% W0 W& Y<>    当开发自定义、owner drawn 或者无窗口的控件时,为同一窗口的每个"角色-名字"指定独一无二的表示是一个非常好的编程习惯。然而,如果由于某种原因,同一窗口中的2个 UI 元素具有同样的"角色-名字"对,那么就需要增加一个参数--windows 类--以唯一的来表示这个元素。
  L9 K- Z1 b2 A1 x' U- A    FindChild 函数显示了一个基于 Active Accessibility 父/子(你可以理解成父窗口/子窗口的关系,只是为了便于理解:-P)导航的搜索例程的实现。这个函数有6个参数。前4个包含传递给函数的信息,后2个包含了 IAccessible 接口/子ID对(见附录)。( r5 x6 ]# V& O$ x6 Z; k$ O8 K
下面我们开始取文本输入框的 IAccessible 接口指针。 </P>2 s- G9 b# @) J% \, X1 N' k' I4 P
<>" S7 B2 f8 W# f, }
<TABLE cellSpacing=0 cellPadding=15 width="95%" align=center bgColor=#e6e6e6 border=0>
; S: o/ L+ m) r2 O8 n7 N0 p9 Y1 L
<TR>
3 p* t. l$ ]5 j" p9 U: h<TD><FONT color=#00309c>IAccessible* paccControl = NULL;//输入框的 IAccessible 接口
4 c2 u: _. z) M  f! gVARIANT varControl;    //子ID。
$ k( m6 G+ |' ?  K' G1 x2 e; o1 Q
FindChild( paccMainWindow, 1 z9 n- m  v% s, {
           "打开(O):", 5 R$ x% Y) F* X4 p- z8 Q- m
           "可编辑文字", ' I1 C) i7 t, Q' l& s" ]6 ?
           "Edit", 6 G4 Z+ B9 r* f9 Y* H& I
           &amp;paccControl, / g8 [8 Y1 Y6 u; \! R8 B! n
           &amp;varControl ) </FONT></TD></TR></TABLE></P>7 Q7 j! x3 z- ], x
<>第一个参数是先前得到的窗口 IAccessible 接口指针。8 g  O% H$ P# r* a9 J
第二、三、四个参数分别是名字、角色、类。
( M# z" ]% F8 u/ }# n9 ?后2个为返回参数包含了 IAccessible 接口/子ID对。下面是FindChild的实现。 </P>9 a. I% B$ `( o2 B0 r! V/ g* M: K
<>2 H0 v! s8 E+ l: v
<TABLE cellSpacing=0 cellPadding=15 width="95%" align=center bgColor=#e6e6e6 border=0>
* ]! d& y4 z% O
& n% }2 S" Q% J<TR>0 ?8 o" R: ~- ^; x2 l
<TD><FONT color=#00309c>BOOL FindChild (IAccessible* paccParent,
5 ]2 o# [- k' Y6 }/ _! ?                         LPSTR szName, LPSTR szRole, 8 ]% d7 U( t2 t: E1 o
                         LPSTR szClass, " N% i4 X  k5 K7 h, ^0 w
                         IAccessible** paccChild, ! `) Q$ O9 Q1 f) e! y- n
                         VARIANT* pvarChild)
2 @8 ]; K" h6 u0 _{
" n7 S1 Q( W& a: ^8 S( w8 {, l- L' WHRESULT hr;8 D& O" q, O, [# N/ I/ K+ Q6 |3 E' s
long numChildren;- u$ G9 j1 W1 N" m$ w9 ?" [- d! F- G
unsigned long numFetched;
0 w( V$ A( C& y4 |4 vVARIANT varChild;
/ e) {2 n6 J- ^- g1 Sint index;! W6 P8 w* ?/ K5 @& W. M- @4 q7 ~
IAccessible* pCAcc = NULL;: I. R" r8 G9 G3 B+ h
IEnumVARIANT* pEnum = NULL;7 v: G, ~5 u5 d! v& `. n
IDispatch* pDisp = NULL;( V" C! X. @# c" Q7 f! ^# q( H% o
BOOL found = false;
7 t5 [4 R( w# q, l5 j7 L' @! |; J5 m) Wchar szObjName[256], szObjRole[256], szObjClass[256], szObjState[256];. A( }1 J$ G3 v* H8 A% O0 _

/ O  @2 s- t3 U+ e) k& R) r//得到父亲支持的IEnumVARIANT接口
! p& v3 B8 s% p) [hr = paccParent -&gt; QueryInterface(IID_IEnumVARIANT, (PVOID*) &amp; pEnum);
6 `+ B2 e6 r# b- h( e
/ [  f9 H- B" J. h6 Pif(pEnum)
4 E% N, ~2 V% p9 R) L) O, epEnum -&gt; Reset();, j# u% E% k( F) ?. K( {" H5 H

& n0 f! v8 F  H( B" ~" E# L$ [. V//取得父亲拥有的可访问的子的数目, a9 O$ n: q& S2 H: V
paccParent -&gt; get_accChildCount(&amp;numChildren);$ z- Y% ^  Y- L& A" j3 ^9 L

* F. @; j, H" o$ P5 u; p//搜索并比较每一个子ID,找到名字、角色、类与输入相一致的。
9 C; S4 c: O' T( z* Ffor(index = 1; index &lt;= numChildren &amp;&amp; !found; index++): z; g/ k3 w) T/ |- f8 q
{
9 {* X* y% i/ B. X' EpCAcc = NULL; / D' R1 }! ^+ U3 t* K6 M$ R! N
// 如果支持IEnumVARIANT接口,得到下一个子ID+ H$ E4 J- G" t6 s2 r, f
//以及其对应的 IDispatch 接口0 \  l% l! L& e  n! _* J1 ^( T8 w
if (pEnum)! C" A% q9 ]4 l5 h' A" @
hr = pEnum -&gt; Next(1, &amp;varChild, &amp;numFetched); ! T* G6 m8 N8 i+ f" P3 H
else( F) x; X8 s' |) s  I; r% y# P
{
& I$ Y+ }2 z3 e//如果一个父亲不支持IEnumVARIANT接口,子ID就是它的序号# t) V8 B% J* H- X* F
varChild.vt = VT_I4;/ [7 f( Y8 b. t
varChild.lVal = index;5 C! Z/ I4 f! d$ y
}9 X" _% @: }& q5 ^+ y
( g! [: E, v, l  f& f1 q
// 找到此子ID对应的 IDispatch 接口2 w. h$ d0 _# M7 j
if (varChild.vt == VT_I4)6 \- J- w+ O$ O( y, O1 w
{) T( P. L) f9 @: D) L9 U9 v) U8 K
//通过子ID序号得到对应的 IDispatch 接口, `6 j/ B, [" _9 _
pDisp = NULL;
* o1 O6 [) ?- T7 ~5 I. hhr = paccParent -&gt; get_accChild(varChild, &amp;pDisp);
8 C' B) I) u! h% a2 |0 c  o) g}/ `+ J" }+ g* q  E
else' u  L0 \6 z6 j( J$ f5 u
//如果父支持IEnumVARIANT接口可以直接得到子IDispatch 接口
* H5 k7 B+ `. }6 [8 d- J) dpDisp = varChild.pdispVal;
2 ?% ?* r% d7 ]5 N; p' p6 |3 @: d4 W7 a" y
// 通过 IDispatch 接口得到子的 IAccessible 接口 pCAcc3 r4 o# X4 D' P+ T7 j& c; d
if (pDisp)6 Q0 Z, I! w; W9 s& Y7 I3 e3 |( x
{1 S3 @: {0 x" I6 c9 |8 ?/ ]/ q
hr = pDisp-&gt;QueryInterface(IID_IAccessible, (void**)&amp;pCAcc);! F* e3 @$ Q7 V
hr = pDisp-&gt;Release();* [1 a7 P$ @" n/ ]1 R
}
5 ], g* W( D* L1 e9 @% M" ]
+ O9 ~; B7 y) r6 @7 f+ [// Get information about the child  y  W8 N$ j  ?, m
if(pCAcc)5 Y5 i6 e/ W5 f# p: C; I
{$ w- |6 B( ]( x) ~3 b3 L3 c& `1 O4 Z* A
//如果子支持IAccessible 接口,那么子ID就是CHILDID_SELF0 c6 ]- _8 Q# b2 U
VariantInit(&amp;varChild);$ i: r* F% e1 i$ z0 |& f
varChild.vt = VT_I4;
; D  b0 ^& V1 {$ o1 a2 M/ _varChild.lVal = CHILDID_SELF;! O! \1 |: Z# n! |, S

1 B3 ~% y1 Y6 Q2 P/ N, w* }$ j*paccChild = pCAcc;
2 r5 t, {  M: n8 x: }3 J}. C( ]& ~8 Z6 R5 n5 O* q& S/ B
else
" V& d" `; X: V0 n//如果子不支持IAccessible 接口* R4 \* L; X: n. q* n1 ~- v
*paccChild = paccParent;
+ e/ A: b& X3 g( g! F& Z2 r% I$ ~! X. y/ p
//跳过了有不可访问状态的元素- X( [9 n& g; I; v3 A
GetObjectState(*paccChild, 4 o! K% e1 O0 j( b1 `
               &amp;varChild, # ~2 t2 r- Q/ ?/ y8 O  t8 O, ^
               szObjState, 0 D- n8 j! ?: w' V
               sizeof(szObjState));' y" g( C) G" p; G. E+ D0 }* O
if(NULL != strstr(szObjState, "unavailable"))
; Y0 e' w  C' R' ]4 a( U{
9 a1 u1 p  Z8 Yif(pCAcc)
/ o( x5 [" Z; d5 M: hpCAcc-&gt;Release();/ ]$ X  I  D/ q
continue;* ]4 q4 X. {, a$ s
}% A  J9 B2 W7 D: p( d( n" Z
//通过get_accName得到Name% C  `( i9 C& Z! m% D
GetObjectName(*paccChild, &amp;varChild, szObjName, sizeof(szObjName));
5 s6 f: Z4 m$ P# J3 @& C$ Y//通过get_accRole得到Role7 |, B0 S, V7 ~' ~, o1 H6 `% k
GetObjectRole(*paccChild, &amp;varChild, szObjRole, sizeof(szObjRole));( ^, N4 U! w/ B+ d
//通过WindowFromAccessibleObject和GetClassName得到Class" H2 s- `0 L; P$ [- P4 E! p
GetObjectClass(*paccChild, szObjClass, sizeof(szObjClass));
+ o7 s* p8 l9 K4 h. s- A8 D" Y//以上实现代码比较简单,大家自己看代码吧。+ G: g% b5 H7 N

1 V7 ?; f" W* |& m2 D//如果这些参数与输入相符或输入为NULL
. a" c# S# T: y5 l) _( a8 xif ((!szName || 7 ?. i# A% h2 h7 o  y  D+ [6 @2 W
     !strcmp(szName, szObjName)) &amp;&amp;
2 N; H5 [4 h4 [0 G* ?" E     (!szRole ||
8 |$ M# O3 x( k! o% U* S) m      !strcmp(szRole, szObjRole)) &amp;&amp;
6 \% M8 Z; [  }0 e     (!szClass ||
3 ?6 Y) k. x4 ^" S$ V2 f      !strcmp(szClass, szObjClass)))
2 V( r0 ?. A; {0 U{
5 a" ]7 [5 r& ?' N1 Pfound = true;; q' H- B" Q( P# q& d5 P- d/ z
*pvarChild = varChild;5 y! i; [# l3 `8 N4 g( T
break;
0 c* P5 v+ F4 N3 Z9 U# o6 ~+ K- |9 O}* t; y, `& ?0 `/ B0 l
if(!found &amp;&amp; pCAcc)
8 |6 N; g) A; z8 c! }{
, b3 Q- v  l9 o& e& b2 X; L) C// 以这次得到的子接口为父递归调用
7 R; D6 @: e' ~found = FindChild(pCAcc,
& L7 \  e% J4 Q; ~/ ~                  szName,
* L5 _4 u* s8 j6 Z) |9 \2 [                  szRole,
. Y) T6 ]  E( P: g, d1 {  c                  szClass, " |6 P1 z1 z# ^" D0 `9 w4 n( h
                  paccChild,
; Q) Q3 R* l+ {/ C" `5 v! D                  pvarChild);
5 k- X8 W1 n& A: ?& ~* dif(*paccChild != pCAcc)
, }$ b2 e9 a! Z/ j0 f0 d& PpCAcc-&gt;Release();6 @0 Q+ [9 o6 ^6 T. f% f
}' c+ j  q: `( r8 W; V  ]7 N4 x
}//End for
+ x/ ^( o& ^# v9 G1 J# u$ e! C9 Y+ w$ a! z! S( q
// Clean up5 H' F  h* l2 f6 b% o- N
if(pEnum)
' a5 `1 [& N4 S% mpEnum -&gt; Release();
  W2 v( S+ m8 [1 c
  B# g; ^) e, h) Hreturn found;
3 I& s/ ?3 i' @, \% K- f}
& O3 w5 F5 s# T" R  H5 n, d/ s+ z2 W) `" r
// UI元素的状态也表示成整型形式。因为一个状态可以有多个值,9 m. h0 Q* X" U  O) ^' n
//例如可选的、可做焦点的,该整数是反映这些值的位的或操作结果。
& I5 {. W$ K8 @//将这些或数转换成相应的用逗号分割的状态字符串。: p# y1 B4 K1 l8 y. j
UINT GetObjectState(IAccessible* pacc, * d6 Z  c5 [1 C, s7 {- h: e4 M
                    VARIANT* pvarChild,
$ e# m& }7 g- F" }( m7 L                    LPTSTR lpszState,
2 C/ F$ x  F& r  o                    UINT cchState): M5 N1 f. N- L0 _- @3 J8 p! B
{
. G3 }  p5 R5 z  a    HRESULT hr;* j. k% C/ h0 b& P' |
    VARIANT varRetVal;$ X! m% c2 ?) H. D6 @% v, O6 O5 K

% k7 b0 h6 t) A- w" q0 ?0 m    *lpszState = 0;/ n, L; C$ D  i* h# q" R* T- N7 t

0 O; ?" g& J* W    VariantInit(&amp;varRetVal);
' H3 j7 U) p+ r2 c; f$ ~6 d8 r! h2 t. i- Q+ ]  }- g% o# W) B
    hr = pacc-&gt;get_accState(*pvarChild, &amp;varRetVal);2 D2 |. o" `0 @6 ^

$ s; o# p2 m1 Q  s1 I0 ?if (!SUCCEEDED(hr))$ O& Z% C6 {9 w* i; r, W
        return(0);6 V3 w: s( S, L1 j7 [" |* p
3 ?. W7 w% J+ D$ g8 i" ?
DWORD dwStateBit;: G: L. o6 E' f: V
int cChars = 0;
3 e: [* Q1 `, F3 g' D8 B' Z5 U9 B    if (varRetVal.vt == VT_I4)6 P* x9 M2 T, t/ g
{
' f8 s# R8 h: `  c/ {. s// 根据返回的状态值生成以逗号连接的字符串。. K- U; a3 K# H! F; ]& @# `
        for (dwStateBit = STATE_SYSTEM_UNAVAILABLE; & |# w( l* d% i$ c/ `
               dwStateBit &lt; STATE_SYSTEM_ALERT_HIGH;
' K' J$ X7 w* K" X; b6 k               dwStateBit &lt;&lt;= 1)1 _, J' ]5 V4 M' F$ a- a# d3 c  `
        {3 r, G5 I4 {  D/ Q. S; D( R
            if (varRetVal.lVal &amp; dwStateBit)" _$ M" ^4 @( _/ i- b0 Z
            {! H4 C5 ^& C7 _0 S0 P
                cChars += GetStateText(dwStateBit,
8 {! w% \  \( p) j' }+ @                                       lpszState + cChars, - Y4 ^4 S" v) i' R% b- ?2 n8 E
                                       cchState - cChars);3 q2 J; \% u4 w2 }
*(lpszState + cChars++) = '','';
. N: w/ `8 c! Q% i# ]            }8 c- w0 v- [2 d2 o. z& e  k2 g
        }5 x- [% e  Q7 q0 A
if(cChars &gt; 1)
1 V' _+ G6 R1 o& U- U9 f9 I% w/ r: H*(lpszState + cChars - 1) = ''\0'';
8 E# |* Z) _# Z8 M9 v/ y8 N    }
$ Q+ U) _0 I7 x* ^1 V( S    else if (varRetVal.vt == VT_BSTR): s% L/ |3 ^, n8 U
    {
0 ^$ }" ?+ e2 P: s$ _+ g1 p        WideCharToMultiByte(CP_ACP,
: ^+ V2 n( R$ g  s5 l; m                            0, 3 j. g! D3 v* c$ l9 @& e, h
                            varRetVal.bstrVal, + }1 N9 w; }( e4 a& k; V
                            -1,
' g' L6 R; z/ z7 g" m                            lpszState,' x6 a. I. Y* h" N) Y
                            cchState, " E# J& l$ d9 G1 x2 l: ^4 D6 V
                            NULL, - ~. E8 e1 _7 S' V4 n% x
                            NULL);. e* m* O2 s2 n, F- e. Z! j
    }
9 k. Q  m5 R8 l* E+ s5 H6 T5 Q- n1 k3 h3 N2 V' w
    VariantClear(&amp;varRetVal);
2 Y" |0 i  j( ?+ n
1 ~  m+ m: h9 Z; O    return(lstrlen(lpszState));7 p0 @; {; K, V5 o
}</FONT></TD></TR></TABLE></P>  R8 t, }  v. j2 p6 C5 E
<>好了!!我们已经成功得到文本框的 IAccessible 接口指针了!!现在你可以用这个接口指针为所欲为了!!!呵呵:)
/ C, F% j6 Y2 d$ ?0 f
3 P" b5 a1 w0 W+ a$ b四、在 IAccessible 接口上执行动作
% @1 r/ N. m7 D# E3 W    有了表示一个可访问的 UI 元素的 IAccessible 接口/子ID对,你也有了搜索该元素一个名字(get_accName)、角色(get_accRole)、类和状态(get_accState)的方法。让我们看看你还可以干什么!get_accDescription 能取得UI元素的描述,get_accValue 能取得一个值。: A: T0 _3 z* @: H# ~6 y
    最重要的函数之一是 accDoDefaultAction。每个可访问的UI元素都有一个缺省定义的动作。例如,一个按钮的缺省动作是"按下这个按钮",一个检查框的缺省动作是"不选"。为了确定一个元素的缺省动作,请参考 Active Accessibility 文档或者调用 get_accDefaultAction。
" R: y  [5 Y+ P6 r' p    如果我想起动注册表编辑器,该怎么办呢?如果是我们手动做的话,无非是在文本输入框输入"regedit",然后按确定按钮,就这么简单。下面我们来看看用 Active Accessibility 是怎么来实现的。 </P>
) \0 }0 I/ b+ h. F% `<>* ~0 A! A! I: a6 g# f
<TABLE cellSpacing=0 cellPadding=15 width="95%" align=center bgColor=#e6e6e6 border=0>
9 V0 Z5 @5 _7 T8 x5 z6 p8 I- a. O8 ^$ X8 Z. }
<TR>, M! D" p" ^& n4 y
<TD><FONT color=#00309c>//在文本输入框输入"regedit"6 Q, T2 x# J& ^' }( Z
if(1 == FindChild (paccMainWindow, "打开(O):",
8 O$ |, o: o/ {; H* H% F( ^- ^& U                   "可编辑文字",
& ]: h, \0 K* f4 x                   "Edit", ( |+ t( x5 {. {; h
                   &amp;paccControl, . X) f% F/ |( Z$ C" Y+ N! G. K
                   &amp;varControl))& D% W7 S: F% r. Q
{
+ N4 [9 K2 N) e4 ~4 y//在这里修改文本编辑框的值5 D! `' k: O8 F7 q
hr = paccControl-&gt;put_accValue(varControl, $ Z( z1 C: A4 A& d
                                  CComBSTR("regedit"));
4 V# X. N3 e2 K+ ^paccControl-&gt;Release();
5 K0 J5 S" Z5 A# jVariantClear(&amp;varControl);+ S9 f# H8 B' C; ~7 [& \
}
4 v  h) n, f3 k  Y: I0 v8 w% n. j8 y. L2 a! r+ G! m
// 找到确定按钮,并执行默认动作。
$ |4 X. {: a0 sif(1 == FindChild (paccMainWindow, $ r" `' `' f" s. X8 U: J0 S
                   "确定", 8 b6 [: h2 d& x" F' u) Y
                   "按下按钮",
& R1 _4 n4 @) `+ Q! d7 Q: I                   "Button", : S' k: v  ~  n. X- Y8 A" y
                   &amp;paccControl,
: r4 G! e6 J$ `                   &amp;varControl))
; a, f0 P3 m% ~2 {) @% ^6 s4 g{
/ ^& ^# M# Z* A/ F//这里执行按钮的默认动作,即"按下这个按钮"* }8 i0 d' @1 U& g5 S
hr = paccControl-&gt;accDoDefaultAction(varControl);  k& F/ B1 c1 Q  _) N% A1 u
paccControl-&gt;Release();
' B. S) M3 N% T' LVariantClear(&amp;varControl);5 ]4 U7 L0 W3 M1 O$ W
}</FONT></TD></TR></TABLE></P>
8 p, N: ]  n/ i; }( l0 ^( ]& c/ q<>现在,你会发现已经成功启动了注册表编辑器!!$ C! t& V1 [+ H* Z5 g3 x
</P>, H% q8 w/ R2 i9 E
<>五、模拟键盘和鼠标输入5 K! Y/ z( m& q/ y
    让我们假设你需要操作一个新的不完全支持 Windows 消息和 IAccessible 接口方法的 UI 元素。如果它不支持你需要的消息和方法,最简单的解决办法就是模拟键盘和鼠标输入。例如,你可以用Tab模拟转移到期望的控件。
/ n. |; P" [) }    使你能够实现这些的函数就是 SendInput 一个一般的USER API。虽然不属于Active Accessibility,把他们联合使用很自然。
, B7 i; g1 q: v) F! P: [1 G    SendInput 接受三个参数:要执行的鼠标键盘动作个数、INPUT结构数组和结构数组的大小。每个INPUT结构描述一个要执行的动作。注意,按下一个按钮和释放一个按钮是两个不同的动作,所以必须创建两个不同的INPUT结构。. Q3 Z1 V+ a7 e: U; u
下面的代码将模拟 ALT+F4 按键来关闭窗口。 </P>
8 v! R& B9 B& J$ U<>
2 L, B2 @" J' V<TABLE cellSpacing=0 cellPadding=15 width="95%" align=center bgColor=#e6e6e6 border=0>& \  E6 Q) k5 Q4 d1 u" S0 f

+ V# t, n, _& e2 V* }<TR>2 L  t: e* V7 c4 C
<TD><FONT color=#00309c>INPUT input[4]; 1 v* S9 E! a0 S: r6 ~
memset(input, 0, sizeof(input));: b! Y/ W/ O/ O( A+ T7 a
3 @7 y2 ^' V! z
//设置模拟键盘输入1 q! M( C& C/ J# N; `
input[0].type = input[1].type = input[2].type = input[3].type = INPUT_KEYBOARD;
- Y3 v0 S* Q5 X* uinput[0].ki.wVk  = input[2].ki.wVk = VK_MENU;" K. l/ j9 l; W) \# X
input[1].ki.wVk  = input[3].ki.wVk = VK_F4;% ]+ Q2 q" Y* `  ?6 e- ~2 g

5 x; `) N( P9 o) @% a// 释放按键,这非常重要8 e5 B. g2 w9 ^# \& Y: Q# `# \
input[2].ki.dwFlags = input[3].ki.dwFlags = KEYEVENTF_KEYUP;" K: {1 P2 X) @2 B" p. ~! V6 @  _
5 s$ X' ^1 c/ h; a
SendInput(4, input, sizeof(INPUT));</FONT></TD></TR></TABLE></P>/ }+ L  c  R$ V( c- K3 ]" \
<>具体用法大家还是查MSDN吧,这里就不罗嗦了!!:)- k1 ]3 z$ O2 g, k1 N) N4 U
</P>. _3 C; @& s4 h* H
<>六、监视WinEvents
7 w; Q( D0 s2 Z  M" ~1 n6 y    监视 WinEvents 非常像通过 Windows Hook 监视 Windows 消息。最重要的区别就是从另一个进程监视 UI 元素发出的 WinEvents 时,你不需要创建一个单独的DLL来注入那个进程的地址空间。" S, j& z0 g1 M
    监视 WinEvents 有两种选择:通过设置 SetWinEventHook 函数的最后一个参数来确定是在上下文之外还是之内监视。如果是在上下文之外,不需要额外的DLL,回调函数运行在目标进程之外。如果是在上下文之内,回调函数必须放在额外的DLL,并注入目标进程的地址空间。第二种方法写代码比较麻烦,但是运行效率高。
8 m8 D1 v; J6 T" {6 G& m+ {    好,现在回到上面的例子。上面例子能够执行的前提条件是能够找到标题为"运行"的窗口。现在可以先检查运行窗口是否存在,如果不存在就设置WinEvents 钩子去监视,直到"运行"窗口被创建。看下面代码:</P>0 \( T1 V- F) S1 T2 l, y7 y
<>- z# c6 P- e$ U5 }+ c7 f* P
<TABLE cellSpacing=0 cellPadding=15 width="95%" align=center bgColor=#e6e6e6 border=0>% U; F+ k5 H+ S2 m. G
* ]. U8 Y* t& {
<TR>
: ^! D2 I  t% U5 @8 e, |: X$ E<TD><FONT color=#00309c>if(NULL == (hWndMainWindow = FindWindow(NULL, szMainTitle))); }; \  p1 z/ b9 w
{
9 B% m5 a0 F0 Z. G( S9 K  thEventHook = SetWinEventHook(+ o$ x4 N' U/ W1 {0 z1 P
EVENT_MIN, // eventMin ID4 P. I; J2 Q. F! T) {5 e# m2 C( \& A
EVENT_MAX, // eventMax ID8 l4 l6 z+ {" ~$ u8 e/ ~
NULL, // always NULL for outprocess hook0 E* k: h" R3 r, P* i( `, t# ?2 v
WinCreateNotifyProc, // call back function/ X7 K% i% W0 E: Q! g
0, // idProcess
: E" r) O/ g' p4 q! @& z/ L% ]& U0, // idThread
$ g; o$ ^9 x. h4 c7 s9 r         // always the same for outproc hook
; }* Z# I; l9 T, d9 J. uWINEVENT_SKIPOWNPROCESS | WINEVENT_OUTOFCONTEXT);
% R, C3 d- A) J. o0 i) c: p7 s8 ?% T}  </FONT></TD></TR></TABLE></P>! S8 w; G$ q2 a/ x
8 w% s) t1 n8 j0 Q; s
<>    第一、二个参数用来指定监视事件的范围。第四个参数是定义的回调函数。; S) Y2 |% N& G/ Q$ l
下面是回调函数:</P>
2 T0 h1 |4 Z0 q7 s' y<>  R' ?* s- [! `7 k* S8 e) p
<TABLE cellSpacing=0 cellPadding=15 width="95%" align=center bgColor=#e6e6e6 border=0>5 l1 |4 l8 e/ Z7 \3 x

  Z, Z: m5 P% [, R<TR>; X" x. d$ |+ j
<TD><FONT color=#00309c>void CALLBACK WinCreateNotifyProc(
5 t# x$ G3 b3 s7 _HWINEVENTHOOK  hEvent,
& H. z- g* f* D4 m$ U5 r/ W1 q* mDWORD   event,, E& _8 m3 V7 ?. z8 e% u
HWND    hwndMsg,
- g: d$ `3 ^' T2 Q3 rLONG    idObject,9 @1 c5 F' h9 c- W. @# }2 O
LONG    idChild,
3 I. u& H' U% B" x: z5 v5 |DWORD   idThread,2 _* v7 w: h9 W# s
DWORD   dwmsEventTime* g4 f6 C& k/ F7 K6 \" d
)# N& g6 d: Q1 M! r6 \% A5 y
{
3 L2 f7 ~, F! `, v% Y
! h/ S* H3 B& p+ Q8 nif( event != EVENT_OBJECT_CREATE)
; o: X- w4 R2 r& Q& S) j$ B  I: n  vreturn;; d+ S0 H' V) y; _
( e1 {. H8 l* a/ k# s
char bufferName[256];. v* `" J1 p4 |/ Z" w* g) b7 p( u6 l
IAccessible *pacc=NULL;3 H  A* _- ]6 B5 V
VARIANT varChild;
6 \+ T" l% J2 p0 s( |    VariantInit(&amp;varChild);" }7 L( f* O  Z. [  z9 B
//得到触发事件的 UI 元素的 IAccessible 接口/子ID对5 J6 H* u5 C! M, C
HRESULT hr= AccessibleObjectFromEvent(hwndMsg,
2 X) Q2 H. I% Q" S$ }7 O2 Y0 H                                      idObject, # U" k6 S! _- Y0 l) F) t7 O
                                      idChild,
" w4 _& A9 u8 E0 @                                      &amp;pacc,
: }/ a! ]$ @* s9 G7 U                                      &amp;varChild);
% F5 D7 D: ^, l" m, Z! q7 W  f4 N6 U
if(!SUCCEEDED(hr))' L$ Z5 O# a3 B2 c
{
0 A; K0 t  z4 t/ y) R7 l" nVariantClear(&amp;varChild);
0 A2 o1 g& e: nreturn;
7 h4 Y  d* k) j* A}
, p4 Z" ^( q/ {' ]+ @* @//得到 UI 元素的Name,并比较,如果是"运行"就发送消息给主线程。
5 y2 O/ \) `) }+ `8 I, WGetObjectName(pacc, &amp;varChild, bufferName, sizeof(bufferName));+ D) f$ W5 N# l
if(strstr(bufferName, szMainTitle))
  n! F# ~0 B( l/ b7 h3 J# u. lPostThreadMessage(GetCurrentThreadId(),   K" \" ^* V" {. q, d  F
                  WM_TARGET_WINDOW_FOUND,
; P1 `1 m4 X( E) D# o                  0, + s8 C" c; {  D7 t; @+ R
                  0);
/ q7 g4 v* E. z, _. l
0 c! e% Y5 t* D' {  |' L+ Q$ L* Zreturn;
0 D6 _) u4 _1 d  P" N}    </FONT></TD></TR></TABLE></P>恩…………,一个应用基本成型了,虽然比较简单。就先写这么多吧,请关注后续介绍。
5 ]1 [9 b9 G, c  A0 K
/ q4 `$ a4 S  B! n# y附录:
6 G0 [5 u7 w( z" \6 S' ?
$ F2 ~# C1 Q3 m8 }* x. r# |  Y关于IAccessible 接口/子ID对:9 j' a1 V) m0 C) w) @3 r4 c  p
    让我们来考虑这样一个控件,他支持 IAccessible 接口并且包含一些子控件,比如 listbox 就包含很多 items 。有两种方法让他可以被访问:第一种,提供listbox的 IAccessible 接口和每一个 item 自己的 IAccessible 接口。另一种是只提供一个控件的 IAccessible 接口,这个接口能够提供基于某种识别方法来访问每一个子控件的功能。
! o& C7 X7 O3 O2 y  r7 a7 B% `# u& n1 j    第一种方法,需要为这个控件和每一个子控件创建单独的 COM 对象,这会比第二种方法(每一个子控件不支持自己的 IAccessible 接口,而是通过父接口来访问)增加内存消耗。第二种方法里,通过增加一个参数--子ID--同父的IAccessible 接口一起表示这个子控件。子ID 是一个 VT_I4 型的 VARIANT 值,包含一个由程序决定的独特的值,或只是一个子控件的序号。序号意味着第一个子控件的ID为1,第二个子控件的ID为2,依次增长!
" j# g+ y5 V$ V( V+ y    这样,如果一个子控件不支持自己的 IAccessible 接口,而其父控件支持,那么这个子控件可以用它的父控件的 IAccessible 接口/子ID 对来表示。通常,一个支持 IAccessible 接口的父UI元素也是通过这样的 IAccessible 接口/子对表示的,这时候其子ID号为 CHILDID_SELF (就是0)。
+ w; G! S. m) A3 ]8 S, t/ i; {2 l" }    记住,子ID号总是相对于 IAccessible 接口的。例如,一个可访问的元素可以同相对于其父 IAccessible 接口的一个非子 CHILDID_SELF 的 ID 及其父IAccessible 接口表示,如果他支持 IAccessible 接口,此元素的子ID就是相对于自己 IAccessible 接口的CHILDID_SELF。
* s' [9 d& p: H) F/ u4 Y4 `4 f    呵呵,翻译的有点别扭,意思就是说,如果这个控件支持 IAccessible 接口,那么它的子ID就是0(CHILDID_SELF),可以用它自己的 IAccessible 接口和0这个对来表示这个控件。如果控件不支持 IAccessible 接口,就用它父控件的 IAccessible 接口,和一个相对于父 IAccessible 接口的子ID来表示。哎呀!!不知道说明白没有。郁闷!!!!2 |) j9 y6 @1 k; \
) ]2 S) Z2 L/ F$ r9 C$ n4 o
注:; w9 w5 V  V* C& q' K% @- {
    我也是刚开始学习怎么使用MSAA,但是苦于很难找到中文资料。希望这篇文章对大家能有所帮助。由于了解的还很肤浅,错误难免,望谅解!!:)
6 f* f: p( }' |* p* R1 X) C, g. U    还有,这篇文章基本编译自Dmitri Klementiev的《Software Driving Software: Active Accessibility-Compliant Apps Give Programmers New Tools to Manipulate Software》,只是按自己的理解重新编排了一下,如果觉得不符合自己的学习习惯可以看原文。并且我的文章省略了很多东西,呵呵。
4 O! P) c6 J3 M+ x# n% T+ J8 }0 V/ a
参考资料:
7 T# U+ p9 I  j& n3 `. ^) |# X<UL>: A& r( m" L1 K5 b3 C
<LI>1、 Dmitri Klementiev写的《Software Driving Software: Active Accessibility-Compliant Apps Give Programmers New Tools to Manipulate Software》及其源程序。http://msdn.microsoft.com/msdnmag/issues/0400/aaccess/default.aspx
6 ~2 o* a# b+ X( ~8 @* F<LI>2、 MSDN中的相关章节。 </LI></UL></TD></TR></TABLE>
zan
转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
xShandow        

43

主题

1

听众

385

积分

升级  28.33%

该用户从未签到

国际赛参赛者

新人进步奖

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册地址

fastpost qq
收缩
  • 电话咨询

  • 04714969085

关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

手机版|Archiver| |繁體中文 手机客户端  

蒙公网安备 15010502000194号

Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

GMT+8, 2026-11-23 06:18 , Processed in 0.217496 second(s), 58 queries .

回顶部