数学建模社区-数学中国

标题: [转帖]《数据建模》读书笔记 [打印本页]
作者: ╃無名草╃    时间: 2004-10-2 13:54
标题: [转帖]《数据建模》读书笔记
　　最近逛书店发现一本数据建模的好书——《数据建模：分析与设计的工具和技巧》(Data Modeler's Workbench：Tools and Techniques for Analysis and Design)，作者Steve Hoberman。粗读完一遍后，感觉这本书的确无愧于译者和国外专家们的盛赞：“这本书充满了对改进数据模型和设计有益的技术和技巧，并且它还极富阅读乐趣——一个了不起的结合！任何一个数据建模者都应该拥有一本Steve Hoberman的关于数据建模工具和技术的书。”
. ^6 P' W6 E' W, k: D! d- f; ^' q& _- N$ [1 t: @& |; E
　　尽管我对自己所掌握的数据建模知识有一定的自负，读完该书后，还是获益良多。本着好书大家一起分享的想法，我把该书的每个章节的总结和技巧建议列出来，以方便手头暂时没有该书的朋友在数据建模时参考。该书所介绍的工具和模版可在作者的Web站点下载，地址是：
8 o9 Y4 |2 C; v( _5 k$ k　　www.wiley.com/compbooks/hoberman+ a6 m5 M- x4 e8 I/ T

: z$ H' r* U: g, }  u1 j1 f　　第一章：使用趣闻、类比和演示文稿来阐明数据建模的概念
- _# m1 m1 i/ Y9 n: |5 F  K) ]
　　在一般的日常沟通中。我们可能会说出并听到许多故事、或者趣闻这些故事涉及的论题范围很大。有些例子是周末发生在我们自己身边的事情，或者是与我们的工作项目有关的经历。这些趣闻有助于加强我们和周围人们的关系，增进我们的愉悦情绪，而且对我们有教育作用。我们能够把由语言表达出来的东西形象化。有时，当故事结束时，给我们留下的是以前未曾想到的信息或更多的认识。在解释数据建模概念时，趣闻是极其有效的。原因有如下几个：4 v- s6 F+ q0 g; H
　　它们建立起持久的形象。
, X; V8 p( A/ x: }　　它们引人入胜、使人愉悦。- E4 K6 D1 O* w9 S7 W! D  E
　　它们增经人们之间的关系。* ~3 z& k8 }: ~
　　它们减缓压力。
9 D* U# x: O' Y! L0 c( ~+ ^+ k, z8 M- ~: W+ v- l4 c3 L
　　成功编造并讲述一个数据建模方面的趣闻有下面三个简单的步骤：& b: ~" B! y% s
　　1)定义一个论题。要在心中保证，你讲述的这个趣闻有一个特定的目标或论题，也就是说，这个故事是为了解释一个数据建模的概念或术语。
- V5 C1 L1 Z+ ~2 E; T' N' t- S　　2)选择你的故事。我们可以选择的故事类型多种多样。我们要考虑选择一个有趣并有益，而且能够明白无误地传达主题意图的简短的故事。' A% W$ R6 t9 R6 g  n. H4 t
　　3)演练你的故事。一旦找到了合适的故事，你要好好演练一番，直到你自信它能够在两分钟的时间内充分表达你的论题。要避免讲述拖拖拉拉的故事。
" o$ @0 |/ R7 a4 Q
6 I7 x6 |1 p* I1 G　　数据模型类比
5 [8 T; S, k3 [　　类比就是把两个或多个概念进行相互比较，以强调它们之间的相似或差异。类比是介绍外来事物或新鲜事物的一个很好的技巧，尤其是向非计算机专业的人士介绍计算机的专业知识时。Hoberman在数据建模中最常见的几个类比如下（他用这些类比轻松的打动管理层给他涨了一倍的工资^_^）：
1 |9 c* ]- w2 M　　主体域模型是一个居高临下的视点。
1 D- l. B! J, x6 t　　数据模型是一个设计图。. y$ O" f6 z  }; a  M& A( q
　　企业模型是一个世界地图。
7 u5 d$ H, L0 R5 E4 S9 |　　标准就是城市规划。5 k# l6 `' g6 u  t
　　元数据仓储库是一个图书馆。1 B2 |4 p* i: E0 I
　　数据仓库是“心脏”。
+ K# Q) M) s( \. ^/ F& Y' N0 k
! C9 C' K: b7 _7 }% `* O0 c) T　　第二章：元数据宾果游戏
6 ?0 X9 ~$ v$ K/ g　　简单来说，即通过宾果卡片游戏的方式，调动项目团队成员的积极性，来确定数据模型，并确定元数据的有效性。元数据宾果游戏强调“共赢”，如果运气好，游戏结束时每个人都能赢。" X8 P0 U" |! D/ `# r3 e" m

1 P+ n/ v1 {% D' p8 ~3 R, G0 O　　第三章：确保高质量的定义
) k8 q2 j$ n  s+ X" H) ^　　本章集中讨论一个被称为“定义检查单”(Definition Checklist)的工具，它包含了确保定义的质量处于最高水平的准则。& d5 S2 m3 v& ^2 O+ \+ ]& Z
3 E+ g4 U& E9 f& }
　　第四章：数据建模者的项目计划4 v) d2 |0 p0 q& b, |0 O# v- T
　　本章重点介绍确定数据建模阶段、任务、工具和时限的四个工具：0 ]9 |+ Q8 o  V* ?% |# y# S
　　·数据建模阶段的工具：用来确定最高层次上的数据建模步骤。: [  ]# W- z. b0 D5 l% w; p: k6 k
　　·阶段—任务—工具：提取出“数据建模阶段”的各个阶段并把他们分解成数据建模任务。/ t4 A5 K* e3 p3 |( B5 s/ S0 |
　　·优先级三角形：你可以从以下三项中取两项极值：很高的质量、最短的时间与最低的成本，但你永远也别想三者兼得。" V9 W- Z8 _3 \' J, u' s- @
　　·可靠的估算工具：“主体域工作量时限”根据应用程序的类型，确定每个数据建模阶段应占整个项目的百分比。“任务工作量工具”提取在“阶段—任务—工具”中确定的每项任务，并列出它们应占整个数据建模工作产品的百分比。这两个工具的组合可使你向项目经理提供一份具有一定精确度的合理估算。" h6 D3 T$ S5 Q: Q+ `2 ^  v5 }
8 E+ d& S- ]" v
　　第五章：主体域分析: ~( z! T! n0 F/ p; d& K! y4 C% g/ Y! s
　　本章主要探讨五个关键的工具，这五个工具对数据建模工作的主体域分析阶段有帮组作用。它们应该按照下面的顺序被逐个完成：
# n; M" G# J) _5 r) L6 [% C　　1)主体域检查单：新应用程序中的主体域的完整列表，还有各个主体域的定义和同义词（或别名）。
/ Z- R* q, v. o/ z1 P5 p( l　　2)主体域CRUD(Create Read Update Delete)矩阵：包含新应用程序和现有应用程序之间的主体域方面的差别和重复之处，确定应用程序的范围。
9 ?2 m/ Y. A. w　　3)In-the-Know模版：确定完成这个新应用程序的数据间模工作产品所需要的、被用作资源的人员和文档。/ q% S: u6 E4 p
　　4)主体域家族树：包含每一个主体域的源应用程序和若干其他的关键信息，阐明主体域数据将来自哪里。
& G" J: F7 p+ H" I! q1 B$ @　　5)主体域力度矩阵：使用一个电子表格的格式，记录每一个度量和事实主体域的发布层次。* ^1 I* N& ^  J$ u) U5 A) F: y0 j" Z4 g
/ y- Y* s) L, U; ~0 M6 ^
　　第六章：主体域建模9 M+ ]. m1 y6 M: I8 h% u( j/ v4 M
　　本章阐述三个队主体域信息进行建模的强大工具：& {  A% U' G6 P4 Z- ]9 ?# I8 E4 W
　　·“业务清理板”模型。
/ N) J3 [8 Y" _+ z　　·“应用程序清理板”模型。# S: ]0 T7 `! |8 u3 q" \
　　·“早期现实性检查”模型。
6 w6 ?! h. C0 D6 `& `* s( \8 M  {& X& u! P) ~  U  r) O: h
　　第七章：逻辑数据分析/ M, a2 z) Q( q8 ?
　　本章关注四个逻辑数据分析工具，它们应该按照下面的次序被使用：! Q$ T  C4 d. J% _5 z4 k: m
　　1)数据元素家族树：包含应用程序的数据元素的完整列表，以及每个数据元素的来源和变换信息，还有其他几个关键的数据元素元数据。
- h' q; V7 b5 I* A( ?　　2)数据元素粒度矩阵：用一个电子表格的格式，来记录每个度量和事实的发布层次。
& W. m' P) {0 x+ x" C0 c  S　　3)数据质量记录模板：展示每个数据元素的员数据和一些实际数据的对比。
; |  R  D7 w; k+ n7 U' k0 }　　4)数据质量确认模板：记录每个数据元素的元数据和一些实际数据的对比的结果。
2 g' ]& j0 ?9 N- }4 P4 Z, s, @2 K. M! N5 x/ F- v9 p' T- J
　　第八章：规范化之旅和反向规范化生存指南（强烈推荐：是我目前所读过最好的关系型数据库的规范化技术文档）
+ y0 w  l2 S% y! W　　规范化是一个剔除冗余并应用规则的过程，它的目的是为了更好的理解和表达存在于数据元素之间的依赖性和参与性。规范化包含6个层次，最高层是第五范式(5NF)。一般的技术文档上都认为达到3NF即可，Steve Hoberman给我们指明了更高的目标：5NF。Graeme Simsion写过一本名为《Data Modeling Essentials》的书，在这本书中，他写道：“较高层次的范式常被从业者误解并因此而被忽视，或为了支持不可靠的建模时间而被引用。”但是，我们需要理解这些较高层次的规范化，因为它们体现了额外的规范化机会，并帮组我们进一步减少冗余信息、改进设计的灵活性。尽管余下的三个规范化层次有可能仅仅产生次数很少的变化，但它们仍然具有一些提高灵活性和效率的机会。下面是BCNF&4NF&5NF的定义(比国内教材上罗列的数学公式容易理解得多^_^)：
5 b2 e) u$ X/ K1 t8 u% W) G3 q　　BCNF=3NF＋下面的规则：
9 \7 C' z/ N8 B: Y1 B- j　　每一个数据元素都完全依赖于键、整个键，而且除依赖于这个键以外，不依赖于任何其他数据元素。
4 \! D# U, @& E3 t" ]: f5 y　　4NF=3NF+下面的规则：
( {4 T; |$ V, b: K　　要把主键中拥有三个或更多外建数据元素、切割格外键之间不存在约束的那些实体分解成两个或更多个实体。* W  c; e7 Z# Z# n6 |5 |
　　5NF=4NF+下面的规则：
) x8 Z" \/ _2 M" R( X　　把主键中拥有三个或更多的外键数据元素，且这些外键数据元素之间存在着约束的实体分解成为所有的约束都需要的多对多的关系。
! u% M+ ?) R, z7 U& v$ f- ]6 u/ G  E
　　当我们攀上5NF的顶峰后，再根据实际需求情况来进行“反向规范化”增加数据冗余，从而简化开发，提高查询速度。反向规范化是这样一个过程：在定义了一个可靠的、完全规范化了的数据结构之后，你借助这个过程，有选择地引入一些重复的数据，以促进特殊性能需求的实现。Steve Hoberman的“反向规范化生存指南”给如何适当增加冗余提供了一套可计算的评分标准。通过考察每个关系的6个问题，累加各个问题的得分之后，当得分大于等于10时，我们将对该关系进行反向规范化。
2 Z* ~; y4 @0 m- X( P0 W9 @8 M" P0 u! V4 W
　　“反向规范化生存指南”的计分规则：
; E* v$ Y. X" ^1 b　　1.关系是什么类型的：该问题确定我们所分析的关系的类型。父实体对于子实体具有什么样的关系？/ p! G! H0 [+ }0 e' ], Q% w
　　层次关系(20分)# k2 F9 |, ^( H& t; ~/ P
　　同等关系(-10分)
8 ?& X5 h' c, I+ j0 Z0 P　　确定关系(-20分)+ \( y$ m0 v8 |6 u/ a( |
　　2.参与率是多少：该问题确定一个关系中的每个实体的参与性。换句话说，对于一个给定的父实体数值，大概会有几个子实体数值？父与子的关系越接近“一对一”，我们对它进行反向规范化的机会就越大。
" v7 ~" a) ?/ |) A; W　　多达“一对五”的比率(20分)
& X4 R( t7 i# i% y$ C　　多达“一对一百”的比率(-10分)/ W% v# q$ Z6 V1 C& H
　　超过“一对一百”的比率(-20分)" h0 L% k, I  i5 F
　　3.父实体中有多少个数据元素
: V* a% K( s! |' j　　少于10个数据元素(20分)/ m% ~( o. y8 \5 L/ b; D5 C
　　数据元素的数量介于10到20之间(-10分)$ D* }& `  S. A) F5 h% T' N$ o1 d4 D
　　多于20个数据元素(-20分)/ q. D. r5 y: g) t* ~/ B# B
　　4.使用率是多少：当用户需要来自子的信息时，通常情况下，它们是否还需要来自父的信息呢？换句话说，这两个实体的耦合或相关程度如何？5 l4 y7 O9 T9 K6 n7 z5 ~
　　相互之间的关联很强(30分)
2 I- t6 |+ G* g- o" G; n) ^/ B6 t( b( P　　相互之间的关联较弱或者没有关联(-30分)
4 M5 M8 E% j5 p; S, ^- c& P: F　　5.父实体时一个占位符吗：在不远的将来，我们是否还打算向父实体加入更多的数据元素或关系？如果答案是“不”，那么进行反向规范化的可行性就更强。' ~0 N$ A, `$ _7 U
　　是(20分)
9 C% ]$ D; @" |$ T* Q9 V: P　　不(-20分)/ M# Y/ j- s" O9 @/ A8 A
　　6.变动对比率是多少：该问题是为了确定，在同一时间周期内，两个实体的插入和更新的频度是否相近。如果其中一个实体很少变化，而另一个实体却变动频繁，那么，我们就非常倾向于保持它们的规范化状态，把它们放在各自的表中。; s% i9 P4 P7 J" s0 T
　　相同(20分): L% l' n4 i8 C2 ^
　　不同(-20分)1 U: |2 |/ F, D# l+ Y
- b/ J1 N- l% X. y
　　“反向规范化生存指南”的使用方法：
2 A( ~/ S" o: C% l( i3 d% P　　1)把模型中的关系按照优先级排序- M1 n4 T. ?. J$ c0 Q
　　2)选择一个关系
( W% C" A# `1 A; l, L  Z( n/ {　　3)对这个关系回答提问
9 r& [; j3 Z( B　　4)如果得分等于或大于10，就进行反向规范化2 z9 j8 x- k! c5 Y5 F. X2 c/ b
　　5)返回步骤二，直到完成所有的关系。
9 `- K) j8 c1 N  r7 J2 f" g+ ?% r6 l3 [8 P# q) g. k2 G, C' W1 p
　　第九章：抽象化安全指南和组件
' |4 H/ @$ u$ D$ V6 v6 t　　看过我的“浅谈数据库设计技巧(上) ”的朋友应该还记得我举的第二个例子：网上电子商务平台上的商品信息表的设计。本章将我在上面例子中所用的方法上升到了理论阶段，采用了面向对象的设计，将所有商品的共有属性提取出来，抽象成一个超类，再加入一个表来记录各个不同实体之间的细节来实现超类的派生，从而实现设计的灵活性。当出现下面两种条件的任何场合，抽象化都是极其有用的：# ^& Q- v+ Y7 `9 p+ W
　　设计需要永久维持下去：要求以后尽可能的不修改数据库设计, o5 p# g6 ^7 C  v4 L3 \
　　需求可能发生变化：应用程序的需求发生变化，而要求业务流程重组或进行功能升级
5 y( W+ b3 T( W" }1 S　　数据仓库：当新的分类类型从源应用程序中传过来时，我们无须对数据仓库的设计进行任何改动，而只需在分类类型实体加入一个新行即可. |/ I) u8 o4 W1 W$ H& @: _/ g
　　元数据仓储库：和数据仓库的要求类似% L1 `3 m5 I8 `
5 U6 h2 |! Y+ M% T, e9 c: T
　　当然，抽象化会大大增加工作量和开发的复杂度，而人们通常关注的是非常短期的应用和眼前的成本，而不关心将来的高得多的成本。所以，我非常赞同敏捷软件开发这个观点：在最初几乎不进行预先设计，但是一旦需求发生变化，此时作为一名追求卓越的程序员，应该从头审查整个架构设计，在此次修改中设计出能够满足日后类似修改的系统架构。, r0 N0 R* f7 V. S5 y% ~+ b' |& a1 X
9 e, j& A6 |, f: n
　　“抽象组件”就是小型的抽象模型片段，在许多的建模场合(无论是什么行业、组织，甚至什么主体域的建模场合)中，它们都可被反复使用。在键模阶段多次使用抽象化之后，你将开始看到出现的抽象化结构的趋势。这些“抽象组件”有如下的目的：
9 H' |+ @: z; t# c4 ~3 z. A　　加快设计速度
( r* H4 D2 I* O; e5 W& Y4 F! C　　加快开发速度
& U9 m: R! g4 F' c　　提供通用且有用的机构- L6 Q$ Z$ E- l% Q1 u
% X* e& Q. I! w' s2 t
　　第十章：数据模型美化技巧
3 d$ w7 q5 d. C3 y: j　　本章通过关注如何改进逻辑和物理数据模型的视觉外观，使我们的设计超越直接的应用程序需求。本章中讨论了五个类别的美化技巧：
* G# n$ x) {( m# p( l　　逻辑数据元素排列技巧：这些技巧是一个推荐的、对你的逻辑数据模型中的每一个实体的数据元素进行排序的方法。/ W# y$ Z4 {9 G! `  h$ k* H3 i
　　物理数据元素排序技巧：这些技巧关注数据模型中每一个实体的最佳布局。
. q$ U: n' J8 h) L0 L1 Z: I　　实体布局技巧：这些技巧关注数据模型中的每一个实体的最佳布局* ?+ q- {6 ]: ?  W# G
　　关系布局技巧：这些技巧关注如何调整重叠的关系线条以及看起来穿越（而不是绕过）无关实体的关系: x6 d/ ^+ b* [/ ~# v& e# g5 T
　　吸引注意力的技巧：这些技巧关注如何在我们的涉及中突出的某些元素、实体或关系。
4 N; i$ n  n; M3 q: E) _4 \
- h1 I3 D3 w, @7 b3 \　　第十一章：规划一个长盛不衰的数据建模生涯8 y2 q- k4 v4 I3 t
　　对数据建模者的十大忠告清单：
. u( Y! _' ?" E! X- i　　1)记住：灵活性、准确性和背景
. h$ i  W5 r$ ?' z% z　　2)建模只是你的工作的一小部分
; L! R, V- H5 c1 v1 O　　3)尝试其他角色
- s& F# e+ w# ^% |　　4)了解95/5规则：95%的时间将花费在5%的数据元素上
# u" V0 N/ _- d1 k& u7 p　　5)数据建模从不令人厌烦：如果你一直在做数据建模工作，而且发现自己经常感到厌烦，那么，你的确该改变一下了。这可能不是数据建模领域本身令人厌烦，而是你所在的特定的任务、公司或行业不再令人兴奋。冒险一下，尝试着道一个不同的项目或行业中进行数据建模工作吧！5 u0 @9 m* C# U( p- ^, [4 K
　　6)站在技术前沿6 H( a# P# F* p3 Y
　　7)尽量不要在模型上牵扯感情因素：建模者必须理解，人们在评审过程中的意见并不是针对模型的创建者，而是针对这个模型的内容。即那句老话：对事不对人。
, \8 h% [1 ^, j: _9 s, U7 f' h9 J　　8)让你的创造力展开翅膀：在考虑记录数据需求和改进设计的新方法时，要紧可能有创造性。有创造性也许就意味着修改本书中的某些工具。这还可能意味着提出你自己的电子表格或其他工具。1 x  t( O7 Q1 j5 n
　　9)单纯的理论太昂贵了：在设计活动过程中，你要确保把这个观点牢记在心。为这个应用程序掏腰包的部门和组织期望看到的是能看得着的实用结果。
; }9 v$ E0 E2 @" M; s+ w# }　　10)成为一个了不起的会讲故事的人：作为一名数据建模者，讲故事是工作的一个很重要的部分。为了帮组教化和影响项目经理以及对我们行业缺乏理解的其他人，我们需要讲故事或趣闻。' X/ }0 c5 \( j. b; M0 [$ R8 ]

$ T$ z% g* _! j2 V" N8 n+ o9 r5 G　　最后，我个人觉得，Steve Hoberman所提出的“抽象组件”的观念和面向对象设计中的的“设计模式”非常类似。即数据库专家在多次的数据建模后，将各个项目中的类似部分抽象化，提取出特定的建模模型片段，以后只需在新的项目中对这些模型片段细化派生，即可快速构建出适合于该项目的数据库架构。不过，这些建模模型片段并没有统一，形成标准，目前也没有出版这类的书籍。本人正在陆续总结自己在这方面的经验，但是自知水平有限，不敢在高人面前班门弄斧，只希望自己日后陆续发布的相关文章能起到抛转引玉的作用，争取由中国的程序员率先统一出数据建模领域的“设计模式”。
作者: zzwszj    时间: 2004-12-21 09:49
<>的确是好书！！！</P><>有空看之！！</P>
作者: greengrass    时间: 2005-4-7 19:59
<>的确挺好的!谢谢!这也是我正需要的!</P>
作者: chenlk    时间: 2005-4-9 15:13
的确挺好的!谢谢
作者: dwc006    时间: 2005-8-7 23:47
不错
作者: myzrl20    时间: 2005-9-30 20:44
<>很好的一本书</P>/ E2 l' _8 D4 Y5 o7 X
<>很诱人！</P>
作者: flu403    时间: 2005-11-5 09:56
good!
作者: john.liu    时间: 2005-11-6 10:57
<>好书</P>
作者: hasumi    时间: 2005-11-11 00:20
最近对这个有兴趣,去dangdang找一下.买了太多书了
作者: xiao1970    时间: 2006-3-10 10:36
正想学习学习!谢谢[em08][em08][em08][em01][em01]
作者: netgod    时间: 2007-1-2 09:55
good book
作者: apple101    时间: 2007-3-7 14:01
<p>很好的一本书,多谢</p><p></p>
作者: apple101    时间: 2007-3-7 14:02
有兴趣，多谢！！！



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5