标题: 浅谈大数据建模 [打印本页] 作者: 浅夏110 时间: 2018-11-1 10:28 标题: 浅谈大数据建模 前言：建模的过程和方法，不断地被开发和完善，你可能会说不同的数据类型，不同的业务场景，不同的需求，都会有不同的建模方法。但是不管你的数据是什么，要在大数据中建立自己的数据模型这其中的套路还是有规律可寻的。 0 a; [9 ^6 [0 G+ B2 a0 w% b, E* s ; C1 p1 l9 y2 [& l. |6 @一.数据准备 n" Q3 }2 R" \% l6 _ 1 F( p* ^# W+ b- ?+ r9 e$ g二.执行探索性数据分析& ?' d+ M; r. E. N
: x0 I, K' X5 j; j" o$ e
三.建立初始模型 G' @0 @' W$ @" [& O2 U) w
0 @% B; R7 Y1 ?, ~6 B& I四.模型迭代构建7 t8 l) o/ @8 Q8 N
0 W: Z, D( r4 T; ?# B
数据准备：在大数据计算中从来不嫌数据太多，相反的数据越多越好。只要数据量大就好么？不是的，宁可要一小堆有潜质的矿石，我也不会去要山一样的土堆。在你数据量尽可能大的同时，一定要注意你的数据质量。数据质量一般体现在数据的时间维度，和数据粒度上。时间维度当然是越长越好，我们拿计算降雨量来看，如果你要预测一个地区未来一年的降雨量，你拿今年一年的数据去预测明年的数据，肯定没有我拿该地区过去一百年到现在的数据来预测明年降雨量客观。关于数据的粒度，很多人都会认为，数据"全"就是粒度小，或者是粒度细，我对此抱有不同看法。我认为数据粒度体现在数据的划分上，我们对现有数据的划分情况,方可体现数据的粒度，假如我们可以得到的数据量，和维度上是一样的，一个数据划分比较详细有很多数据关联，另一个划分很粗糙，那么结果不言而喻。( q, W5 ?% G/ [+ W1 q+ v( G
: G+ Z1 \5 T4 K4 {$ X' j执行探索性数据分析：我们对数据划分，本身就是分析数据的一种体现，这个步骤可以让你理解数据，获得数据之间的关系，以及我们对于数据的直觉。当然我们对于数据的理解，和对于数据的直觉是简历在相关知识上的，如果你对现有数据一窍不通，你怎么去进行探索性数据分析呢？数据可视化，我认为是进行数据分析的关键。人脑无法与计算机相比，我们需要可视化的界面来展示数据，这样有利于我们对数据进行分析，像来自SAS，IBM，SAP或者QlikeTech和Tableau的可视化产品，它们已经商业化了。对于数据探索是永远不会停止的，我认为图形化数据是一个很好的方式，但是你可能会有更好，更适合你的方式。有一篇关于数据分析的文章，我记忆尤新的一句话，我也非常赞同作者的看法，那就是：要知道何时停止探索。要探讨这句话的意思，小编真的是停不下来，要知道何时停止探索，就是要明确你数据探索的标准，没有标准你怎么能在茫茫数据大海中捞针呢？1 s h8 X- r6 H. N
- X; @8 k' p+ ~2 N( F建立初始模型：这是一个至关重要的步骤，不管是否你对数据有深刻的研究，都不能跳过的一步。引用一下爱迪生的那句话“我并未失败，我刚刚发现了10000种不成功的方式”。除非你建立初始模型，否则你无法准确评价模型的潜在影响。决策树不失为一个好办法，实践是检验真理的唯一标准。 . m% M$ V, W8 Q, U" \* Y; }1 O! e# Q; ~. p. p
模型迭代构建：这应该是建模时间最长的一个阶段，也可以说没有时间终点的一个阶段。每一次的迭代都是一次实践的反馈，你要建立的模型是要经历不同的场景的，是一个“有故事”的模型，故事越多越好。通常是没有一个具体的评判标准来评判，你是否还有更好的建模，但是实际情况是，我们业务或者需求会有一个强制的时间窗口。就比如说，下个月客户就要你的清单，那么，你要做的就是在有限的时间里，不断地去迭代你的模型。. b, T3 j- v% w4 X" N- h
* K- U+ ?6 P' C7 Q. Y |9 {
: L& x g1 {* K t* N! |) T, I+ q