数学建模社区-数学中国
标题:
大数据必须掌握的三个基本算法
[打印本页]
作者:
杨利霞
时间:
2021-8-11 11:23
标题:
大数据必须掌握的三个基本算法
- @( b* R. W) i8 a
大数据必须掌握的三个基本算法
4 y9 c+ u/ t& |4 _( w2 \3 f
一全排序
5 B% w6 x* n+ A8 N+ o& X: |- E
2021-8-11 11:21 上传
下载附件
(47.57 KB)
& f$ @" q+ l# f+ v9 m, Y6 \) ^5 y. U
; ?" n5 [3 r3 M: y
, I; Z$ H; b. [ F8 ^* S
" B8 B+ U- ^8 S" k4 Q
5 n" | J9 @) H! |* c4 J8 I
Hadoop自带的Partitioner的实现有两种，一种为HashPartitioner, 默认的分区方式，计算公式 hash(key)%reducernum，另一种为TotalOrderPartitioner, 为排序作业创建分区，分区中数据的范围需要通过分区文件来指定。
% U/ f' P; G3 ~" w% C- ^: r
3 q0 d3 o& z {$ F! o e4 z
2 g* K1 c0 c5 \& _0 j" T# a
_* e4 T5 X i! F8 x1 |3 c! s
% r% }& B+ Y8 k/ ~
( E1 ?, }) H8 O4 C3 a
很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：199427210，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系
7 \" ~/ b ^8 ?. I; `+ T
$ |- T4 A: O: V+ A7 z7 c
2 |& z2 ?. s( t+ l4 k4 H
分区文件可以人为创建，如采用等距区间，如果数据分布不均匀导致作业完成时间受限于个别reduce任务完成时间的影响。
( ^% P$ |, V1 e% Q& ?5 u' \: Y! T
_! }+ K( C* K% n( _/ p+ d: r
* g7 \7 j g# J8 K' k
也可以通过抽样器，先对数据进行抽样，根据数据分布生成分区文件，避免数据倾斜。
# @7 o7 |8 k: U* ^4 F& ~
. b/ ^/ b+ n& V" p% B
: |. j( p7 K' e2 O1 K% R& f
注意，key可以是数字型，也可以是BinaryComparable（字符串），当是BinaryComparable时，则以key构造Trie Tree；否则以二分查找来确定key的所属区间。
7 ~/ d+ I4 Y1 {
; G! p2 D7 H8 x1 t
' s6 O* p1 H" |$ e# p
二单词共现矩阵算法
- V* F: G) V0 m1 T7 E/ O$ g; j1 \7 s
) N4 `; K+ t |$ C2 ^/ [
% P+ t" D7 |4 z# h+ d
2021-8-11 11:22 上传
下载附件
(90.06 KB)
8 o8 O1 G* y1 h4 q7 Q$ W
% a2 v( s/ z% E- R+ ~' m+ e
V1 a# E- \; q
其目的是在海量语料库中发现在固定窗口内单词a和单词b共同出现的频率，从而构建单词共现矩阵，这样的矩阵可以是对称的，也可以是不对称的，这要看具体的应用。
* `/ v, T& L- \0 y! A& @6 o. Q
3 B2 r# \' U! D4 z6 r
+ b8 x1 K6 q7 v! p6 X5 @* d
这种抽象化的任务的有效解决在实际生活中有着很多的应用。例如电子商家希望发现不同物品被同时购买的情况以便有效安排货物的摆放位置；同时对信息检索领域同义词词典的构建以及文本挖掘等都有着重要的实际应用价值。
$ _% F9 n7 o: m& q8 n. ?/ b& Q$ K
( l8 s* T% [6 {; U: O& x
5 L/ E- {: K' [
根据同现关系的不同，可能需要实现和定制不同的FileInputFormat和RecordReader，如同现关系为一个英文句子，则需要实现以一个英文句子为单位的FileInputFormat和RecordReader，如同现关系为一个段落，则需要实现以一个段落为单位的FileInputFormat和RecordReader
B1 n0 S$ F% [9 D: m" T/ l' i
- I5 [- } e& i' z
/ }4 ~0 B. C# w+ R6 S3 z) w
. q5 X& i# ^( b5 D' n
0 ^8 S( m. e+ _. j9 a3 I
三倒排索引
) V1 C7 ~" P# F4 ]
9 X/ b5 Z: g$ Q8 S8 u4 E4 O
2 s- Y/ l" w/ ]" T% `( A
2021-8-11 11:22 上传
下载附件
(67.42 KB)
2021-8-11 11:22 上传
下载附件
(59.11 KB)
; T [5 [9 g, W1 u. N
" _" i0 w9 l: A$ Y k5 | l
1 O1 z& q. M6 D, D; c4 T
8 L2 G( O* y- h1 J3 F1 Q
( i( O7 p- c) m, z( x/ W+ F
) I+ R- N3 m2 D
* l6 S( S# X( H: w T
Inverted Index(倒排索引)是目前几乎所有支持全文检索的搜索引擎都要依赖的一个数据结构。基于索引结构，给出一个词(term)，能取得含有这个term的文档列表(the list of documents)，没什么可说的，必须掌握。
' [5 p# Z" A0 B: a
————————————————
) d: d2 y3 ] z d* J6 }( r2 b
版权声明：本文为CSDN博主「铁拳虎」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
2 T' C: B0 S- s. b" o
原文链接：https://blog.csdn.net/juan189/article/details/84932486
* Z7 a g `! Q4 I/ p& e3 S5 F4 X
4 y3 J) |2 w( C8 q
2 `! {4 A; a d9 V8 Z# L B) `! h
作者:
1051373629
时间:
2021-8-15 11:34
非常感谢楼主！
' Z7 Q. ]8 q. }- C' _1 b
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
