- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 564793 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174661
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
/ c, h' |" u) r4 T) }7 n; `: `# ~) n大数据必须掌握的三个基本算法
& m( e$ }9 R, r! E. @2 s一全排序; ?: q4 c4 M1 K( b, `
, c. t6 j& c4 g& i
3 t0 s% ]: Z* O: m( k6 o- r+ @- E
; Y9 H0 T' U7 p8 a; S7 A
3 m! }+ c3 m. W, n+ q
( b/ P6 L# R+ a; b
Hadoop自带的Partitioner的实现有两种,一种为HashPartitioner, 默认的分区方式,计算公式 hash(key)%reducernum,另一种为TotalOrderPartitioner, 为排序作业创建分区,分区中数据的范围需要通过分区文件来指定。' S9 h6 O: Q$ |0 y6 q1 `% E
+ s/ I. F; P5 z7 h
& _1 X' s% V* G4 F$ S
4 A! P ?$ Z- [. N u9 `4 H! A8 `& {1 J4 d9 T
8 A( g6 U( [0 h0 a很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:199427210,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系8 r2 |5 W' t9 }+ G
% ^+ _. t" H( t, b' P, |
+ G$ n' H0 m6 E" m( p0 G- G6 e/ m, P
分区文件可以人为创建,如采用等距区间,如果数据分布不均匀导致作业完成时间受限于个别reduce任务完成时间的影响。1 ~4 k+ S0 B2 N5 _. a
) D3 k0 V2 Q5 L2 U
( ^: I- ~% G3 k4 k* @) s
也可以通过抽样器,先对数据进行抽样,根据数据分布生成分区文件,避免数据倾斜。
2 K+ Z# B( `; F0 W9 T2 I; w0 K1 O* }% F0 n0 a0 E3 R
4 @% q) v' m2 |) F
注意,key可以是数字型,也可以是BinaryComparable(字符串),当是BinaryComparable时,则以key构造Trie Tree;否则以二分查找来确定key的所属区间。
; t$ d0 ?- I9 n" s! N6 W, x! V" G6 [+ d8 n' r# O
$ I2 D4 K' a; [. S+ ^二单词共现矩阵算法4 [5 S& d3 K) G! G$ u0 y; g/ g3 Y
' |% G( U! Z, N* @6 |
) O# y. ]+ n+ T6 d% ]: X3 G
& r9 u7 O5 u- ?6 r9 @' t
) F/ l$ A" H9 Q" v$ x% Q% e- H; m% S' r7 \# w3 |
其目的是在海量语料库中发现在固定窗口内单词a和单词b共同出现的频率,从而构建单词共现矩阵,这样的矩阵可以是对称的,也可以是不对称的,这要看具体的应用。1 i" q# r: y/ B8 L
/ t2 B2 ]1 O0 u3 b) V! {
* K8 s( V! g+ J7 W' d; [
这种抽象化的任务的有效解决在实际生活中有着很多的应用。例如电子商家希望发现不同物品被同时购买的情况以便有效安排货物的摆放位置;同时对信息检索领域同义词词典的构建以及文本挖掘等都有着重要的实际应用价值。. j2 c' S& {) u" D# N
! b4 l( g }4 S" J7 H( V8 K
" w7 O, j- I8 z& r7 U7 p3 ^根据同现关系的不同,可能需要实现和定制不同的FileInputFormat和RecordReader,如同现关系为一个英文句子,则需要实现以一个英文句子为单位的FileInputFormat和RecordReader,如同现关系为一个段落,则需要实现以一个段落为单位的FileInputFormat和RecordReader$ i9 N! ^% @9 }8 k' }. R* R' t
- Z8 i* t$ ^- \$ x( D( V& e! {+ ]
; `4 e+ i7 B* H8 @. ^- S* s* Z
& i1 h) ]/ r9 N; [' a: U: _/ \
三倒排索引
2 _; o5 p, Z7 X
; A5 }* E% W( a0 S7 V- n
- A3 i1 U' S' L7 v. h' H. @/ B: e& @, \
& s& j: w& Z1 R- X j
1 M. l$ ^" I1 i# w' U
( s# x- C1 S- j% i8 [% d+ Q
0 X& V' S4 i% M5 }7 ?
; a& d* d0 q; K% g0 W# N9 q0 }# U# j$ C; R* m" `9 R; K" a1 G( D M
/ c- ~4 ^* d1 b
Inverted Index(倒排索引)是目前几乎所有支持全文检索的搜索引擎都要依赖的一个数据结构。基于索引结构,给出一个词(term),能取得含有这个term的文档列表(the list of documents),没什么可说的,必须掌握。" l0 ~! h4 W" N- o! D2 o
————————————————
q( M$ A, b( ~& F* ?版权声明:本文为CSDN博主「铁拳虎」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
7 g: l0 T9 _! F4 O$ W6 U% t原文链接:https://blog.csdn.net/juan189/article/details/84932486; w* Y: y; C1 H7 s6 K7 G
, H' j, l7 @+ i5 N9 O6 q
: Q7 s7 |; p) O2 R |
zan
|