数学建模社区-数学中国

标题: 求c语言数据挖掘算法 [打印本页]
作者: wangzheng3056    时间: 2013-8-21 11:57
标题: 求c语言数据挖掘算法
       老师最近给我们发了一个文档，txt格式的。大小有2GB。$ m0 r. `$ q5 y1 m
       要求使用C++配合hadoop，用最快的速度统计出文档中出现频率最高的10个词。
/ \0 w3 U, H- l8 I+ y/ R. H- p       what can I do？ can you give some ideas？
作者: 我爱照镜子    时间: 2013-8-21 14:28
楼主应该把所有单词放到链表中，并且建立一个链表的索引。字典序排列每一个单词，重复出现在链表中计数。
( Y1 ]* E3 K# l3 b2 }' `7 f3 J
5 Q9 o$ E, @+ F/ x' J0 r6 j1 l% W$ B6 W$ U
hadoop是什么啊？
作者: wangzheng3056    时间: 2013-8-21 16:22
我爱照镜子 发表于 2013-8-21 14:28 * t) u8 t& ~/ j2 E4 Q7 w3 }
楼主应该把所有单词放到链表中，并且建立一个链表的索引。字典序排列每一个单词，重复出现在链表中计数。
  W3 p) N* N. w( l( a ...
* k/ V$ r( H' }' q& S, u3 m
我也不太清楚，好像和云计算有点关系
作者: wangzheng3056    时间: 2013-8-21 16:22
我爱照镜子 发表于 2013-8-21 14:28
8 ]( W) R/ U& U& r楼主应该把所有单词放到链表中，并且建立一个链表的索引。字典序排列每一个单词，重复出现在链表中计数。
6 \1 q5 {8 \4 t* }1 f ...
1 _$ A/ O$ P2 e- C1 L, _+ |
谢谢你的回答，只能这样做了
作者: math~a    时间: 2013-8-21 22:15
学到了！
# ~6 a. M: a3 o  R: H1 M2 ~
作者: wangzheng3056    时间: 2013-8-22 09:00
math~a 发表于 2013-8-21 22:15   e! K) |) _: }/ [: r: H
学到了！
. B( V: Y3 @8 C
您有什么好的想法吗？
作者: math~a    时间: 2013-8-22 14:21
只看到2L的思路，学到了他的方法，自己的还没出来!!
作者: 海阔天空521    时间: 2013-8-22 17:39
不错 不错 谢谢啦！
作者: topershbby    时间: 2013-10-8 09:38
hadoop中不是有自带的wordcount的例子么，LZ可以去试一试



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5