在线时间 677 小时 最后登录 2021-3-24 注册时间 2015-11-19 听众数 142 收听数 1 能力 140 分 体力 13629 点 威望 11 点 阅读权限 200 积分 9762 相册 0 日志 0 记录 0 帖子 3541 主题 2983 精华 6 分享 0 好友 404
升级 95.24%
TA的每日心情 开心
签到天数: 272 天
[LV.8]以坛为家I
自我介绍 吃吃吃
群组 : 乐考无忧
群组 : 2014国赛优秀论文解析
群组 : 2016美赛冲刺培训
群组 : 2016国赛优秀论文解析
群组 : 2016国赛备战群组
本帖最后由 吃苹果的梨 于 2016-8-12 14:37 编辑 2 g+ J/ I& m: ?! T 3 F; D( O. b/ X7 R 3 F1 c: o& j1 B 9 w/ W) B) j. |0 g m 9 y, m6 Y; U. O j1 D6 M$ ]3 T: L' B/ j 5 @' g3 R* |$ @# J0 @ 对于参加建模比赛来说，收据数据是很重要的一项任务，甚至直接决定了论文能不能进行下去，下面罗列了基本上所有的收集信息的网站方式。在比赛期间对于参赛的同学有至关重要的作用，强烈建议收藏！！！！！！！！！！！！！！！！, N8 W; L: i1 M$ r3 i 网址链接回复可见 欢迎大家踊跃讨论 - L5 D5 Y0 [: P; N# C 0 u# g+ p5 \: X) g 01公开的数据库－
X0 }9 m9 u/ |! W& Y 国家数据 －* }" {" @$ G9 H( ~3 i " K( R8 D1 n0 `" i; O1 Y
; b/ H P; R# w6 T7 w9 E2 S$ L; q & y9 E* w; y" M$ [+ _7 E' S 9 J/ v- i; c O. g7 N i1 D$ w * r0 e V: Y6 \+ P # Y7 l9 {. l3 B7 O
( w4 e( @( ]5 f* _9 ]' i 7 u/ y6 \- k) \, \6 W) f- @ y* F * l2 X, ^$ n, g: J 0 y/ D d1 J" }1 C2 @, k 1 Z8 b+ Z d0 W6 ^( |* b7 I
* w0 b6 {+ e$ S1 {: \4 d& K * S" w: v% j# O& e+ W( M( e 万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。4 s0 n4 }2 L0 M# C # s B. l% A# A1 I; _) [ " S; c# P7 H" \% g$ a' }
5 U6 o( w+ S+ N; [% @/ O - `1 J' t) E. `- l: Z8 n % w, s+ @( Y3 p. Q1 i: v0 N- a& J 4 a( d# ^! q! q6 I4 g+ G2 p － 中国统计信息网 － 0 ^( p. J* v) v: A8 N' k" b5 e
& [& H$ n% i; Q$ T7 v [ 国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。( d) B9 m/ c/ x+ E- \/ f1 j# | . h8 c( |9 W4 \0 m$ K0 H/ E$ u ) K+ U" l& \( r- | + r' ?+ U7 z$ a1 G: E( U! u
. L s' M. X, v! } , L- @1 j0 P5 p , I$ x1 K9 g' t" B/ H4 R , c5 X5 _# T7 Y, Z7 o2 `. L － figshare －
- R5 y8 F/ q& v& t ' W+ M! Y: z& K1 O) L- H" P 研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。4 y2 I, K0 h. X0 W7 C- w! I2 i . V1 i/ {, c0 L& G+ @4 J& p" J $ }7 f, M2 x' w0 `: ]/ P* h% z' H
) h' R6 J" C, K' K, u/ Z 8 s9 V0 g" b0 L3 K5 `5 x 0301/awesome-public-datasets如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。随便上几个图，满满的都是资源啊！ 7 J5 \7 G7 A+ X7 x- h 2 @7 @6 A; Y: }6 c3 |/ @6 {7 Y / s( V+ g8 u$ W0 d
& g8 a: t1 E$ c0 W
& o j) t+ v- ?- d2 A 6 x+ a2 O, s) k( Z ; v0 b. y. F+ } 02数据交易平台
( x' V" ~: M* v+ P- Z; x. t － 优易数据 －8 s0 U5 S9 J7 ?- N; g: X
' U- c! L' Q; W, f& Q* M$ z" s. F ) o3 j) @+ @1 k3 I 8 k! \3 ^( }' d/ O" l 由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。－ - v0 R" @* q; d. ]0 U $ B- t% g4 P1 p5 O# d8 s" G1 B3 Y- M & d# ~' U; Q% C& a" g6 l + \6 N A; F: A" A6 Y* Q" o, Y
5 f& N$ Z3 h- m6 J " r5 e' u3 x7 }' y 专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。. H: t$ J# a, \ R, X% u! I. c 9 U; s- I+ Z; A - w! h6 }* r5 W' _- [# I% W: N- T 03网络指数
* |# G; [ ^1 E( D 7 j" r; W+ B' }3 q( M0 [ * u: R# |) N8 D+ n 5 C; H+ R' r/ k2 A0 [
4 K& J8 l+ ]( `6 Y/ Z0 t ; J9 s5 l3 T1 q! P# R 5 \* u! j( @# e$ |4 _" U 大家都很熟悉的指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。 k0 {) x% r7 P) k 1 a% w3 ^4 c6 ]8 }, I1 v * N* l2 u; v' h+ L, j － 阿里指数 －2 F& n! b+ }3 ^- l! v! ?, K 1 o4 X8 t, ~9 L( A5 ?/ K
: Q# B K a. K5 w; m! Z) ?
- Z- b2 H! k4 A# ?3 W6 Q 0 F% |. K ~+ \ http://www.iresearch.com.cn/ 艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。 4 |8 t% b$ w1 c( |. W: j# P$ U$ { ) t: P1 U5 q% N, _. V1 t8 F9 D; a # L) _ T2 `& A7 x8 z, d , R7 x: N5 h% }
: C) Z0 C/ p! w% O2 o : \6 m) U5 u6 b - C. D$ L3 |. ?# m3 y0 ~. a 友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。 8 I$ Y+ b9 p, w& @) G 5 |# E9 T! d8 }6 D) ] 5 F0 z9 S; G/ {2 W6 q9 U- ~ － 爱奇艺指数 －5 T0 g; E r6 F * n' F0 u" N% |5 P4 j: [) i
2 F1 k& f, s4 [+ q% } ( W! b/ P4 p2 x$ |% i8 Z) s 爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。 : A' B! H, m9 z- K; c- L * ~$ m7 e3 l4 y8 x 0 E# q$ Z* y. U* H; z I + c9 g5 y! N2 Q) W/ Q4 w6 {) O5 @ ; p# r/ ~7 q7 e9 u& O& g; k3 [: [
/ r2 r' d# Z, ?7 J : O4 O% N9 r9 L9 Q2 W! b 6 g& S# I& `; u C9 G5 g" z2 r 电影票房统计分析平台，猫眼专业版有实时的票房统计，影片的排盘情况、上座率和影院数据，对于当前电影的分析是必不可少的。 y5 A5 r( M; b( ^* t# K A ! `# b f- z8 J4 }1 O5 I$ L$ J* Y$ g 04网络采集器
6 U. j6 k* v$ Y/ i# w9 ? 网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。* i3 ]& R6 l7 @4 W9 X+ E 3 P* o, ]6 Y1 j9 x" t% i7 l 3 \: p+ c6 h( z; f' V7 t* j M8 n& H/ I' u3 k0 {" C
* y7 Z, B! I0 x0 S) R / \; ^" G+ E6 U7 H+ k4 S' r 一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全，支持的扩展比较好用，懂代码的话，可以使用PHP或C#开发任意功能的扩展。 6 X" [% y5 k9 t9 |( Z8 @ ! W8 R' ?. e. v, v1 B % V2 t, e& D) n * S L1 F. l. j* K & j$ c0 m( Y* U1 T
2 x/ c* o9 e7 m- } " U* m- ?- ^ F0 D ! ]8 m3 R5 ]' B E# H, V! x8 V + f* w1 U( a" F2 y, w. \8 O& j6 W － 集搜客 －" u$ N% P& r F- O( ]' A" M$ {1 K + y7 j) f7 Q0 n- k
) I$ p: j- [- v& _' d2 b/ y 8 r% n- n/ G3 e- d5 @# P; O 8 J% Q0 t9 L4 _ / J" _) E+ c- i, G 0 F, m2 s- f; Z 05网络爬虫
8 I- S4 z# E8 l7 w 作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。
! z9 P- g! T% n! E5 n # y8 ^8 M- M% Q/ s, ^4 s ( `* \2 L" [% J2 x$ P, w5 O8 h, R# _ & p4 Y7 O" q" J6 y
9 h; z! z: f+ |" e $ g3 s4 q: p# \! S6 C0 A! o4 W; N9 k 7 @0 c3 S2 z& E; Q# m3 W$ ] , O, S9 G" s* r8 \& A － 利用爬虫爬取高质量资源 －爬取的音乐资源 v3 a7 t" [6 T+ N! j+ ~ # t) Q& w* h9 k. K: ~: p+ v ) b6 D. |9 P7 g# z$ a 7 H/ K( b0 V9 M/ e: } ' z# O s0 s; p6 X' i1 s 0 Y. h. }! m3 e/ D7 z9 m
o t2 v7 S( C5 D . r% } o- ~! y1 y, l 7 B% B, o* ] I% N6 d7 B % I* `! |' W4 u
% Z# g8 |7 [" r/ K! Z ( | a$ d$ T+ q2 W4 F- ~8 p' J5 h/ w, x 比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。0 Q. j, R* `& k W0 _( D/ } # R' n6 i" b# B( q; }5 p 06小工具－
; t, n, E, N; w5 G! I! o. k$ w + j5 \- `- x# L 9 U y9 g V7 u, `1 P. C t6 [
9 R* @ e R* j1 E7 d ; T5 ]2 R4 C7 L8 |* O9 T 9 w: i+ j5 a8 p* c. K# s 7 Q6 \0 Q& s+ k" S
$ w: k, t x. h& @: q9 } 5 A5 Y2 r- _, V8 x& L# c9 G. D0 f 然后我们就会获得如下的数据反馈，感觉运筹帷幄有木有，对于一些不需要十分精确的分析研究足够使用。8 Y" c0 Z$ [- c. g0 N8 c8 m ( n* F: O' u; ]$ r; e+ t 3 i3 S- A5 I' g7 t5 \* y: N. u
$ Y+ p) t2 y: i6 N / M/ \, t: f7 E8 e 5 j" ^8 b) x. W6 T 4 ~' ]- C" G. b" u3 O6 l# ]- q! y; | 当然并不推荐用这个作为量化分析的依赖，对于定性的分析，做ppt级的数据统计分析就足够了。 1 u4 N- T d6 G* W+ x6 ~9 m2 p ? ; q$ w9 S, [( c1 N& ]6 P) [ － you-get －* B }2 r. v: ~1 l5 |$ `; K, e ( s1 h2 l& L$ p8 ]/ ~8 U8 W- [
% p' k% A5 t6 |2 }+ F! G* G " @ a! l- L) I6 a8 K, L& l: O# z ! h4 p. u3 a4 z4 {- W# W * ]+ V' h( t: W2 }4 U z
8 Y& q+ ^, c, ?! ~5 t1 s) V8 y- n5 |9 M 8 b8 w" [3 [# \5 e" W6 y% o 下载优酷视频 5 p" n9 y9 L @$ o 6 i8 Y3 C3 O& L; N
( t2 }5 U0 `7 o1 T2 V! m' d 7 h# U' g2 W7 p. I! A 批量下载图片" G/ V) {. n* O& E8 E# b/ l % e% v' N/ V6 `, J* v ( S9 }7 r, F+ u! e# O7 w2 N, H J$ O$ {# I8 L& h1 P 1 U, \; j5 s: w5 }4 I 作者：头条号 / 数据观 \! x6 X9 g. V ~* |: e7 m 来源：头条号（今日头条旗下创作平台）) [* z% S6 e" }, ^ * r- y1 E# N' x8 O- y$ r 彩蛋 , f9 l6 g; T0 B x0 ~) { 2016国赛备战群组：http://www.madio.net/group-1899-1.html : j3 c6 f+ u% R, _( E 2016研赛备战群组：http://www.madio.net/group-1901-1.html % k$ n# S1 N# T3 K 加入国赛研赛备战群组可以和坛友在线聊天 互换资料 是不需要体力的哦（点击申请 无需审核 学号随便填） 3 U8 X' O. ^% x. F 具体方式可参照 --国赛资料免体力下载秘籍：http://www.madio.net/thread-282932-1-1.html 1 O% r3 w8 k' k9 {2 C . l* F# D5 ~0 j9 I5 A: _ ! g' Q5 {: K- U' ?+ N. ~' p
zan
[复制链接]
IP卡
狗仔卡
发表于 2016-8-2 10:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
发表于 2016-8-2 11:39
