在线时间 677 小时 最后登录 2021-3-24 注册时间 2015-11-19 听众数 142 收听数 1 能力 140 分 体力 13629 点 威望 11 点 阅读权限 200 积分 9762 相册 0 日志 0 记录 0 帖子 3541 主题 2983 精华 95 分享 0 好友 404
升级 95.24%
TA的每日心情 开心
签到天数: 272 天
[LV.8]以坛为家I
自我介绍 吃吃吃
群组 : 乐考无忧
群组 : 2014国赛优秀论文解析
群组 : 2016美赛冲刺培训
群组 : 2016国赛优秀论文解析
群组 : 2016国赛备战群组
本帖最后由 吃苹果的梨 于 2016-8-12 14:37 编辑 ( ^6 M' H; |5 V$ o( Z $ S: G0 I' _ h% S; P. q : v9 \$ p7 i9 r; U: f & v/ {2 e. t* P5 R% }# A ; U# U; `: g6 Z* i & o+ X* T& S" J: o ) F r1 ~; O0 L1 ]* i8 P( b 3 j+ ?* o# L5 B0 \ 网址链接回复可见 欢迎大家踊跃讨论 # ~0 X; S: r: J: R/ E4 e 4 A. {% }6 V. U5 V" G n* y 01公开的数据库－
4 A* `* f. D* T$ p! J5 v ( m6 E4 _; L" R! G3 c1 A9 q + x; W" P- t: p ~7 \: @
% R Q. s! ~! ^! c ) k l- z& T ~( Q9 } 4 L* B4 O5 {. B 7 T7 Z. d7 X" A& J( c CEIC －8 S% f7 \/ u: K& _9 [! ?2 m
+ N, C0 H. O; a6 ]" R - G P# E$ _, V! Z 最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。 " I& u2 R% r/ E3 R) ?# H 2 w8 L" K2 R9 e: e6 I! \5 ~9 L － wind（万得）－& f0 v$ h1 G* L
) v5 `8 s1 u" b; h ! k! |/ Q& z L7 G3 U ; N6 ]4 }& Q, I3 q# _) Y* I ) b+ H% }& H2 k5 z: h5 J: h# o － 搜数网 －7 A, @, u" |) U
" s7 t& |# |. T5 W; A, c1 { : K) G) }3 C3 t! H9 b" j0 {$ V 8 j: w9 y! A: H) D8 a$ w 5 P, f9 m' }2 p4 }2 `9 V# K. Z9 [ － 中国统计信息网 － & `+ f. R! A- M. e- s
& I# x' q1 V& v" e' ~" Q 国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。! u% k& ?; ~; A. d* j& _/ E& |& v 4 O* E* ]4 T" A4 i － 亚马逊aws － 6 i( V/ Q' W5 `* G 2 A* B- j$ z8 K9 L% C4 s8 Z* O) z
/ B6 u$ C3 e% ~% P & T$ `# S# R3 A! G: i " h) n! N P2 a6 k! U* r + @$ |( _- ^7 Z+ J. V
/ J4 \4 y4 N0 q3 A* ]7 n: r : o; }( u- _5 `$ B3 s6 ] 研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。1 y* B8 Z5 ~3 g. I7 i8 O 6 l+ K# v2 C% c. Y1 D # ]$ R5 G0 N* K& r; Y
" y) C/ G4 \& c: G8 I . d$ q6 j4 E% Q+ G; b9 S q 0301/awesome-public-datasets如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。随便上几个图，满满的都是资源啊！ 4 @% y* n5 n( F1 q- e0 u0 j 1 D8 c \: x: S$ q( `6 Z* S) z 3 \7 Z- k$ P5 K. y" b- F
4 M! h% }, e0 g s5 p$ Q/ R
& d/ B, ^' t6 V5 o1 Z) t# w# { * |' C$ C3 D9 B/ G( e2 Z3 R- A . b- O. V; |' _6 j 02数据交易平台
/ R; J, {. X+ D% d/ r0 f , n% b' w' J# ]* G% z* J) t
0 A& Y9 }' J# @! u& G ! S) I( x% `7 q1 q4 x( @) R 0 z% J) A/ N& e, |: J4 j) x0 C s ' f7 g- |5 y* l : C; w, L# v6 r8 N. O. s& { * o Q2 N" a- j. |, w 数据堂 －9 x- n+ a$ W+ Z2 V v) ~$ a
1 ~+ I6 Z) B! q f' \4 \% ~% B 7 R% E1 m/ `) N' z4 m; Z% t4 k 专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。" z/ N, e6 u/ a* L ( b( `% Z L$ e. g- M3 A 4 _9 ] g; N3 i" M2 m 03网络指数
! |' W6 F% V4 j/ \! j9 R3 ~ ) z# N+ t! v% J6 X + E, X& a# |/ f/ m N0 Q * Z: ~2 r7 O6 z8 W9 r
' F- n/ Q% P M# q ; C, t/ G( L, n! N" S) N 7 r4 X" k$ C- K* |+ P; y1 U( D B 4 [* K% D/ ^) m4 I 6 P& x% ^& [. }$ \ - y" G; a) J* g! X% h% ~8 n c, n － 阿里指数 －6 o5 F4 t! s1 o/ H: j, z7 G ! F. Y0 I8 E \9 q6 g
+ m3 _7 v! z9 b& n( m9 J! f
2 v: i2 N6 a. `# u t6 E. D; `" D0 x: X5 }- m http://www.iresearch.com.cn/ 艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。 ) v( I2 m3 {1 R( x2 W Y, y' ~8 t 3 A; I. h0 ^2 o p& H* K- u / o* W8 S# _- P* \ d: S% g& s6 U ( L' x+ k0 Z+ P% Q
% A& E1 r6 w% W0 X8 Z# U 7 ^- W0 T! h+ {+ d; j+ }' c* t. J/ b 1 O; A$ {& I* z$ U y j 友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。 4 a( ?! q: e! e) t$ ~) U * @2 |9 k5 s8 q% A9 m) f ' a$ G. K: k; u, Q$ L& T － 爱奇艺指数 －; k9 J- k3 Y* Q7 Z6 o! U , c5 N: `" R' s5 b( ]
% n$ k- D% u' A" n' @$ i) q8 O5 I* j3 G " Q1 F" Y; J' ~- I% U, i 爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。 - M; s+ f3 I$ B3 G6 C( M . `7 \3 m: V b/ J/ y- ] 8 k3 }8 A! V0 K6 w, j$ o ( a1 K4 X& \8 ]! F! [ * z3 ^& X, p w- A
2 M5 K' S7 D, E! ^/ Z + ?, O- @9 _+ \/ ?. t # _. |; |# q+ d% z+ w' m 电影票房统计分析平台，猫眼专业版有实时的票房统计，影片的排盘情况、上座率和影院数据，对于当前电影的分析是必不可少的。1 \' f. {! y! G$ s2 p# m5 l% u 2 _. q+ @1 p6 M/ }( o% X2 f 04网络采集器
% t1 t0 x7 D% o* b" S+ s 2 q9 a! x5 o) v( ~9 w ) ~9 V% T7 f9 @ }. I1 i! @* q1 ~8 Y% a － 火车采集器 －0 V3 l& P: q6 o4 G/ v: H' _
( N# `- {3 [; j+ f 7 z J' S v0 ^ 一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全，支持的扩展比较好用，懂代码的话，可以使用PHP或C#开发任意功能的扩展。 9 c3 J1 s& ^/ C) G, C 5 ]* X v' O- y0 R % U) _: L( ^; l- G; ~3 ? % ?+ F) q# I- s$ e$ |! O2 a- `- M * d; t' B; S `
, q+ y+ W* [" }: A4 r ; A4 S% H O7 S 6 O# G5 Z5 q. y* o& [ 0 [' y. |3 |: @/ Q) A3 _, Q } － 集搜客 －. S8 o! A, l( r, L ! k3 n; k* B+ D
+ f7 x3 u" k% b : @! N j9 ^) n/ S0 } 一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。% @/ t0 w# L- L. T$ P; k ( E! [- c* S: g/ h0 V% k. b 2 ~1 D3 S5 {) N6 B 05网络爬虫
, O7 ^$ r8 [) `" E7 i( @ 作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。
+ L% L; v, V4 S& S- @; d1 Y 1 z3 Q! v0 v5 ~$ C － 利用爬虫爬取网络图片 － 3 B7 ]9 @! n# F) o; I4 c . G& x/ P+ P- b9 e. D
) }/ E3 n+ h H4 W2 D# _' \ 4 Z/ \) W/ X: u% D, ^ ; z S7 X9 L3 ^+ L' T( a 9 W8 E2 A& ]# G$ Z2 h( v － 利用爬虫爬取高质量资源 －爬取的音乐资源5 i6 C0 N0 K3 p3 }+ I. I5 a 3 h9 ^. W0 ]" c 我们总是想快速地去搜集高质量的网络资源，但是人工查找比对实在太麻烦，利用爬虫你就可以轻松解决。比如爬取知乎点赞最多的文章列表，爬取网易云音乐评论最多的音乐，爬取豆瓣网高评分的电影或图书……总之，你可以从此拒绝平庸。 : j0 b1 ~- ]3 I* b9 B! d5 ] ' A9 m/ j/ ~) F+ m, M& m# D3 A7 Y# ] － 利用爬虫获取舆情数据 －6 }( @1 c3 w1 w% V1 a. ` / h! A4 V9 ]* y1 Q+ e# D5 [3 C
. P0 x2 g, t7 f5 H' {& Y 1 O/ `7 a+ C4 K ) r/ d$ S) Q: M7 ] 7 V9 C& X0 L, R @* I( y
6 O) _9 L6 F ^! C1 @- O # X: y2 B0 b' t4 F" D* U0 O4 \ 比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。' W4 j8 j7 K5 D8 F l" p/ s ; Q5 e( I$ b5 M- R 06小工具－
1 p j G1 ?( Z2 J+ n# x1 `+ ?9 u 4 X _; F' }# b0 S ; K( s, w0 l( e1 t% M! f* s5 L3 G8 Y
* J( P) a' E6 x: A 1 n' T: q1 T, {7 R9 h 比如我们在查看期刊文献的时候看到一张成型的图表，但其本身数据是缺失的，你想获得这个图表的相关数据怎么办？有了这个小工具就非常easy了。直接上传我们需要获得数据的图表，如下：8 \; n% C! x& r# a 6 r0 V6 }1 ~. i3 E: t+ d
& t" @) E" p4 S% ` " m" `8 I# N3 m; o! k! p8 i / x: | k) O0 U 5 N. ?3 i% M7 v( k 9 `- x% X8 m7 s
- E9 j4 m. ]/ e+ v+ L7 g7 c * O) [1 u# b4 w . V7 Y& B3 _" [, L : u3 S' m4 {8 M" h m4 Q+ I8 B4 T! H 4 G- a" A$ S5 L! ]. L g' J- j" V1 U8 V ! W i9 R, m5 d/ M! ~0 R# B2 @ 4 u/ v6 |5 k( I8 l% g 3 J8 B; k$ P0 `( T0 E) W" }! B
! M! q* V6 L; [ ` _ 9 J6 S1 I7 g, a% } " [( I( p2 B4 b. | , d* |: k& V6 H) }/ P- g
: N7 R5 s, N3 E6 | & K$ E5 V( [/ [8 N" T ; k# L" |6 _4 x5 M! Z1 g7 S4 U3 W0 Y 1 S( g; ]# W" _8 _8 G3 L7 E
7 d) [. ^- F$ D- y! H3 e5 r ) }3 p* m/ o# o4 z0 p9 e ( l ~* d7 W& e q# r / z2 x# \, ]7 Y5 a. s/ g- R7 u) G 6 P' m( Y" C6 C. M , |$ f7 u) v. N! c6 ?( E1 ` ) d! r. B% `! I $ c6 h$ J: t8 Q q# m, p 8 F% u/ m3 ?, S$ ?8 O 8 {: u- z. x1 E4 x 彩蛋 5 T; `; c9 v) w 2016国赛备战群组：http://www.madio.net/group-1899-1.html / l2 Z; \. d$ ~" ] http://www.madio.net/group-1901-1.html % K6 `/ ^! r" q% r. N% K8 Z/ R 加入国赛研赛备战群组可以和坛友在线聊天 互换资料 是不需要体力的哦（点击申请 无需审核 学号随便填） * U0 z8 t$ S- H, G* K6 Y0 g G* x 具体方式可参照 --国赛资料免体力下载秘籍：http://www.madio.net/thread-282932-1-1.html & L" m: h" s9 \5 p+ W( \1 Q , k) T; w; V4 ]- v- L; E7 t1 R3 f* J1 m ( L; x" T: m! V! Y' g$ j
zan
[复制链接]
IP卡
狗仔卡
发表于 2016-8-2 10:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
发表于 2016-8-2 11:39
