在线时间 677 小时 最后登录 2021-3-24 注册时间 2015-11-19 听众数 142 收听数 1 能力 140 分 体力 13591 点 威望 11 点 阅读权限 200 积分 9750 相册 0 日志 0 记录 0 帖子 3545 主题 2983 精华 95 分享 0 好友 404
升级 95%
TA的每日心情 开心
签到天数: 272 天
[LV.8]以坛为家I
自我介绍 吃吃吃
群组 : 乐考无忧
群组 : 2014国赛优秀论文解析
群组 : 2016美赛冲刺培训
群组 : 2016国赛优秀论文解析
群组 : 2016国赛备战群组
本帖最后由 吃苹果的梨 于 2016-8-12 14:37 编辑 * p% O& P4 F( t8 f; C. L# G * J2 T; m9 A: t ; q3 ?2 r* C; u7 @1 c) u% n6 Z ; _ j5 K+ y* X& f/ l1 N 3 [1 `' ~# T# X( f! A % K' n- |% W7 N& d$ r% H3 H : J+ `/ p! x4 e' m 对于参加建模比赛来说，收据数据是很重要的一项任务，甚至直接决定了论文能不能进行下去，下面罗列了基本上所有的收集信息的网站方式。在比赛期间对于参赛的同学有至关重要的作用，强烈建议收藏！！！！！！！！！！！！！！！！7 w* B4 g4 [; d V 网址链接回复可见 欢迎大家踊跃讨论 4 g6 H' ^4 N, } l - a/ }8 O' r; [* y 01公开的数据库－
2 f$ e! ?& s. n; G0 [+ f& G& o$ l , c: K; U/ c P: f 5 \- }, S5 X9 A' W# V" J4 K
: `- e! \. F/ E+ f7 b) {0 y4 f / ~4 M0 e. r5 a. v( H U, N+ H& G o6 R* x' [5 _ 8 d: c# P2 T1 I 5 J. F c0 R+ i7 J
' @3 v2 U& H% F- E2 J9 X) ` 5 Y( W+ e% O3 k# { 最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。 - r Y, N4 O7 G" h " x% ]0 D. U0 D) } ; \4 o. B$ i: @5 E; p8 @( F1 L5 i
$ m3 Z- I2 M; d& o, R" _. s C# l+ O4 J/ X- [4 c % D" }+ t$ ?+ k 3 A6 ~: b. f4 `/ F) b － 搜数网 －' p T. w7 D% `* o, I
9 Q$ A% g1 Y z; ^) e+ E# l! @ : C) e, D) C8 c* Q# | 4 r6 `6 N6 R4 p" O. F! Z+ d $ y! J% m1 g. M5 S% C0 t － 中国统计信息网 － % y% k) Y5 S) F
6 J2 G6 E G6 X( k" T H 国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。$ s+ u$ K/ r4 A4 l2 J( s 8 S, C: f0 m q* m; `. p2 c － 亚马逊aws － * [; R$ E+ h2 j( T1 f0 Q 6 l1 h) @0 S9 e5 R9 X
, r1 I- L1 q$ I- R- u ` Z5 p" ~! h% G/ n1 f& f 来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。+ ]- N! {2 Z% Z, Z # w1 L F& q9 p7 y; {; P8 Q － figshare －
+ w A0 [" C' s. u9 C" o 0 A) S: Q) G# H" T 7 N8 W1 O6 o; i# ]# a$ @7 r$ X: T # L1 t; Z) @7 {! z5 v" K& \. M& G t& v# g* Y( z6 S, _
+ J+ t- a7 F/ Z. Q# D) M 7 O8 E& [: |/ U5 S 0301/awesome-public-datasets如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。随便上几个图，满满的都是资源啊！ # h" v* Z" d7 t" y- F1 X' ~ 1 |8 X3 V! U; J" c. x " n) q0 q4 M% a( P: o
# Y8 }4 }9 S) I5 A) U9 W
# O2 B" I9 u8 l& T9 o$ m ; B% C% ~- ~5 ?) ]* ? , K( \3 F# g. ]2 [ 02数据交易平台
- j7 B! G: E g7 q* k , ]+ z/ L3 }3 v N- ?+ }
/ X# a1 {, W7 R) s1 K2 V$ Y, b 6 q* ^9 G/ M- b 7 o$ c; B D. ? 由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。－ s% H. ]& a9 L" e 2 S9 D" ^# L1 C, m0 ?1 N ' u( ^/ ]- b: W; O- s; H + U* a. W! @. z8 R+ B) l/ p/ a! ~
% F* l5 ?" `9 X' F c1 \( f; \ ) F E2 f( [5 l3 E7 C& @! y" I 专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。* w( n+ H8 v6 H- m : k: c( E9 a& `& C* J 6 O0 i6 A; l8 I4 _) J0 S$ r! s, f! B 03网络指数
- l, @3 @3 U& ^! A* [& _, d # x) c1 b5 o% G1 J4 ?3 l5 Q# j 4 R* t6 K e; t! A" x& S8 p5 E( Y- i- i, j 8 A& e) B+ ?( L7 d; g! I
6 S. ]5 V" ]1 N0 E/ V4 r ) G7 k4 [. w8 }1 A / O0 a* L' H6 L) l+ N1 m6 a b% Y8 q5 m6 q 大家都很熟悉的指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。; o: i/ J q3 }7 K/ B & |" _# S x& W3 p6 |8 ` 2 d" g& h$ r2 Z2 A ) [, l7 n: ]+ X % v2 D0 T- k" T# X- Y4 T+ i4 U& Z* x
0 ?* y- V5 V0 R6 L. }; G) J
5 G+ Q* a$ E# w 7 a2 q6 x/ N* a+ S http://www.iresearch.com.cn/ 艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。 . m; n! F4 g5 d f. V2 V 2 P' L# Y. d$ I9 k4 z. W6 Q － 友盟指数 －6 \# R' w' I2 F) e2 ]6 L , x0 d- K. P7 C
- \6 I, C! B% ^9 `; U . \* m; b& W9 O. k 2 Q7 X5 Q6 V F l( b$ f Y 友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。 & c. G( [- s& p" o4 b, u3 Z 1 e; Z+ \5 [7 z# G2 h + A) {% Q6 E' ^8 L1 w. K # w' d) d( L7 r% E( ]9 t , K5 E7 d# m* T* U- v9 R
/ ^ n# i* H2 l' Z' Z4 N" z " w6 y1 J$ A# b2 J 爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。 j) z- V- M* h% n3 ?/ c) w " j) |" u! @& L # k) W3 P9 b; ^$ L4 }' b － 猫眼专业版－ C. X& f) T6 \ 1 m8 _) ~! Y# Z$ r2 K. N$ e
$ h* y# r& X- h8 p & }* |( R, M1 s' t; n7 @! e8 S % ]' U% h7 a O+ ~ : ^! c, L7 M9 g3 \& }/ k! F . ~* }4 G7 @' N. S" V 04网络采集器
/ _& e# s0 }3 J) x; H9 v 网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。6 U+ x* D5 }# K+ H4 f2 ~; r9 r @ % z# k4 \6 _" [, d- g6 Y/ r - g/ u" z' v; W% }" K- r1 Z. h& p － 火车采集器 －) W0 C: d3 G: p5 R
8 R7 E V$ j4 m9 r: i [ & A7 `& c4 j' a 一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全，支持的扩展比较好用，懂代码的话，可以使用PHP或C#开发任意功能的扩展。 " ?0 y+ H! _3 W# ~& l + ~% W- } h% d G0 [& V － 八爪鱼 －! K$ K+ _3 ]! Z C& D % ^" \' K; Y. K. F- G 2 L U. g- F4 B
P) J: h6 h" H j1 r 简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。 . L. a6 v5 ~- {# g% h 9 b- V" p- B3 g/ Q/ J8 L. A * ]6 u4 l/ r3 w0 e5 K! R; I! | － 集搜客 －: S' D% a2 t7 X2 m$ O% k # P$ \ Z! y- @0 t6 K
, M. N* E' T( u/ e3 n8 F* d + H/ G4 z( a7 D' T) W. g 一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。+ Y9 R3 K# @+ Q 3 K; E7 U2 O7 D5 h : Q9 l4 E' c; X# G7 s 05网络爬虫
$ c' N3 L% l; y7 r( V% C 作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。
. I- I b/ W3 U2 \2 x+ _; e 9 \* r# E' ?- W5 K( r7 W6 q － 利用爬虫爬取网络图片 － ( P6 R& t& P% C# A: t - [; K/ \, m0 f
! F; y) F5 o& Z& F/ I ' V9 o( O0 H" O! B/ K! ` 爬取的图像素材你看到某个网站上的图片恰好是你需要的，但是量大单个下载太麻烦，那么利用爬虫你可以快速地进行抓取，并可以根据标签、特征、颜色等信息进行分类储存。从此不缺设计素材，不缺美女图片，连斗图都多了几分自信。 0 ~" W! V. L! ^, _/ F& f% s5 l ; d5 e. c! p1 |2 \* Y8 h& { － 利用爬虫爬取高质量资源 －爬取的音乐资源8 ^" r5 T" ~! O+ X3 f$ e ) N+ M5 M- n0 ^' l% V 我们总是想快速地去搜集高质量的网络资源，但是人工查找比对实在太麻烦，利用爬虫你就可以轻松解决。比如爬取知乎点赞最多的文章列表，爬取网易云音乐评论最多的音乐，爬取豆瓣网高评分的电影或图书……总之，你可以从此拒绝平庸。 5 K: u6 e. u: Q4 j4 N; Q # M; d& d6 |0 S* H# r c+ t# @& Q$ [; b( _+ g 7 S8 f% _ G' `; N* e1 L$ ?2 @7 d
) S! V6 S2 H' e' S( i Y* ^& B5 w $ Y" {6 q3 C2 y9 i # I4 Z5 x5 _. F5 C" h) d; X / j e' I6 | u& ]7 y, R% D6 O
/ K9 \1 {. p3 c1 y7 K' m" n 2 B: c9 K& e0 c7 l+ f 比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。6 b1 I- _1 d) c" O3 b ; N* S' s' \; U! {/ ?& [3 @& z& j 06小工具－
0 H9 {7 v8 n8 F* J9 k, x8 T3 R / U7 ?: ^% ~4 T% e1 O' ? 6 Q3 V" m! f, r& g k+ g5 Y
+ u* o- `7 J5 x w( u4 l" A) A; V 7 `- |4 _( t4 N# z! r5 [! x0 b n' V* F m1 V5 A6 q3 H- G/ |$ o 3 m' x" y. Y( T" }9 o! w
) t. c. {' t, S$ | / K) n# g; ^: B( \ . d2 m% v+ i, b3 E3 H ' t2 }0 n$ @% R2 E' U4 t( @ O , m: i* h& b; ?2 C* L
0 S- V' N+ b# a# @ P / d% H( B* y$ i* _8 B% C * d ^1 X( @: N 8 s/ o+ A( ~4 C4 `+ v" D5 a ( n. w9 b" _1 i* H 2 b- ~7 M$ W0 P( m/ v # P g3 B# r: S+ S& a( x # \# x8 H( w$ f
. _: E$ C8 M& N - a' y6 A$ ]5 H# ]& g 4 C' y* \4 _ K( S/ a! d0 e! G+ }* M 2 [- B" Q( X4 L0 W
7 P- K/ T$ B: i; u7 V" Q; Z8 | 0 t* x- K. H' i1 N3 X% | , h& v8 ]- `+ A, T+ _) a, l/ W + R+ G: x- z4 A# X$ L0 R( o; S
' |5 S* Y/ y! W: p2 o 6 f" Q- [2 ]9 `3 h# j% @' [" ^/ T 批量下载图片7 j# M) L+ f! q w 8 ^, B1 z( N) f$ `% U 当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。. m8 R! y3 u8 ]% C! h# C( C P ; [ F* e: c+ V' S# z& }' F r4 Q" i3 o5 V& ~, |, ^- L% d 作者：头条号 / 数据观7 e! D+ J+ r- f- k. f+ C 来源：头条号（今日头条旗下创作平台）8 w+ C: S/ C } 4 H# o2 I" [& x$ P 彩蛋 8 k% B2 |7 R2 |2 e { 2016国赛备战群组：http://www.madio.net/group-1899-1.html : w3 z3 d% N% i1 S http://www.madio.net/group-1901-1.html $ C+ s6 ?8 T8 ~4 K 加入国赛研赛备战群组可以和坛友在线聊天 互换资料 是不需要体力的哦（点击申请 无需审核 学号随便填） 2 j: C% Q9 o% N6 h C, n5 h; `$ _ 具体方式可参照 --国赛资料免体力下载秘籍：http://www.madio.net/thread-282932-1-1.html 2 j9 I7 N( B; u% f ; w2 v# Q* l# [$ Z4 W 2 J5 H$ [% X' M$ M
zan
[复制链接]
IP卡
狗仔卡
发表于 2016-8-2 10:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
发表于 2016-8-2 11:39
