【国赛必备】【收集数据】建模比赛必须知道的收集数据方式

吃苹果的梨

0 j: A6 m' E9 T8 n      
0 O' R0 G/ k: H: |+ q! h! G
         
# I+ u7 r; T' B( _! Z+ K

5 A- h! B# S! H           对于参加建模比赛来说，收据数据是很重要的一项任务，甚至直接决定了论文能不能进行下去，下面罗列了基本上所有的收集信息的网站方式。在比赛期间对于参赛的同学有至关重要的作用，强烈建议收藏！！！！！！！！！！！！！！！！
3 E* M8 @9 O7 T7 B" @3 o6 q         网址链接回复可见 欢迎大家踊跃讨论

4 _: ~0 b) T: \$ ]& `

01公开的数据库－

国家数据 －

游客，如果您要查看本帖隐藏内容请回复

4 T1 b0 x' I3 m 数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。－
7 V# {! b# T$ o3 }7 M5 b! `
$ w! A9 H9 M1 D  T CEIC －

游客，如果您要查看本帖隐藏内容请回复

9 l% \! C  @! ?5 g0 n3 j
最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。
; g+ h! h- @% k  y$ J
2 y: O9 ]4 E7 j( Z' u+ [ － wind（万得）－

游客，如果您要查看本帖隐藏内容请回复

; i  q4 t! ?1 u) b8 Y, [

$ o9 \7 {" V2 R, p' I6 l* I; H0 Z; j, Z万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。
$ y$ s: F0 Z% S, j, O
－ 搜数网 －

游客，如果您要查看本帖隐藏内容请回复

' x/ E6 W: j- W; N$ D; ^; W

7 c  b5 o/ R& P$ F9 {; V已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

－ 中国统计信息网 －

游客，如果您要查看本帖隐藏内容请回复

+ E+ i/ j6 x& y  `" ?
# K7 ?. {7 O0 s国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。
# J" p3 q% q) n
$ Y1 G, b2 s! }: Y" B, z* @0 Y － 亚马逊aws －

游客，如果您要查看本帖隐藏内容请回复

$ F( a: n- c4 v) W' }; W' @来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

－ figshare －

游客，如果您要查看本帖隐藏内容请回复

. F4 w6 [" B9 z5 L% n* H7 b研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。
8 i4 D. Z9 f$ x
" t! [# i0 ~$ l. v5 d9 D2 K－ github －

游客，如果您要查看本帖隐藏内容请回复

* }" Q6 m# u/ C
/ P( y! y, M' X' |# z; E( \8 \
9 d# Q' N7 J, J0301/awesome-public-datasets如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。随便上几个图，满满的都是资源啊！

, A' A2 d) K, a$ g' J  Z
. u) @3 k" v" a0 N0 l2 w5 S
( Y! G8 y, t" L7 m4 L9 q( _

# g4 O; v$ S; g+ B; m

02数据交易平台

- @9 n) {" F' M6 G& Z" j# v－ 优易数据 －

游客，如果您要查看本帖隐藏内容请回复

1 S8 O+ j0 Y# }0 f
. K& k4 q; q( @3 D7 D+ T* H
2 J+ l: u6 i0 A; c3 \' B4 m
由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。－

8 h& }+ R2 r2 S: V
5 D4 u2 j, R, @& B$ h: G8 @数据堂 －

游客，如果您要查看本帖隐藏内容请回复

, }( |7 @% s1 H6 i5 c% T: I! \
专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。
1 J; n6 P4 o3 z0 b, L
  F4 U. ~% N- X

03网络指数

! {5 B: R+ U+ ^  P4 n
4 s/ w1 h8 L6 ~8 t: o

－ 百度指数 －

游客，如果您要查看本帖隐藏内容请回复

' q* d8 T- @# [! C, F1 G$ U
5 v9 S. y0 L  X3 \- i5 ?  x( F


大家都很熟悉的指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。

! R6 A" S  A( Q+ w0 j3 h: _) V
－ 阿里指数 －

游客，如果您要查看本帖隐藏内容请回复

4 m: q9 f2 I3 x. j( ]/ d1 c; A5 i

- Z/ P: o# m$ O! l/ ~+ Z% F
国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小。－ 艾瑞咨询 －http://www.iresearch.com.cn/艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。
8 R) v8 S+ |9 ^8 S1 F  G( j
  B; X0 J! `  c － 友盟指数 －

游客，如果您要查看本帖隐藏内容请回复

: V1 A: a& g2 q" d) o( G

& Y* q  Z5 T$ }8 X9 ]
3 B5 h, J4 y2 Z# O" e1 C
友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。

3 E+ }3 l9 T; _' D6 }' c& d, B6 g3 S
$ S$ y3 a  ~* M0 t5 c － 爱奇艺指数 －

游客，如果您要查看本帖隐藏内容请回复

$ A- z$ f+ m- ]# ^
+ M  _$ g' {5 n爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。
2 a8 U7 n+ d4 l5 d+ ?& [
- O. m8 W6 j: H* i3 i+ N7 g9 K4 K
－ 猫眼专业版－

游客，如果您要查看本帖隐藏内容请回复

8 a' Z" j. F% v& H5 j( I
: W  X! a( ^9 m. U2 B  o2 W
& D- R1 c( s# G! A3 b% A1 O
- R/ X8 T# R0 R
电影票房统计分析平台，猫眼专业版有实时的票房统计，影片的排盘情况、上座率和影院数据，对于当前电影的分析是必不可少的。
) M  B* ~. [( p9 J& [# w

04网络采集器

4 S5 N6 k5 q4 v3 i, d网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。


－ 火车采集器 －

游客，如果您要查看本帖隐藏内容请回复

1 ]2 S5 H3 Q& ]" D! [3 i- d
5 R0 H0 F- w4 X( ?2 |' w3 |
一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全，支持的扩展比较好用，懂代码的话，可以使用PHP或C#开发任意功能的扩展。
0 ?/ y2 ^; Z" [8 u  {9 [: h- o
& n1 j# \- a8 N6 G# L& U － 八爪鱼 －

游客，如果您要查看本帖隐藏内容请回复

% {" L" B7 I2 i' w  a6 r6 h( |, J
: J3 A& C" _# k7 m

& P* x9 m6 d$ [  ?9 x* G0 U( L* ]简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。


6 X2 U# r: h& u' V1 L& l  H" b － 集搜客 －

游客，如果您要查看本帖隐藏内容请回复

( d5 u2 S1 Q$ F4 Q- B( g1 n
7 y9 {" ^* U; a3 W7 t7 F5 a0 N
  y6 ~/ d- Q7 g一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。


& K  p' M: v& X+ ^

05网络爬虫

+ o) e! k( e) g

             作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。

－ 利用爬虫爬取网络图片 －


' `1 H$ i% b) u
爬取的图像素材你看到某个网站上的图片恰好是你需要的，但是量大单个下载太麻烦，那么利用爬虫你可以快速地进行抓取，并可以根据标签、特征、颜色等信息进行分类储存。从此不缺设计素材，不缺美女图片，连斗图都多了几分自信。
. U: j2 M$ X7 C8 v: F6 \; \
－ 利用爬虫爬取高质量资源 －爬取的音乐资源
( V6 }; V& t: y/ f
2 H4 l& ^3 F2 A 我们总是想快速地去搜集高质量的网络资源，但是人工查找比对实在太麻烦，利用爬虫你就可以轻松解决。比如爬取知乎点赞最多的文章列表，爬取网易云音乐评论最多的音乐，爬取豆瓣网高评分的电影或图书……总之，你可以从此拒绝平庸。
9 e9 ]1 U; L) h# c$ X8 a7 i' l: C5 x
－ 利用爬虫获取舆情数据 －
! v8 O  ^5 _! P# n/ C! b; `+ }  K


. N, {, O5 m& A- J7 p% F; W9 q4 E# f爬取的某招聘网站职位信息


; ]. D8 D9 r4 B6 m, M; x9 D
比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。

06小工具－

Web Plot Digitizer －

游客，如果您要查看本帖隐藏内容请回复

0 o: Y% o: _6 I3 d+ ^
" Q7 @  }9 p* a% q0 ?# O比如我们在查看期刊文献的时候看到一张成型的图表，但其本身数据是缺失的，你想获得这个图表的相关数据怎么办？有了这个小工具就非常easy了。直接上传我们需要获得数据的图表，如下：
  L1 f) s& F$ c% W+ `1 C
0 j4 p, Z3 a3 H1 u& z4 O
+ v  I/ |% _5 _# ?8 k
然后我们就会获得如下的数据反馈，感觉运筹帷幄有木有，对于一些不需要十分精确的分析研究足够使用。
1 a9 \6 Y* i9 d
% _3 p" ~& C% h& V% ?, O* j* o

4 e) T- I( q9 P' [1 `


3 L) C: n# A/ w7 T$ P& e* ` 当然并不推荐用这个作为量化分析的依赖，对于定性的分析，做ppt级的数据统计分析就足够了。
8 W2 t: P0 s2 l/ Y$ m( k
－ you-get －

游客，如果您要查看本帖隐藏内容请回复

' T- W# e! x( Q7 ]  L% J
" o( q& Y4 C5 d& O* K
, u, I* B7 v- Z9 ]" t, T
这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。
; F1 Y; c. {) T. w

% W. ~$ m1 X  ]* M$ W
! I+ S. P2 b$ M) T8 w% z# I下载优酷视频
( U& ~9 D- P. X# f5 r


批量下载图片

" B2 y' h5 p. b. `* _ 当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。
$ k; U% W1 M- t% `" x
8 ^$ n0 K' H% |' y# P3 B
$ H& X  s7 X6 g" L* ^# M) H作者：头条号 / 数据观
来源：头条号（今日头条旗下创作平台）
, l- W. g0 F+ _+ j  z8 d
彩蛋
2016国赛备战群组：http://www.madio.net/group-1899-1.html
2016研赛备战群组：http://www.madio.net/group-1901-1.html
: E3 P* j" \' h- N3 d) k( Y加入国赛研赛备战群组可以和坛友在线聊天 互换资料 是不需要体力的哦（点击申请 无需审核 学号随便填）
1 W% D2 k  W0 G+ }具体方式可参照 --国赛资料免体力下载秘籍：http://www.madio.net/thread-282932-1-1.html

$ K, h; g  g- n/ b. S1 a1 u
" p8 [/ n! H6 m0 q8 F9 j7 \7 o; [! \

madio

给力！
/ M, }; {* O, }4 n* g

八百标兵奔北坡

感谢分享 十分有用

winer1

看一看好了

眼瞎手抖爱开车

!!!!惊呆了~~给力啊
. X* _- s' j) `' `6 j9 u. ~7 u+ k

yangjiehzau

八百标兵奔北坡 发表于 2016-8-2 14:02
感谢分享 十分有用

. U5 E4 n& F5 t8 ^% I' ^给力！！！

孙小飞

真的吗？求啊拜托了。

一条大胖狗

支持楼主 赞一个

朱熙豪

厉害，感谢分享
3 K9 ^! z. H. ~" w1 u

atomrun

我要看隐藏内容