在线时间 677 小时 最后登录 2021-3-24 注册时间 2015-11-19 听众数 142 收听数 1 能力 140 分 体力 13629 点 威望 11 点 阅读权限 200 积分 9762 相册 0 日志 0 记录 0 帖子 3541 主题 2983 精华 95 分享 0 好友 404
升级 95.24%
TA的每日心情 开心
签到天数: 272 天
[LV.8]以坛为家I
自我介绍 吃吃吃
群组 : 乐考无忧
群组 : 2014国赛优秀论文解析
群组 : 2016美赛冲刺培训
群组 : 2016国赛优秀论文解析
群组 : 2016国赛备战群组
本帖最后由 吃苹果的梨 于 2016-8-12 14:37 编辑 6 z& [5 Y8 w6 e& \8 X' J2 P# _ # c- x& q! I3 g, M : G+ N/ p1 Z0 G / h! c/ t5 n& R, a s 6 c7 O" W$ A5 i, F: f: V) U 7 X J2 I: O% X: o2 u3 _( w) C" u 5 H3 q7 J, @9 I- S 对于参加建模比赛来说，收据数据是很重要的一项任务，甚至直接决定了论文能不能进行下去，下面罗列了基本上所有的收集信息的网站方式。在比赛期间对于参赛的同学有至关重要的作用，强烈建议收藏！！！！！！！！！！！！！！！！. l! D& @* h! r9 m 网址链接回复可见 欢迎大家踊跃讨论 2 p! g$ a' T" ^. I 3 X+ m. L2 q) p8 O 01公开的数据库－
- O& R/ v6 L5 | 国家数据 －' g9 w; s' ]7 C- O" a7 ? ' i) s6 [4 `# W5 r
) s: o r7 m- D Q+ c8 s4 r/ \ 9 \2 {3 ]! c& U% Z 3 t: v1 J# _/ d , a, _ x9 C0 g4 ~4 V# a CEIC －6 q. B+ ^4 V' G, e, V
* B% d0 H/ x( L% C 4 J' d$ h- ]3 j/ `0 v+ U& S 1 Q/ y0 T9 u8 y) w * v" A$ C2 {! b5 k5 e1 | － wind（万得）－) S3 O8 q5 k3 f- w" g, H
& c2 m9 U. G* @( A + p- F' n# u4 L ! o) P4 u7 j" j- \) Y4 \ & d* M6 k5 B* W J( i9 [& ^ ( P7 m0 i$ D0 n. a& |
0 |8 ^5 I+ O& J. p8 u$ H ( {( o; f! F( ] 已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。, {$ N9 k8 s5 a+ b ( M. ~0 x8 k/ }: ?; G8 @0 Z' u － 中国统计信息网 － 1 d5 y1 D! D/ c/ T2 V& N
2 i1 `- T% T" d5 z* { 国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。& S* D9 l8 ]0 X( c 7 W6 R$ L7 p4 C/ `4 K& s/ ?" J 7 u( A/ ~2 r0 C2 F3 ~ , |% m7 o V* E3 E" ~# N9 t: \
% m' A( u7 t2 G$ n9 v; D$ w6 u ! ]0 \$ n4 z4 |. [ ) n6 t. |3 h/ D. h & d# i3 ~4 b6 a& b5 E0 {
3 O7 ?/ e" o% O, A 0 X5 z* q& _+ W3 h, T: j 研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。8 J7 I" f1 ]3 I# N6 ~ N3 T- j9 q# ~6 Q6 Y7 ] 2 k+ w1 x8 ~* \/ o. T; [! y! R2 k
8 m1 }* H, v' u: [: O! V N. O. W: y5 o/ j3 {9 } ! z+ B. ]9 T6 E& O B4 G % H: U7 l2 G o4 f# ^ ' ?& Q" [9 V3 u& z7 m | e
& i9 l( p% [8 s }5 Q" `- H
* H; O$ q1 }: p ) V4 w4 H# i8 O" R u$ a/ r $ Y! a+ B1 J9 |( y* c0 ]9 u5 b( X# m 02数据交易平台
$ U. F$ k! e5 P 5 Z6 h5 u( y5 _6 f# h/ \. K
$ O! r5 a: H; K. ]' c) } 6 t: I% A( f* H/ Z5 _* d ) C& W" n2 q6 m3 K 由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。－ 9 ]; s+ P+ H i 4 V3 ]" F. Q/ u! } . h, [1 W0 ]1 ~8 Q# Z " k, b# U" S7 j" L0 t
$ S8 T# U2 g1 G3 ?, h5 V" c: w + n* A1 \) u4 C" ~9 |8 ^5 u ) j% f% x F! ^% `/ n5 k & ]" Z2 Y/ v% ?, W$ d $ p+ t! U: S: v6 _4 M$ z% Z 03网络指数
3 |0 t/ |$ p# J2 I 2 A. o$ Q* F4 h* W( w5 Q+ I0 f ; k* b0 {4 x6 i q3 Y: U. S. ^ 4 g/ }6 ?4 E3 S& K0 P. T
3 i8 U G1 m2 L; _ : B( o8 `! s6 o / S6 b4 V0 s: I( i, e/ S9 | j, S2 {! m+ m& {* a % n: E0 `; U6 F$ d6 I/ R- G, { # V) Y# Z7 `! c' H2 e － 阿里指数 －/ _( ], e4 m! p4 y! r ; N+ W! p R- }5 l7 J0 d& S
0 a8 l5 v+ F- v2 ]+ U
9 L4 _6 n. E; V1 L1 U - O, t2 v" T% V6 ?0 M" B) q9 O http://www.iresearch.com.cn/ 艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。 8 j" G, \9 l2 a * t$ H+ x5 O4 u! R % O5 D$ B# A3 \" @/ b! W* Z& Z* a * [! Z0 M- l) q: a& i) Z8 n7 S4 J
. x& m0 f/ v( D, K , f4 y* s, u3 q8 ^ / S- Q9 o7 S0 K3 |! |! I 1 z6 V, ] ]+ O( ^1 W ' {7 G7 N, W, ~, I( q6 x. S " _/ s8 `+ X- h% X4 V/ A2 h& X& _' t － 爱奇艺指数 －' {: D% A( X5 X8 u 6 o7 D, i) r" e3 f0 J! J
- t& |1 p3 C4 t6 F2 b H- N9 g- b& j; { U: Z& v 爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。 7 w" ]$ a. w- A4 E5 S& a% g# Z2 s . j1 t+ r" J i# \! ^ $ z5 V. o9 Y* D: A, B" ~. K$ k; j － 猫眼专业版－( C0 e0 F/ A% z: D 3 ^! x) d6 [8 v: v
$ O# ?' @7 a3 r, S$ F s# ^& d; \3 _2 W+ ~) S 5 \0 D2 W; k5 |9 T$ H9 B) ? 8 H( ]: O# e. j' Z + [: t4 Z$ }, B9 B4 H0 h( ~ 04网络采集器
$ R m0 o7 ` I 网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。7 u# ?& x3 |; s/ z' d) s& D' n! c $ l( B& G9 s8 C/ x0 i8 r' [ 8 v8 g$ `# J/ F2 N$ o7 ]: G: w － 火车采集器 －5 v0 P/ V) A* n' H2 V
; N b* i$ T [) B0 R) Z* u ) J! n$ y# P% L1 h. Q, o 一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全，支持的扩展比较好用，懂代码的话，可以使用PHP或C#开发任意功能的扩展。 * l* y$ K) Q2 Z7 o* m ) U! B- p5 o$ \0 H8 F- E' n # Y, P( X0 x8 k! @2 z " P; }; l+ c& q8 C9 C! ]; X X& Y ( [* k7 ]; g; ^1 S& x& M
/ R. |" U! X$ m 简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。 * R6 m3 [6 Z) i4 M% k . _2 S2 G$ [6 J * V' |. x7 ^5 h8 s' d e: m! N4 f8 `$ z0 F! x/ ?. o7 D Q! n" E3 N' N* v' z
! k! H7 ^7 Z5 a( M # p2 l. L4 n" S. u1 O2 W) E 一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。! R& D; F3 z1 S! d5 A- R9 k0 Z . T& ]3 \/ u. b9 ~7 _/ ? 5 H' m% t+ y( r3 a0 A4 \% t8 r7 ^" o! @ 05网络爬虫
' m% j1 Y# l* V6 M* Q 作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。
) L- n/ T0 F8 L0 t3 M; a- w / h( G5 E; |: {( {. z4 w+ X : a7 Z$ \" X; } ; S( O4 C2 |# v8 q" X
4 r( J& u' b$ F8 A) b; E , X& E0 P9 D* O/ B( F & I" a/ {+ U3 D- p8 X2 R ' W& W+ r" f2 c) J. l* G* ~ " e( l* ?( }0 [' K5 | / \3 C; d0 C, `2 y 我们总是想快速地去搜集高质量的网络资源，但是人工查找比对实在太麻烦，利用爬虫你就可以轻松解决。比如爬取知乎点赞最多的文章列表，爬取网易云音乐评论最多的音乐，爬取豆瓣网高评分的电影或图书……总之，你可以从此拒绝平庸。 # [& F8 u: `0 p e& T ' ^; U0 r7 x4 ~' O － 利用爬虫获取舆情数据 －5 Z$ \' Q6 c+ W7 A 0 m$ d1 _/ g: b
6 C2 k4 I/ \6 c0 S* R ; \( t2 v! p r- s, Q( L 爬取的某招聘网站职位信息& u/ D: V$ `! X. g ' R+ ~# ~- H3 M* {7 w y% }; c6 d
% z" a# q9 i5 } ' l! A% o1 H( {$ t% `/ e 比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。- W$ O6 i9 H$ {% J ( M4 w; p+ c* v& l 06小工具－
8 V- P- [4 |! S2 ^% m/ L+ o( W Web Plot Digitizer －! C% k3 w G& K6 c 0 D! C) x8 n1 o+ u2 t+ |5 S, C
: S0 e8 F7 f% }2 L3 H & v" y: I# I+ i3 q + q3 G& p( g* M: o $ T2 ~: W" U7 U- w
, X" P) z9 l7 j; G+ o) x* o + T. Z/ |, h( h2 ?) o7 {' t * c( `% _+ D @* \1 @1 L) K . L# U6 G5 N$ j# O# |- ~ : F$ _1 \( S$ o" V' @+ W! e
8 `, x3 E( N: x1 J: G ! K2 W" ]7 o9 p& v1 j 9 t# n/ i& `2 y# @% T . V3 S% ~) p. r1 N P3 C% Z 当然并不推荐用这个作为量化分析的依赖，对于定性的分析，做ppt级的数据统计分析就足够了。 # E3 ]! ~( c! E$ ?" j5 o- Q * v; |! V# K% b% } 6 B- w/ o- d& u / T: I9 n# {+ [$ L% ?
9 N9 ]% a; u I, C( q; F! Q8 L, r9 T $ P. D* o3 g; J' W6 M 这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。! z, s8 i; m. y7 V9 ?' z D; Y ) ~$ r+ d/ K W) D! p* X L
1 v( ?1 P8 S6 B+ d2 T7 M 7 O* \5 m8 ?0 R. @9 d 下载优酷视频 1 x, l1 M1 ~7 L a* Y6 k9 s ) y( _3 \8 o# q# F# c% y
7 }0 \8 H7 x" r w- L2 w 7 M5 T. f5 x. }: H, E/ S * y9 e0 ~) l2 l+ Q( Q3 Z + M; t4 d2 G8 a! Z. j 当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。! q# f' ^$ e% v7 x$ L& r3 m3 m" ? 8 L* Y0 A4 S' |' Q) v5 x ) q3 \) w/ C4 x) |9 b& y% g 作者：头条号 / 数据观! e: r* G4 ~$ U6 B" z ) R) f: m* k) R0 [6 X0 B 4 w, j/ H) j. c& E' w, h 彩蛋 % j* `+ b, E; L' N 2016国赛备战群组：http://www.madio.net/group-1899-1.html 3 {# q6 ^# _4 T) e. w. B 2016研赛备战群组：http://www.madio.net/group-1901-1.html * Q2 S# X+ v3 L. V8 H 加入国赛研赛备战群组可以和坛友在线聊天 互换资料 是不需要体力的哦（点击申请 无需审核 学号随便填） ! Q- H: _2 U- X1 a 具体方式可参照 --国赛资料免体力下载秘籍：http://www.madio.net/thread-282932-1-1.html 8 |% _) T& y; r ! O# y( X! {: H 3 S3 J$ y9 V0 E" ^6 s- a3 }
zan
[复制链接]
IP卡
狗仔卡
发表于 2016-8-2 10:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
发表于 2016-8-2 11:39
