在线时间 677 小时 最后登录 2021-3-24 注册时间 2015-11-19 听众数 142 收听数 1 能力 140 分 体力 13629 点 威望 11 点 阅读权限 200 积分 9762 相册 0 日志 0 记录 0 帖子 3541 主题 2983 精华 95 分享 0 好友 404
升级 95.24%
TA的每日心情 开心
签到天数: 272 天
[LV.8]以坛为家I
自我介绍 吃吃吃
群组 : 乐考无忧
群组 : 2014国赛优秀论文解析
群组 : 2016美赛冲刺培训
群组 : 2016国赛优秀论文解析
群组 : 2016国赛备战群组
本帖最后由 吃苹果的梨 于 2016-8-12 14:37 编辑 / J9 _1 ~) R2 U* d& E* G' r u , q8 V8 V4 n) H ; N, S" J& S: W% Q3 O! p. R. U " `9 p/ c! h- ~9 | ) j$ ~* `; Q y( @* N- t; n2 r. V1 _ $ x4 ?9 U) I$ J$ F7 T8 T" x) n . j2 u" I$ i+ z. `6 L 对于参加建模比赛来说，收据数据是很重要的一项任务，甚至直接决定了论文能不能进行下去，下面罗列了基本上所有的收集信息的网站方式。在比赛期间对于参赛的同学有至关重要的作用，强烈建议收藏！！！！！！！！！！！！！！！！ d% ]/ M7 L8 T3 K7 D! L5 B9 S 网址链接回复可见 欢迎大家踊跃讨论 + R5 x. S! P% g7 p, I# f 1 L- o C( D% b, \+ u! o 01公开的数据库－
. u/ R2 u' Y; H1 [9 C 0 x/ o6 M5 Z- R9 r: g% X, g0 `, J7 o & r( H/ J# T( r0 \5 d* r5 [
/ n; g }9 } j q: [7 G 3 Y* K; g7 j2 @6 P 数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。－$ S+ A9 @0 V; M9 B! G) P5 \ ) A3 r: ~& G' |9 [0 [ 6 P) l9 I5 r5 O1 ]: R
( T t# R& t' \ ! W( p5 H- W+ L+ z 最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。 ' f" m+ V$ U2 q2 A ( @ O$ }& }7 u2 O, q # A2 l1 l5 K. p c, j8 l% c
( F: T d* M: V4 d, S 4 c- W4 P, F+ V% G r/ r: z. T+ ] ; x% {; d% @- [( `# ~% U H8 {, }( y" f/ C( ^ 4 r: d0 x; k$ K
% P- ?! P1 `9 u7 N% F, Q ) T3 l' I4 G4 s3 T# g3 f4 r 已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。5 V8 h: {: o2 x7 u* l- v 1 E, f3 g# M2 R& {+ g1 }6 T － 中国统计信息网 － 4 i# c/ V; f( c. B/ M# D% m
2 U5 d, m/ G! `: Y" H 国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。) T X" G+ T* G . M, Z' Z8 Y' w # d3 `/ l) O/ t4 M3 B: l * C. \2 x# b S# h% |4 |2 x
: E# G* j. B. ?0 D 9 I2 t% a0 i" m 0 w$ r8 Q; A0 f( y% A 1 X! U) e; n8 z, F" p: b/ U － figshare －
2 B# f, C- s3 \! M% v* E * P: _3 q: _: d. W9 ^9 H - c+ F. q8 j0 I7 u! D7 g9 d' b( r 0 I+ a2 \8 j5 Z+ N8 J' r # _$ _& v$ i0 ^1 O i
! m$ _( j3 B* ]; s/ b4 N " t3 V9 X5 z T 0301/awesome-public-datasets如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。随便上几个图，满满的都是资源啊！ ' C7 [$ v/ R# Y, b' U) Y 7 u2 t( x, |( F6 z 7 j( W( R" Y) y" \2 `- {
: I2 X7 Z* D- ^ s3 @' ?0 y# z6 I
: y7 J0 ^: _8 }" X m+ ^4 q , b' Q8 M0 V3 `, ?2 l8 ]5 I5 j2 R 3 c$ j9 R* _$ M 02数据交易平台
" u* M5 x/ a. K# W: W) A3 t* C y! v/ o- [! ~& R- L2 g
1 b6 S! b6 L5 R. K8 q - b. }& p1 {* D+ D9 w: R9 g% A8 ? : @ p% A4 [6 w: x4 p, k 由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。－ 7 j/ o" v$ }: { 7 }# ?! x- D. z9 y ; {+ V' Z( j: b: X4 h 数据堂 －/ C5 p9 f6 V4 B1 }
. o9 _! m6 _: V ; N1 e: s9 h% S% A5 f 专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。! j' W3 F/ h) q0 ~ 9 p" m6 ?' l+ N9 G0 a2 } " L+ U6 Z T; f5 W/ T 03网络指数
' G; G$ H6 G0 f) x* X4 w4 J, V2 r- b + [8 s% J8 ^" f4 h0 L9 l$ ?+ ^ & G, E) P+ M' x . H, l* E$ p5 `; u; u7 z: p4 \
# T7 u- p( V/ ~, v. Y * Q \: q+ g2 f3 l6 @ 7 a4 o% Q' x* s! n% H5 v( d9 v 2 U5 D. ]& t$ e7 q ^; L 6 M9 ]6 r# R& y4 |7 V% ?) }2 q 7 n5 o- \$ {- X8 ] / |8 i! n9 B3 i3 }/ r $ G4 k7 `6 `6 E8 j% j* W- q
/ O$ D4 j e" e) C% `* Z
8 f, d. l+ o+ o% s, e/ H/ q5 p) Q 8 Z6 o' W. y( i. T! K 国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小。－ 艾瑞咨询 －http://www.iresearch.com.cn/ 艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。 : a: I) h$ ~3 Q6 V0 D3 \) s. J8 j 2 r6 s- s7 u8 b8 d7 M $ W8 e% x7 u/ u% @. f 1 b* R% ]5 z% w3 P, V& a
7 [1 a l5 C# S& c" A 8 [7 H7 |1 e) ?4 j- P $ @- N; w+ l( `' b5 \3 v% Z3 ~. ]# y 友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。 ( _( j) X* f! u/ z4 K( p ' d% k6 S$ W' T- K; h# z4 z 7 x0 z5 i, G" \5 \ 7 U: A" X j4 B$ e" f 6 L+ ^ Z6 U1 I. X
3 m" R# a+ y3 g+ o' o; [ 6 X" p2 q I+ I4 t3 T! Q 4 I0 g# k: L( n* n; d; R+ X9 G 5 b( a7 P) I/ w7 Q% ^ % H, v: K) P7 D$ o0 P Z$ E/ w ( l3 R8 |# }7 ^, G # ]& A4 [. ?5 I8 t$ ]8 {
, \ J, R, X M$ F 2 F5 j' s$ u& X" E- q 2 {0 P" E1 Q- J i5 b 电影票房统计分析平台，猫眼专业版有实时的票房统计，影片的排盘情况、上座率和影院数据，对于当前电影的分析是必不可少的。. j) R# I; Z& L 2 a9 U$ q% D$ m' ?6 S, ~ 04网络采集器
; \! `; b( O+ U+ R 网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。! ?! Q$ h0 @: A; U7 \ 5 V3 y8 }( x( B" i5 c5 a / o. L& X! ]& R' y# B: { , Z0 v" T' G2 k: g* r; I; x
, E* d5 H5 `0 K, O3 P! o0 a ( c# P0 _6 N6 S, }1 t E. l) x8 J0 z 2 [( a! L1 S% H* E1 w* c, f+ H － 八爪鱼 －4 S J4 d8 m; C5 X- ]! d9 p ! ]$ b( D0 l% A# z. C2 n# n . H. `+ y D$ U# Y
% b2 g0 C- M( |, L + o4 B0 B& z9 |0 T2 M, ]& }: O: o! V # Z) } V( s& }( R/ u 7 I) Q, N, d4 h 2 O6 l$ ^+ b. T' I" H2 m9 K ' o- d8 M2 R$ e/ Y
2 j9 ^, K9 O7 A+ Q # {8 {+ P9 s0 a2 M' }5 N) t 一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。9 _% t$ o9 |9 P4 C( @ 1 s6 m. C( V' v; A " B3 ?) ` K" a7 _' \2 }' } 05网络爬虫
% `% t. g9 H# H: ^: S0 Y. Q8 i 作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。
2 B3 u6 `, [' J9 _1 N 3 F! x) z* H$ l) Y6 N. p( W5 Q9 l # P- ^* a' d, ^$ D' r , O7 |7 s2 L& ]* y
) ^- x& s, G- v$ C 5 |4 S( C4 I% T8 m4 l: v2 v + v- |' M8 U2 {1 N: N" A* e 0 D) q3 g3 c: e% | － 利用爬虫爬取高质量资源 －爬取的音乐资源+ z: p. ?' S& a0 X3 G 2 w& s: B/ D# T6 h3 j' s9 \ 我们总是想快速地去搜集高质量的网络资源，但是人工查找比对实在太麻烦，利用爬虫你就可以轻松解决。比如爬取知乎点赞最多的文章列表，爬取网易云音乐评论最多的音乐，爬取豆瓣网高评分的电影或图书……总之，你可以从此拒绝平庸。 * P' X; D& K' e: G5 y 8 n6 o* J S& c2 s + T; D9 s- Y% Q2 h2 W 2 @9 j1 @$ m4 z- R2 f E' B8 }
" A$ ?9 P; f" z% w+ V- a. ~ + J- I9 P& y4 K/ G 爬取的某招聘网站职位信息1 [9 k; Q/ D4 V q6 x$ b( e3 S 4 `7 r" O, S" U- e1 W
: I/ c. I5 ^. j- A ' p: N. }/ l8 A' o% T7 g: o' B 比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。8 u9 v2 B0 M; i" E; Z! t v0 n- F5 i g7 Q! ? S 06小工具－
# J3 K; e1 z" f# u8 A1 P8 H " j- `8 E& t/ y# u6 V2 A ; b5 ]5 t! k5 O/ }8 x
, P' _7 I' O+ |3 _5 T( `- b1 Z / A! _- Z$ m1 R1 w) c/ m% O) i # ]. ^' [$ Q1 H! z 7 d5 S: u# i7 n: n" Q0 x
) {* t- H4 M7 G / J9 V- g; ]& X - }# H. g9 E8 t7 X4 P+ n : q! b" N3 i8 y# n/ r5 o 4 Y/ f, I" R: Y1 ~
# j* J1 z! F& W" @2 S& @. ^ 6 D. q U; x! Z1 p ( X& ~7 ?3 g, ?- r5 Q - I: D( B& T- c- y 9 J9 \. F0 A* J+ D : H" ^* O* V7 i. G3 C8 ] ; J2 `6 E+ F+ l( O $ T K0 s) R( L" n0 `2 w1 r8 }: v
4 Z) o9 \0 X! {5 y' D' y$ o4 D r& T9 ~) n% E. x' d8 }: x1 C( ]4 x# D 这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。' K+ c4 L& C# h7 @6 z! s% m0 U 1 g" ^; u( [% p" U$ Q, t- x
$ o( c: ~0 b& Y9 s* N3 d5 m ( \# U( l5 V7 U, o2 ^1 G; Z 下载优酷视频 7 d8 D9 h6 O' d7 S1 N / v% y7 M8 @. e" U+ G! _2 W
* {9 b0 f4 T0 l: J5 _5 E+ ]; D, k 2 T7 W0 U5 x8 y( d8 U* b 0 B0 {; m2 b9 H% t- D& l& d) g/ h / B1 g* ?; z( D/ G 当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。, A3 y7 M, F& U0 ` + B! N0 \ d$ M, A! S % `3 b, t; j q( Y/ O" s 作者：头条号 / 数据观; F$ K7 `5 C& u5 H& ^& V) @4 P B( I0 a$ e o- c' M# _ 3 r3 j' p5 t1 c- r6 S 彩蛋 }# {; K* z4 ~) F3 h3 H* G 2016国赛备战群组：http://www.madio.net/group-1899-1.html & y+ _ f5 z E- n9 ^ 2016研赛备战群组：http://www.madio.net/group-1901-1.html - [* Q7 F$ V2 L8 N6 z, n 加入国赛研赛备战群组可以和坛友在线聊天 互换资料 是不需要体力的哦（点击申请 无需审核 学号随便填） 7 A! O& c# B' @ `* p 具体方式可参照 --国赛资料免体力下载秘籍：http://www.madio.net/thread-282932-1-1.html & Z/ K2 i- Q. n$ K. I' a , n7 w% V; B) W8 G+ l + _+ Z' v% n5 C$ K% {
zan
[复制链接]
IP卡
狗仔卡
发表于 2016-8-2 10:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
发表于 2016-8-2 11:39
