数学建模社区-数学中国

标题: 大数据对数学建模人带来的际遇和挑战 [打印本页]

作者: 厚积薄发 时间: 2013-8-11 10:47
标题: 大数据对数学建模人带来的际遇和挑战

大数据对数学建模人带来的际遇和挑战

作者：占冰强转载请注明来源“数学中国”

   休假1个多月了，很长时间没写文章和大家分享了，趁着近期还在休假有时间，写一篇文章吧，也是在看完《大数据时代》后自己的一点启发，这些启发均是机遇很多公司的发展案例的，具有很高的借鉴性。

   原本计划将该思路用于大数据创业项目，无意间发现其对数学建模行业的发展会起到很大的促进作用，故而在此跟各位数模行业人士、数模爱好者予以分享，也希望大家能够发表自己的观点，共同碰撞提高。

   【数学建模将是大数据时代的动力？ http://www.madio.net/thread-181840-1-1.html  】这篇文章是我很早以前写的，思路比较独特，是从数模人的角度思考的，推荐大家看一看。这次探讨，我将从大数据时代给数模行业带来的机遇和挑战。

首先，谈谈机遇：

   大数据行业的现状：对大数据复合型人才需求很大，这种人需要具备的能力是技术能力、市场分析能力、数据分析能力，但是现阶段大数据人才十分匮乏。同时具备这三者能力的人才只有公司的总经理，然而具备这三种能力的潜在人才是数模人才，故而数模人能够通过必要的训练成为大数据人才，从而在数据分析、数学建模的道路上驰骋。

下面来谈一谈数模人如何成为大数据人才：

1、技术能力

   现阶段大数据处理均使用hadoop技术（阿里巴巴、盛大、腾讯、百度等均使用该技术，因为其强大的并行数据存贮和处理能力），而非我们通常熟悉的SAS（因为其比较倾向于数据处理层，不能解决现阶段的并行处理的难题，也就是用并行计算代替超级计算机的难题）。hadoop技术的出现使得基于x86的计算机集群处理TB级乃至更大数据成为了可能，这就解决了没有超级计算机（比如天河之类的）的资源难题——实现了用普通计算机集群就可以进行TB级数据处理的资源难题。

该技术是革命性的，主要有三点：

（1）让数据处理从抽样样本处理走向了全部样本处理；（2）从追求精准走向了追求效率；（3）从追求因果关系走向了追求相关关系（比如啤酒和尿布的故事）。

启发：数模人目前面临的困境是没有经验，主要原因为时间、空间成本原因。hadoop技术的出现使得实践成本降低，从而为数模人实践提供了机遇，下面就看大家是否能够抓得住。

目前据调查，大数据行业人才的薪资均在年薪15-50W之间。此外，还有很多人利用大数据技术创业，比如孔明科技、皮皮数据挖掘等社会化媒体营销，就是充分利用大数据技术、数据分析技术、市场分析技术、竞争分析技术、舆情分析技术等挖掘目标客户。

2、市场分析能力

   这块我不做过多的解释，这块的主要目的是为了发现目标客户。比如，孔明科技社会化营销平台，通过微信、微博、人人公共主页等社交化媒体平台获得数据源，然后为企业提供数据分析解决方案，从而让企业明确自己该重点关注哪些客户、重点关注哪些竞争对手、重点关注哪些营销内容等等。

比较风趣的是，孔明科技团队虽是做营销的团队，然而所有人员均是技术人才，跟数模人很像啊。

启示：大数据未来将会革新各个行业的渠道，从而使得营销可以流程化、技术化处理，而我们数模人的机遇就在此。

3、数据分析能力

可能说道这个，大家都比较熟悉，然而就业后使用的时候就感觉很陌生了，主要原因是什么？数模人重理论的通病。目前大数据中的数据分析主要基于hdfs文件系统（hadoop技术的文件系统），利用mapreduce技术对hdfs抽象出的数据集进行处理。现阶段，该方面需要能够将数据分析转化为hadoop平台上实实在在应用的人，从而实现智能化操作。

启示：数模人如何学会hadoop技术，加上数据分析和数学建模能力，将会是抢手人才。如果你有这方面能力或者案例，我可以帮你推荐工作，年薪在20W+。

通过以上三个方面的总结，大数据时代的机遇有：hadoop运维人才、hadoop数据分析应用人才、大数据创业人才（因为大虎山局会发现新的关系，从而催生了新的商机，只要留心就会发现）。但是，hadoop只是一个阶段性产物，大数据技术一直在革新，假如某一天超级计算机进入了大家的生活，那么hadoop技术可能就会随之消失，那个时候或许sas就会派上用场了（今年有个数据，sas软件的全球使用排行很靠前）

其次，谈谈挑战

大数据时代带来了机遇，同时也带来了挑战，该行业会逐渐吞噬数学建模行业，逐步将数学建模行业划归为数据分析行业，这是很可悲的。如果数模人不能行动起来，抓住这一机遇，可能未来将会被视为鸡肋行业，如果破局还要数模人共同努力，共同创造美好的明天。

最后，祝每个人都能够利用数学建模建立自己的核心竞争力，从而取得美好的职业生涯。本文写的比较仓促，很多地方构思不是很到位，大家有什么不懂的，可以回帖。如果有新的观点或者创业项目需要跟我探讨，可以邮箱联系：bingqiang-2008@163.com（邮件主题说明来信原因）微信：madiobruce。

数学中国总策划：占冰强

2013.08.11

补充：如果你有所启发的话，也可以作为国赛预测的，尤其是社会化媒体营销这块。

作者: 吴卓然 时间: 2013-8-11 10:50
顶，讲的确实不错，顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶

作者: darker50 时间: 2013-8-11 10:58
大数据带来更多的挑战，数模人保持的一直学习的心态，跟紧时代的步伐，这个时代就是大家表现的舞台，加油，数模爱好者。

作者: fshxmb1991 时间: 2013-8-11 11:04
嗯，现在面临的正是大数据时代，对于我们学习数模的人，更要抓紧这个机遇，好好努力

作者: 大笨象 时间: 2013-8-11 11:06
大数据，首先还是有足够的数据，并且能从数据中挖掘出有价值的信息。

作者: 大笨象 时间: 2013-8-11 11:07
大数据，首先还是有足够的数据，并且能从数据中挖掘出有价值的信息。

作者: 厚积薄发 时间: 2013-8-11 11:08

大笨象发表于 2013-8-11 11:07
大数据，首先还是有足够的数据，并且能从数据中挖掘出有价值的信息。

嗯，数据来源可以从各大社交化媒体平台，比如微博、人人主页等，他们均有提供数据接口，其中的孔明科技就是一个案例

作者: 沁路墨彦 时间: 2013-8-11 11:10
现在还没有成型的产品，没有具体方向呀！或许这是所谓的机遇呢，加油，数模人！

作者: 林彬 时间: 2013-8-11 11:18
在这个信息化的社会，数据处理显得越来越重要啊

作者: jh835839851 时间: 2013-8-11 11:18
还行吧

作者: 2576895690 时间: 2013-8-11 11:19
原来一直认为SAS很厉害，也一直在寻求能够并行处理数据的机器或者算法，看过量子并行等等，都觉得很遥远，，，看过这篇文章，，突然感觉我们又在远远的跟在别人后面吃灰尘了，，文章写的很好，很是振奋人心，，看来我们要更加的努力奋斗了，，，，，

作者: gaopengxiang 时间: 2013-8-11 11:20
作为建模人的我们，一定要加油！

作者: 郑杰 时间: 2013-8-11 11:23
我昨天才看完大数据时代，感慨颇深，对于中国大数据未来，我表示非常有信心，作为一个大学生，我们得抓住社会发展趋势，才能做好创业，谢谢老师分享

作者: 正弦曲线 时间: 2013-8-11 11:54

作者: 我一直都在 时间: 2013-8-11 11:58
越发感觉数模可以没有深厚的数学理论基础，需要深厚的计算机处理能力啊

作者: magic2728 时间: 2013-8-11 12:05
想问下占老师，您之前说的从我要什么到我给什么的这个转变具体是什么意思？

作者: 奉承天君1314 时间: 2013-8-11 13:25
说的在理。。。。。。

作者: 萤火之墓 时间: 2013-8-11 14:14
不错不错，但是好难学啊

作者: 走一回 时间: 2013-8-11 15:28

，不错啦。。。。。。。。。。。

作者: 月弦 时间: 2013-8-11 16:17
不错哈！加油哈！继续

作者: 7780923 时间: 2013-8-11 16:25
加群：117810476

作者: nirong007 时间: 2013-8-11 17:16

对数模和大数据一直很感兴趣！

作者: 瀚海一子 时间: 2013-8-11 17:19
我觉得这是迟早的事，没有那么有牛写的那么清楚，阅历太少啊。。。。。。。

作者: yufeiyang 时间: 2013-8-12 08:06

作者: ImRex 时间: 2013-8-12 15:19
讲的挺好的

作者: 实干家 时间: 2013-8-12 20:10
嗯嗯，我们要努力！！！不进则退！

作者: birdxiaoqing 时间: 2013-8-15 11:02
楼主能不能给hadoop技术初学者的一点建议，比如书籍介绍之类的？

作者: wolaizhaoni 时间: 2013-8-16 16:20
大数据，我喜欢！

作者: q3038488 时间: 2013-8-17 16:33
顶顶顶顶顶顶

作者: 捷11报 时间: 2013-8-24 22:53
大数据时代是未来社会的趋势希望能在大数据时代中实现自己的价值

作者: 原始戏码 时间: 2013-8-26 00:03
谢谢分享`~~~~~~~~

作者: jiajinshan110 时间: 2013-8-26 08:30
写得好啊~！！！！！

作者: 洛宇 时间: 2013-9-5 08:11
赞一个。。。。。。。。。。。。

作者: 尘缘此间 时间: 2013-9-10 23:40
楼主辛苦了

作者: yangyuhonglirui 时间: 2013-9-23 08:47
写得好，顶起！！！顶起

作者: 小智 时间: 2013-10-10 23:10
学习了，长路漫漫，还有待努力

作者: 苍松绿竹 时间: 2013-11-2 11:40
顶~~~~~~~~~~~~

作者: 松轩 时间: 2013-11-14 23:02
大数据带来更多的挑战，数模人保持的一直学习的心态，跟紧时代的步伐，这个时代就是大家表现的舞台，加油，数模爱好者。

作者: 苍松绿竹 时间: 2013-11-16 10:14
不错

作者: autum 时间: 2013-12-17 23:30
大数据的时代。

作者: autum 时间: 2013-12-17 23:30
顶顶顶顶顶顶顶顶顶顶顶顶。

作者: 追日赶月 时间: 2014-1-23 00:26
大数据现在很厉害呀

作者: chencr 时间: 2014-1-26 15:51
嗯嗯，非常不错

作者: 绿施 时间: 2014-1-26 21:36
大数据。。这个词是真火！

作者: 蟹黄不爱吃虾米 时间: 2014-1-26 23:07
帅气，正往这个方向研究，最近在看相关论文

作者: 行万里路 时间: 2014-1-31 11:39
开阔了眼界，一直想往这方面发展。

作者: 1182708927 时间: 2014-2-16 20:48
顶一个，讲得不错

作者: 稻--草 时间: 2014-2-25 21:56

作者: Terry·Biao 时间: 2014-2-26 14:36
顶一下！！！

作者: 瑶仔爱小婧 时间: 2014-2-28 21:48
说的在理，不过掌握这些可不是一个简单的事

作者: 张银银 时间: 2014-3-19 00:16
早就关注这个问题了，但是今天才看到这篇文章，呵呵，版主写的很好，大家要努力了，加油！

作者: 雷.孙元涛 时间: 2014-4-15 17:12
我觉得婚恋网站真该好好研究大数据，某天上着上网，婚恋网站就把自己最中意的那位送到面前了。不是不可能。

作者: 山林隐逸 时间: 2014-4-27 20:52
大数据开发确实具有诱人的前景，大家一起加油！！

作者: 奴家的伊佐那社 时间: 2014-8-14 10:08
真好，好好努力

作者: a499394073 时间: 2014-8-28 16:27
good^^^^^^^^^^^^^^^66

作者: 马克西姆 时间: 2015-1-7 12:06
感觉很不错，但我才刚开始学数模，了解不是很多，看了这个文章，感觉屌屌的

作者: zz玉鼎天下 时间: 2015-4-16 09:28
不错呀。。。。。。。。。。。。。。。

作者: student_yjy 时间: 2015-6-14 23:15
不错

作者: student_yjy 时间: 2015-6-14 23:19
由图更高更远

作者: student_yjy 时间: 2015-6-14 23:20
h44h5hh656h

作者: 孙小慧 时间: 2015-8-1 22:34
总觉得这次国赛会考到大数据分析……

作者: 紫夜Emperor 时间: 2015-8-18 10:44
说的不错啊！！

作者: gwc1995824 时间: 2015-9-6 10:28
赞。。。。。。。。。。。

作者: 换个想法 时间: 2016-5-14 20:31
大数据大发展

作者: hxsjj 时间: 2017-5-29 07:35
有启发，说到数模人的前程与担忧。

作者: 张凯亚 时间: 2017-12-23 11:27
好厉害呀！我要加油啦！

作者: 164433723 时间: 2019-7-19 16:44
这块我不做过多的解释，这块的主要目的是为了发现目标客户。比如，孔明科技社会化营销平台，通过微信、微博、人人公共主页等社交化媒体平台获得数据源，

作者: byjdkazbbyry 时间: 2020-3-3 15:23
发表回复感谢分享

欢迎光临数学建模社区-数学中国 (http://www.madio.net/)