查看: 28612|回复: 67

大数据对数学建模人带来的际遇和挑战

字体大小: 正常放大

1341 主题	736 听众	2万积分

数学中国总编辑

TA的每日心情

	衰 2016-11-18 10:46

签到天数: 206 天

[LV.7]常住居民III

超级版主

群组: 2011年第一期数学建模

群组: 第一期sas基础实训课堂

群组: 第二届数模基础实训

群组: 2012第二期MCM/ICM优秀

群组: MCM优秀论文解析专题

发表于 2013-8-11 10:47 |显示全部楼层

|招呼Ta 关注Ta |邮箱已经成功绑定

大数据对数学建模人带来的际遇和挑战

作者：占冰强转载请注明来源“数学中国”

   休假1个多月了，很长时间没写文章和大家分享了，趁着近期还在休假有时间，写一篇文章吧，也是在看完《大数据时代》后自己的一点启发，这些启发均是机遇很多公司的发展案例的，具有很高的借鉴性。

   原本计划将该思路用于大数据创业项目，无意间发现其对数学建模行业的发展会起到很大的促进作用，故而在此跟各位数模行业人士、数模爱好者予以分享，也希望大家能够发表自己的观点，共同碰撞提高。

   【数学建模将是大数据时代的动力？ http://www.madio.net/thread-181840-1-1.html  】这篇文章是我很早以前写的，思路比较独特，是从数模人的角度思考的，推荐大家看一看。这次探讨，我将从大数据时代给数模行业带来的机遇和挑战。

首先，谈谈机遇：

   大数据行业的现状：对大数据复合型人才需求很大，这种人需要具备的能力是技术能力、市场分析能力、数据分析能力，但是现阶段大数据人才十分匮乏。同时具备这三者能力的人才只有公司的总经理，然而具备这三种能力的潜在人才是数模人才，故而数模人能够通过必要的训练成为大数据人才，从而在数据分析、数学建模的道路上驰骋。

下面来谈一谈数模人如何成为大数据人才：

1、技术能力

   现阶段大数据处理均使用hadoop技术（阿里巴巴、盛大、腾讯、百度等均使用该技术，因为其强大的并行数据存贮和处理能力），而非我们通常熟悉的SAS（因为其比较倾向于数据处理层，不能解决现阶段的并行处理的难题，也就是用并行计算代替超级计算机的难题）。hadoop技术的出现使得基于x86的计算机集群处理TB级乃至更大数据成为了可能，这就解决了没有超级计算机（比如天河之类的）的资源难题——实现了用普通计算机集群就可以进行TB级数据处理的资源难题。

该技术是革命性的，主要有三点：

（1）让数据处理从抽样样本处理走向了全部样本处理；（2）从追求精准走向了追求效率；（3）从追求因果关系走向了追求相关关系（比如啤酒和尿布的故事）。

启发：数模人目前面临的困境是没有经验，主要原因为时间、空间成本原因。hadoop技术的出现使得实践成本降低，从而为数模人实践提供了机遇，下面就看大家是否能够抓得住。

目前据调查，大数据行业人才的薪资均在年薪15-50W之间。此外，还有很多人利用大数据技术创业，比如孔明科技、皮皮数据挖掘等社会化媒体营销，就是充分利用大数据技术、数据分析技术、市场分析技术、竞争分析技术、舆情分析技术等挖掘目标客户。

2、市场分析能力

   这块我不做过多的解释，这块的主要目的是为了发现目标客户。比如，孔明科技社会化营销平台，通过微信、微博、人人公共主页等社交化媒体平台获得数据源，然后为企业提供数据分析解决方案，从而让企业明确自己该重点关注哪些客户、重点关注哪些竞争对手、重点关注哪些营销内容等等。

比较风趣的是，孔明科技团队虽是做营销的团队，然而所有人员均是技术人才，跟数模人很像啊。

启示：大数据未来将会革新各个行业的渠道，从而使得营销可以流程化、技术化处理，而我们数模人的机遇就在此。

3、数据分析能力

可能说道这个，大家都比较熟悉，然而就业后使用的时候就感觉很陌生了，主要原因是什么？数模人重理论的通病。目前大数据中的数据分析主要基于hdfs文件系统（hadoop技术的文件系统），利用mapreduce技术对hdfs抽象出的数据集进行处理。现阶段，该方面需要能够将数据分析转化为hadoop平台上实实在在应用的人，从而实现智能化操作。

启示：数模人如何学会hadoop技术，加上数据分析和数学建模能力，将会是抢手人才。如果你有这方面能力或者案例，我可以帮你推荐工作，年薪在20W+。

通过以上三个方面的总结，大数据时代的机遇有：hadoop运维人才、hadoop数据分析应用人才、大数据创业人才（因为大虎山局会发现新的关系，从而催生了新的商机，只要留心就会发现）。但是，hadoop只是一个阶段性产物，大数据技术一直在革新，假如某一天超级计算机进入了大家的生活，那么hadoop技术可能就会随之消失，那个时候或许sas就会派上用场了（今年有个数据，sas软件的全球使用排行很靠前）

其次，谈谈挑战

大数据时代带来了机遇，同时也带来了挑战，该行业会逐渐吞噬数学建模行业，逐步将数学建模行业划归为数据分析行业，这是很可悲的。如果数模人不能行动起来，抓住这一机遇，可能未来将会被视为鸡肋行业，如果破局还要数模人共同努力，共同创造美好的明天。

最后，祝每个人都能够利用数学建模建立自己的核心竞争力，从而取得美好的职业生涯。本文写的比较仓促，很多地方构思不是很到位，大家有什么不懂的，可以回帖。如果有新的观点或者创业项目需要跟我探讨，可以邮箱联系：bingqiang-2008@163.com（邮件主题说明来信原因）微信：madiobruce。

数学中国总策划：占冰强

2013.08.11

补充：如果你有所启发的话，也可以作为国赛预测的，尤其是社会化媒体营销这块。