数学建模社区-数学中国

标题: 【5.20】数据分析师在物联网的哪个环节？ [打印本页]

作者: 西北狼666 时间: 2016-5-20 17:12
标题: 【5.20】数据分析师在物联网的哪个环节？
摘要：2005年，国际电信联盟的一份报告中描绘了“物联网”时代的图景：当司机出现操作失误时汽车会自动报警；公文包会提醒主人忘带了什么东西；衣服会“告诉”洗衣机对颜色和水温的要求等等。这么美好的图景里面，我们学过统计、用R用SAS跑模型、努力学习Python、平凡又伟大、美丽又善良的数据分析师，主要参与哪个环节？

不是部署报警器，也不是研发智能洗衣机，本质上就是跟你白天刚刚做的工作：整理、分析、建模、预测。在物联网中数据分析师扮演者什么样的角色呢？

物联网(Internet of Things)用最简单的一句话就是各种感知器的广泛应用，具体来说，要实现“物-物互联”，主要分三个层次：

(1)感知层：由各种传感器以及传感器网关构成，包括二氧化碳浓度传感器、温度传感器、湿度传感器、二维码标签、RFID 标签和读写器、摄像头、GPS等感知终端。感知层的作用相当于人的眼耳鼻喉和皮肤等神经末梢，它是物联网识别物体、采集信息的来源，其主要功能是识别物体，采集信息。

(2)网络层：由各种私有网络、互联网、有线和无线通信网、网络管理系统和云计算平台等组成，相当于人的神经中枢和大脑，负责传递和处理感知层获取的信息。

(3)应用层：物联网和用户(包括人、组织和其他系统)的接口，它与行业需求结合，利用云计算、模式识别等智能技术对数据进行处理分析。

比如，监测飞机喷气引擎中一些不易察觉的警报信号，以此来预测哪些设备需要进行维护，甚至能提前一个月预测其维护需求，预测准确率达到70%，这可以极大减少飞行延误。这也是跟我们数据分析师最相关一层。

(图片来源于盛视Maxvision)

聚焦在应用层，看数据分析师如何发挥他们的“雄才大略”：

刚刚说的飞机喷气引擎的例子，这个实际上是GE(通用电气)机器学习专家AnilVarma正在做的事情。这些传感器将温度、压力和电压等数据实时传输回GE进行分析。虽然资料中没有提及具体的算法，但数说君认为应该是：结合业务经验，构建一定的模型或者指标，监测“危险”信号，预测未来一段时间内的维护需求——一个典型的数据分析师的任务。

实际上，GE在这一块已经相当领先，涉及各个领域，比如GE与加拿大一家电力公司通过分析卫星影像、天气地图当地停电记录等数据预测树木修剪的热点地区(掉落的树枝是雷电导致停电的主要原因之一)。

GE全球董事长伊梅尔特戏言：“GE昨天还是一家制造业公司，一觉醒来已经成为一家软件和数据公司了。”

那么GE对数据人才是怎样的?数说君在GE的官网上搜集了一些人才需求，以数据科学家 Data Scientist为例，这个职位在上海：

职位：

The Data Scientist will work in the Digital Foundry addressing statistical, machine learning and data understanding problems in a commercial technology and consultancy development environment. In this role, you will contribute to the development and deployment of modern machine learning, operational research, semantic analysis, and statistical methods for finding structure in large data sets.

主要涉及机器学习、运筹学、语义分析、大数据的数据结构方法等。

要求:

Basic Qualifications:

Bachelor’s Degree in a “STEM” major (Science, Technology, Engineering, Mathematics)
Minimum 2 years analytics development in a commercial setting
Demonstrated skill in the use of one or more analytic software tools or languages (e.g., SAS, SPSS, R, Python)
Demonstrated skill at data cleansing, data quality assessment, and using analytics for data assessment
Demonstrated skill in the use of applied analytics, deive statistics, and predictive analytics on industrial datasets

简单而言就是STEM专业(科学、技术、工程、数学)的学士以上，至少2年工作经验、掌握统计软件如R、SAS、SPSS、Python，有数据清洗、数据质量评估和分析的技能，可以对工业数据进行应用分析、描述统计以及预测分析等。

我们非常熟悉的SAS公司，也在物联网上进行了布局，实际上，SAS已经推出了专门的物联网分析产品。

SAS®物联网分析(SAS® Analytics for IoT)是在SAS成熟的数据分析产品基础上组合而成的全新套装产品，成功将SAS大数据分析的核心技术应用到了物联网连接的传感器和设备上。SAS物联网分析结合了流技术、数据分析和其他领域专长，把物联网数据转化为深刻洞察。

例如SAS可向企业提供稳健的维保需求预测方案，实现当即制定个性化产品，促使企业采取具有商业价值的行动等。

SAS物联网分析可以帮助企业解读快速流转并积累的数据，协助客户根据数据信息做出正确决策。由此产生的收益，例如安全性和产品质量的提高、人身伤害的减少等，能转化为更有益的利润。制造业、能源、零售业等相关行业都可以从SAS®物联网分析中获益。

科尼集团是一家工业起重机制造商，利用SAS，他们分析设备和客户数据，以及使用情况、撞击数据，把大数据同可靠性分析与模拟相结合，提高预测能力。

另外在农业上，我们也介绍过在畜牧场、农场如何使用传感器进行监测分析的例子(Farmeron：农场主的数据分析工具;德强农场—一家国内大数据农场)。

从以上内容，我们稍稍提炼一下数据分析师在物联网大数据的实践技能：

1)语义引擎、多元数据融合技术

物联网中数据的存储方式、组织结构以及时效性呈现出多样性。我们需要一系列的工具去解析、提取、分析数据，语义引擎需要被设计成能够从“文档”中智能提取信息。

2)海量数据挖掘技术

MapReduce架构可以作为海量数据资源知识元挖掘算法的统一处理机制，在Hadoop分布式系统平台上，能够实现分类、聚类和关联知识挖掘等算法，深入数据内部，挖掘价值，这些算法不仅要处理大数据的量，也要处理大数据的速度。

3)可视化分析

近随着处理的数据量越来越大，可视化的需求越高越高。对体量大、多源的物联网数据而言，可视化呈现是一个非常重要的技能。

4)预测分析能力

预测是物联网的一个重要应用，无论是农业产量、物流，还是工业设备维护，预测效果直接显像在应用层面。

12年GE发布的报告显示，每提高1%的燃油效率，航空业每年能节省20亿美元，而能源行业则能节省40亿美元。到2020年全球工业互联网年产值将达到2250亿美元，大大超越消费物联网1700亿美元的产值。

最后，物联网是个陌生又有点熟悉的行业，对我而言更多的是一个学习的态度，非常非常希望能有这方面的专家赐文指导。

作者: 1204llp 时间: 2016-5-20 17:34
1204罗利萍+2577573201

作者: 1206张莉 时间: 2016-5-20 17:36
1206张莉1751606542 截屏_20160520_173522.png

作者: 1205黄丹 时间: 2016-5-20 17:52
1205黄丹792457810

Screenshot_2016-05-20-17-53-09_com.tencent.mm.png (559.34 KB, 下载次数: 133)

Screenshot_2016-05-20-17-53-09_com.tencent.mm.png

作者: 1557575148 时间: 2016-5-20 18:00
1215韩金辉 1557575148
Screenshot_2016-05-20-18-00-14_com.tencent.mm.png

作者: 550389252 时间: 2016-5-20 18:16
1206彭陈平550389252

image.png (925.97 KB, 下载次数: 188)

作者: 1205毛林梦 时间: 2016-5-20 18:18
1205毛林梦771057736

作者: 0103冯凡 时间: 2016-5-20 18:19
0103冯凡扣扣545138510

Screenshot_2016-05-20-18-16-43.png (425.33 KB, 下载次数: 192)

作者: 1204秦昕 时间: 2016-5-20 18:26
1204 秦昕 594891169

Screenshot_2016-05-20-18-19-37.png (345.66 KB, 下载次数: 181)

作者: 恰到好处的幸福 时间: 2016-5-20 18:50
1208王航航2286178415

Screenshot_20160520-184500.jpg (651.71 KB, 下载次数: 162)

作者: zkkx20 时间: 2016-5-20 18:55
1209谭泽楷1444195

QQ截图20160520185803.jpg (61.63 KB, 下载次数: 103)

QQ截图20160520185803.jpg

作者: 1204郭香妤 时间: 2016-5-20 18:57
1204 郭香妤 1691742065
Screenshot_2016-05-20-18-53-37_com.tencent.mm_1463741977889.jpg

作者: 1209李苗 时间: 2016-5-20 19:12
1209李苗645617861

Screenshot_2016-05-20-19-13-53.png (530.2 KB, 下载次数: 116)

作者: zwjiayoupp 时间: 2016-5-20 19:13
1204张婉1797796520

IMG_20160520_191549.JPG (179.94 KB, 下载次数: 113)

作者: 1209李守金 时间: 2016-5-20 19:24
1209李守金575816409

Screenshot_2016-05-20-19-22-53.png (374.63 KB, 下载次数: 110)

作者: 1204AAA 时间: 2016-5-20 19:26
1209王润泽2933105425

作者: 葛颖琦 时间: 2016-5-20 19:50
1204葛颖琦771709010

Screenshot_2016-05-20-19-47-22_mh1463744990803.jpg (398.24 KB, 下载次数: 94)

作者: 笑傲群芳 时间: 2016-5-20 20:10
1204王亮1815741800

Screenshot_2016-05-20-20-12-20_com.tencent.mm.png (583.74 KB, 下载次数: 75)

1204王亮1815741800

作者: 1209王金山 时间: 2016-5-20 20:11
1208王金山1655128072

作者: 朱静怡 时间: 2016-5-20 20:18
1210朱静怡425007986

image.jpg (284.46 KB, 下载次数: 96)

作者: 1205-于静 时间: 2016-5-20 20:28
[backcolor=rgba(255, 255, 255, 0)]1205-于静QQ2943875286

image.png (226.31 KB, 下载次数: 132)

作者: 季末~梦未央 时间: 2016-5-20 20:36
1204王磊1078264771 截屏_20160520_202120.png

作者: 二重积分 时间: 2016-5-20 20:45
1206谭莉+980272725

截屏_20160520_204354.png (360.43 KB, 下载次数: 127)

截屏_20160520_204354.png

作者: 沉默wq 时间: 2016-5-20 20:52
1205王晴 718456806

Screenshot_2016-05-20-18-29-07-42.png (1.6 MB, 下载次数: 130)

Screenshot_2016-05-20-18-29-07-42.png (1.6 MB, 下载次数: 116)

作者: 1209钱汪亮 时间: 2016-5-20 20:53
本帖最后由 1209钱汪亮于 2018-8-6 11:07 编辑

1208钱汪高

1463745826890.png (499.36 KB, 下载次数: 136)

作者: 1212黄锡涛 时间: 2016-5-20 21:00
1212黄锡涛1577490310

0520.jpg (225.04 KB, 下载次数: 113)

作者: 1209贺雄 时间: 2016-5-20 21:11
1209贺雄1017676602

作者: 1209贺雄 时间: 2016-5-20 21:12
1209贺雄1017676602

image.jpg (190.07 KB, 下载次数: 117)

image.jpg (190.07 KB, 下载次数: 122)

image.jpg (190.07 KB, 下载次数: 128)

作者: 1210齐月沙 时间: 2016-5-20 21:15
1210齐月沙1013529176

image.jpg (202.13 KB, 下载次数: 119)

作者: 1204张颖 时间: 2016-5-20 21:15
1204张颖1521140934

截屏_20160520_201037.png (849.91 KB, 下载次数: 151)

截屏_20160520_201037.png

作者: 1204赵嘉丹 时间: 2016-5-20 21:29
1204赵嘉丹2570331496

作者: 叶家伟 时间: 2016-5-20 21:30
1209叶家伟QQ1549707611

12121212.jpg (251.22 KB, 下载次数: 87)

1209叶家伟QQ1549707611

作者: wyatt 时间: 2016-5-20 21:38
1204胡希刚879138218

Screenshot_2016-05-20-21-38-14.png (556.99 KB, 下载次数: 112)

Screenshot_2016-05-20-21-38-14.png (556.99 KB, 下载次数: 97)

作者: hblg 时间: 2016-5-20 22:11
1204席文帅qq:973680064

作者: 听雨喧 时间: 2016-5-20 22:11
1209余重阳 1170527025

作者: 0103孙富博 时间: 2016-5-20 22:14
0103 孙富博 764825331 (YY`~G2CPA)9EKM)G`9S{G7.png

作者: 长理周远正 时间: 2016-5-20 22:42
1204+602164684+周远正

作者: 龙佳佳 时间: 2016-5-20 22:43
1204龙佳佳1321837269

QQ图片20160520224517.jpg (89 KB, 下载次数: 106)

QQ图片20160520224517.jpg

作者: yfl 时间: 2016-5-20 22:45
1205-1908799015 俞发龙

作者: 学习在路上 时间: 2016-5-20 22:51
1204杨秋云+2215087796

作者: 1205张玉 时间: 2016-5-20 22:54
1205张玉398634641

image.png (456.48 KB, 下载次数: 61)

作者: 0103张光明 时间: 2016-5-20 22:57
0103张光明1274128290

Screenshot_2016-05-20-22-57-19_com.tencent.mm.png (366.47 KB, 下载次数: 64)

Screenshot_2016-05-20-22-57-19_com.tencent.mm.png

作者: 1208吴自勇 时间: 2016-5-20 22:58
1208吴自勇
QQ920292590

S60520-180706.jpg (935.01 KB, 下载次数: 69)

作者: 3Crystal 时间: 2016-5-20 22:59
1204+刘欣宇+920733072

Screenshot_2016-05-20-19-18-22_com.tencent.mm.png (760.63 KB, 下载次数: 57)

Screenshot_2016-05-20-19-18-22_com.tencent.mm.png

作者: 1218马莉 时间: 2016-5-20 23:03
1218马莉465173639

截屏_20160520_201443.png (532.74 KB, 下载次数: 75)

截屏_20160520_201443.png

作者: 1220李星乾 时间: 2016-5-20 23:13
1220李星乾2247755035

作者: 国偶誌 时间: 2016-5-20 23:23
1209 吕志伟 1151204332

作者: 1209周世博 时间: 2016-5-20 23:24
1209周世博1263747734

作者: 18093447073 时间: 2016-5-20 23:41
1204刘宁2224344629

Screenshot_2016-05-20-23-37-21.png (609.08 KB, 下载次数: 50)

作者: 18093447073 时间: 2016-5-20 23:43
1204刘宁2224344629

Screenshot_2016-05-20-23-37-21.png (609.08 KB, 下载次数: 40)

作者: 靖业思 时间: 2016-5-21 00:06
1205 潘靖 1114983279

Screenshot_2016-05-20-23-51-14-113.png (345.86 KB, 下载次数: 108)

作者: 0315姜杉安财 时间: 2016-5-21 00:22
0315姜杉安徽财经大学 410107990

image.png (1.14 MB, 下载次数: 103)

作者: 1212怀念 时间: 2016-5-21 06:19
1509朱锐伙584663903

作者: hxm123 时间: 2016-5-21 06:36
1212候小梅1522660440

截屏_2016-05-21-06-39-14.png (147.05 KB, 下载次数: 111)

截屏_2016-05-21-06-39-14.png

作者: zlgybz 时间: 2016-5-21 07:58
1213张中汉571303269

Screenshot_2016-05-21-07-58-26.png (258.72 KB, 下载次数: 110)

作者: zlgybz 时间: 2016-5-21 08:37
1213张中汉571303269

Screenshot_2016-05-21-07-58-26.png (258.72 KB, 下载次数: 120)

作者: 怡凡 时间: 2016-5-21 10:20
1210刘传英1477887326

Screenshot_2016-05-20-17-35-21.png (1.03 MB, 下载次数: 108)

作者: gongwei 时间: 2016-5-21 14:25
1204龚威542390875

Screenshot_2016-05-20-19-16-32.png (600.37 KB, 下载次数: 100)

作者: 1205巴天亮 时间: 2016-5-21 15:41
1205巴天亮986991439

Screenshot_2016-05-20-23-23-38.png (453.2 KB, 下载次数: 126)

作者: 1205刘湖剑 时间: 2016-5-21 17:28
1205刘湖剑1907008950

Screenshot_2016-05-20-19-43-03.png (480.74 KB, 下载次数: 105)

作者: 1208张希霞 时间: 2016-5-21 17:44
1208张希霞1878487163

Screenshot_2016-05-20-20-02-29.png (985.17 KB, 下载次数: 183)

作者: 1226滕延芹 时间: 2016-5-21 17:55
1226滕延芹
QQ图片20160521175417.jpg

作者: 学习在路上 时间: 2016-5-21 18:02
1204杨秋云+2215087796

作者: 王慧敏 时间: 2016-5-21 18:31
1209 王慧敏1484802359

image.png (344.97 KB, 下载次数: 146)

作者: 3Crystal 时间: 2016-5-21 18:45
1204+刘欣宇+920733072

Screenshot_2016-05-21-18-40-21_com.tencent.mm.png (580.65 KB, 下载次数: 118)

Screenshot_2016-05-21-18-40-21_com.tencent.mm.png

作者: 1204张冉冉 时间: 2016-5-21 20:44
1204张冉冉284655260

Screenshot_2016-05-21-20-46-07.png (652.35 KB, 下载次数: 173)

作者: 771007761 时间: 2016-5-21 22:18
1204 黄铃铃771007761
http://www.madio.net/forum.php?mod=attachment&aid=MTk5MjE3fDg1YjMyMTgyYzEwM2UyYjUzZGQ0MzgwMDFjNTllMWM4fDE3NTQxMTg4NTA%3D&request=yes&_f=.png

IMG_9480.PNG (719.24 KB, 下载次数: 160)

作者: 771007761 时间: 2016-5-21 22:24
0520截至66# 小尾巴7761
Time：2016.05.21 22：27

作者: Eartha 时间: 2016-5-21 22:31
1208 1103811755 杨德霞

S60521-221419-001.jpg (355.07 KB, 下载次数: 134)

作者: 简单的空白 时间: 2016-5-21 22:42
1204
赵敏
944656527

QQ图片20160521205214.png (275.58 KB, 下载次数: 135)

QQ图片20160521205214.png

作者: guohuilong6 时间: 2016-5-21 22:49
520郭慧龙1211303218

Screenshot_2016-05-21-22-43-36.png (491.22 KB, 下载次数: 86)

作者: 1212刘金坪 时间: 2016-5-21 22:49
12刘金坪 354810326 Screenshot_2016-05-20-23-10-13_com.tencent.mm.png

作者: 1209霍金龙 时间: 2016-5-21 22:51
1209霍金龙583522969

作者: cjt5047 时间: 2016-5-21 23:28
1209陈俊廷1297338646

Screenshot_2016-05-21-23-15-45.png (916.43 KB, 下载次数: 84)

作者: 1210蒋志维 时间: 2016-5-22 10:08
1210蒋志维 1650395057

Screenshot_2016-05-21-23-18-03.png (243.72 KB, 下载次数: 68)

作者: 1216陈涛 时间: 2016-5-22 10:12
1216陈涛2246445668

作者: allyhanhan 时间: 2016-5-22 10:17
1204 蒋蕴涵 1653673529

Screenshot_2016-05-21-11-28-04-340.png (1.39 MB, 下载次数: 62)

作者: Bad_girl 时间: 2016-5-22 16:35
1209杨敏572647293

111.jpg (142.52 KB, 下载次数: 71)

作者: ob_one 时间: 2016-5-22 16:52
1204 李启均 1074724154

4.jpg (417.82 KB, 下载次数: 58)

作者: 杰世无双 时间: 2016-5-22 18:49
1204周雄杰742447859

S60520-184813.jpg (745.41 KB, 下载次数: 80)

1204周雄杰

作者: 1204连冲 时间: 2016-5-23 09:37
截屏_2016-05-23-09-34-16.png

1204连冲876953944

作者: 1208张希霞 时间: 2016-5-23 21:52
1208张希霞1878487163

Screenshot_2016-05-20-20-02-29.png (985.17 KB, 下载次数: 139)

作者: 机智的叉烧 时间: 2016-5-23 21:54
1209曾冠荣545281848

超级截屏_20160521_090959.png (1.01 MB, 下载次数: 129)

超级截屏_20160521_090959.png

作者: 1209grace 时间: 2016-5-23 21:58
1209李冰秀1558133885

截屏_20160523_214837.png (699.75 KB, 下载次数: 171)

1209李秀1558133885写

作者: 1217胡春美 时间: 2016-5-25 08:05
1217胡春美2903862249

Screenshot_2016-05-24-23-41-35_com.tencent.mm_1464134534699.jpg (231.58 KB, 下载次数: 101)

Screenshot_2016-05-24-23-41-35_com.tencent.mm_1464134534699.jpg

作者: 周游 时间: 2016-5-25 17:57
1209周游 2224015685 （补发）

mmexport1464169830772.jpg (164.38 KB, 下载次数: 145)

作者: 周游 时间: 2016-5-25 18:05
1209周游 2224015685 （补发）

mmexport1464169830772.jpg (164.38 KB, 下载次数: 154)

作者: 卑劣的街头 时间: 2016-5-26 12:28
1206胡冰清742777185

20.jpg (44.58 KB, 下载次数: 146)

作者: bingshuijingq 时间: 2016-5-27 00:27
1204邢冰987361541

Screenshot_2016-05-27-00-12-53_com.tencent.mm_1464279324921.jpg (152.29 KB, 下载次数: 108)

Screenshot_2016-05-27-00-12-53_com.tencent.mm_1464279324921.jpg

作者: wongoiyan 时间: 2016-5-27 13:17
1209王霭茵670189709

5.20.jpg (272.53 KB, 下载次数: 109)

5.20.jpg

作者: 1208黄泽键 时间: 2016-5-28 23:14
1218黄泽键1164047873

Screenshot_2016-05-21-00-51-19_com.tencent.mm.png (364.09 KB, 下载次数: 111)

Screenshot_2016-05-21-00-51-19_com.tencent.mm.png

作者: nucchenyu 时间: 2016-5-29 20:51
本帖最后由 nucchenyu 于 2016-8-7 20:14 编辑

统计完就删了

作者: 大徐大神 时间: 2016-5-31 22:49
1204徐伟涛804636033 Screenshot_2016-05-31-22-43-10_com.tencent.mm.png

作者: coffee. 时间: 2016-6-1 07:44
0103黄恩419699579

20.png (310.26 KB, 下载次数: 109)

作者: 五彩鸾凤 时间: 2016-6-1 15:13
1204 邵薏滢 814351343

Screenshot_2016-06-01-15-00-04.png (417.52 KB, 下载次数: 111)

作者: 蒋振华 时间: 2016-6-4 12:24
1204蒋振华1024393308

20.png (503.92 KB, 下载次数: 105)

作者: ClaireJM 时间: 2016-6-4 17:20
1205姜曼942397205

20.png (358.55 KB, 下载次数: 110)

作者: 杰世无双 时间: 2016-6-7 22:38
1204周雄杰742447859

S60520-223940.jpg (672.99 KB, 下载次数: 107)

1204周雄杰

作者: kiiid 时间: 2016-6-7 22:57
1205何彦章1339579357

CCF50E734216B2A270FA314270C826D1.png (344.14 KB, 下载次数: 99)

作者: 醉街小女生 时间: 2016-6-10 00:33
1208廖慧颖+qq1739706894

Screenshot_2016-06-10-00-08-52_com.tencent.mm.png (1.84 MB, 下载次数: 86)

Screenshot_2016-06-10-00-08-52_com.tencent.mm.png

欢迎光临数学建模社区-数学中国 (http://www.madio.net/)