数据工程或是物联网的瓶颈?

    【CPS中安网 cps.com.cn】 Gartner等一些分析企业都认为，物联网可以对经济产生惊人的影响。2020年，物联网供应商预计将从中获取3090亿收入。同时，物联网还会对经济间接产生19万亿美元的积极影响。此外，物联网创造价值的方式或将颠覆人们的想象。

　　物联网部署的关键并非设备的部署，而是对设备产生数据的分析和管理。如果你对物联网的应用感兴趣，那么，这就是你需要学的东西：数据工程。

　　物联网部署：绝非问题

　　这个礼拜，我发现如今的物联网应用已经变得很简单，甚至工业物联网也是。我和启雷，一个著名的IT顾问一起打算将Wifi升级为网状网络结构。仅仅10分钟后，我们就完成了这一部署，网速也提升到惊人的60MB/S。我确信，Nest恒温器以及烟雾探测器部署也一样简单。

　　斑马技术打算推出一个新平台，让智能手机或其他设备更容易实现跟踪标签等一些物联网功能。无论是地区零售店还是沃尔玛这样的巨头都可简单方便的使用此系统享受物联网好处。ThingWorx，另一家刚被PTC收购的物联网厂商已经开发出一款针对车联网，工业物联网的连接，监控及控制数据操作系统。

　　由于云和物联网技术，很多曾经的部署配置问题都不再是一个问题。

　　数据工程：一大难题

　　另外一个仍未消失的难题是：如何处理这些传感器收集到的数据。这个问题不仅仅是由于数据的数量，而是在于数据分析是一门多学科交叉的科学。

　　这里，我们给出了一个数据流动的初始想法。大部分情况下，物联网数据是从传感器流向一个巨大的数据湖。接着，数据湖内会进行一些处理及蒸馏过程，高价值的数据会被移动到企业数据库内。

　　下一个步骤则是数据分离及结合步骤，这样，可以实现自动化动作和分析模型。另外，每个不同物联网应用可能需要使用不同类型的数据分析引擎。

　　和单向数据流的数据仓库不同的是，应用程序，尤其是分析引擎也有可能产生数据流动并流回到企业数据仓库或者数据湖中。

　　另外，物联网的数据架构也有不同的新特性：

　　1)：物联网数据实时处理的需求

　　2)：数据湖存档或删改的需求

　　3)：跨公司分享数据的需求

　　4)：多数量、种类来源数据处理的需求

　　5)：遍布世界的数据处理需求

　　6)：大量移动数据的需求

　　在我看来，物联网最终将需要一个建立在数据仓库基础上的数据供应链并允许更为动态和复杂的流程架构。建过大型数据仓库的人都知道，这是一个艰巨的任务。即使在云技术的帮助下，物联网数据供应链的建立依旧是件复杂的事情。成功做到这些的公司将在未来的物联网世界获益颇多。