[ O2O研究 ] 你敢说你真的知道大数据是啥吗?
郭炜,现任联想研究院大数据方向负责人,毕业于北京大学,曾任万达电商数据部总经理、曾在中金、IBM、Teradata公司担任大数据方向重要岗位。在智能Wi-Fi, Beacon等o2o智能硬件方案以及O2O大数据采集、处理、挖掘、应用具有丰富的理论和实践经验,多次在CIO论坛、O2O论坛、创业论坛发表相关演讲,在传统行业和互联网行业享有盛誉。
以下是郭总分享原文(有删节)
大家晚上好,我是郭炜。今天想跟大家分享一下在大数据下面的一些我的见解过去遇到的一些情况和经验,那么主要分几部分。
第一是当前大数据现状,我会给大家去分析一下现在的大数据趋势,然后是O2O领域怎么去建立大数据平台,最后分享下我所观察到的大数据的未来的一些趋势。
大数据现状
先从大数据现状分析开始,先给大家看一张图。
其实大数据这个概念现在被大家炒的非常火,好像说到统计都要说是由大数据统计出来的,所有的无论网络金融,还是相关的O2O,还是我们的所有企业都在说自己在做大数据平台。那么什么是大数据呢,其实我觉得现在有好多专家有各式各样的定义,我觉得其实这个大数据不是一个特别新鲜的东西,就像我在这个图里面给大家划分出来的,数据和大数据是产生很多年积累的概念。
马云提到说未来是一个DT时代,不是IT时代。那么他是说将来会在任何方面都会产生数据和大数据来决策、影响我们相关的一些生活,那么其实这个所谓的DT,最早的时候是叫做数据仓库,在大概十五年到二十年前它就已经出现在国外,那么在1998年到两千年左右开始引入到国内。
在那个时候把它叫做ERP和CRM时代,都是一些企业内部的一些系统比如客户关系管理、库存管理、购销存等等,各个模块其实那个时候就积累了相当多的一些数据,那么像银行像电信那么投入非常大的一些资金来去做数据仓库,当时叫做数据仓库,其实它也是把我们现在所谓的大数据的这些详单,也都收录在过去的关系型的数据库里,那么就形成了它的数据仓库。
那么在数据仓库之上,当时也有一些概念叫做数据挖掘。其实也是基于收集到的客户的详单,然后找到这个所有数据之间的相关性。还有包括像客户流失分析、交叉销售,以及当时最著名的一个案例啤酒和尿片案例。讲的是沃尔玛经过相关性分析发现所有的男顾客在买啤酒的时候,经常会买尿片儿,那么这个现象很奇怪。后来经过调研发现这一般都是妻子让自己的爱人去商店买尿布,孩子在家已经没尿片儿了,于是沃尔玛就把尿片放在啤酒旁边,然后这个啤酒销量和整体客流量都有很好的变化。这个故事其实就是发生在那个ERP和CRM时代,当时其实已经有数据分析和数据推荐的味道,只不过发生在纯线下时代,所以我把它叫做ERP和CRM的时代。
在这之后,互联网兴起,包括各大的门户网站,包括像谷歌、雅虎这些全部都发展起来了,那么国内的BAT三家也发展起来了,这个时候的就不仅仅是过去我们所谓的交易和这些银行的流水这些数据了。这个时代,其实是主要是以我们的WEB,网络日志以及搜索引擎而产生的搜索关键词,或者是APP产生的点击流,产生了这样的数据。那么在这个时代,我把它叫做WEB2.0时代,我们这个时代其实是因为过去的时候,它的所有过去的技术全都是在处理关系型,还有这种交易类的数据,在这个时代它开始处理的非结构化的数据,比较著名一些品牌像HADOOP开始兴起,现在基本上很多的人在做的时候都会说,大数据是什么,要建大数据平台必须建HADOOP。
最典型的就是在所有的这些搜索引擎的网站、电商网站,最终它会给个人消费者开始做一些推荐的工作,比如说猜你喜欢或者是做一些定时提醒等等,这些东西其实都是在帮助最终的消费者来做一些新的一些购买决策,或者是你在搜索的时候帮你做下广告的推荐,这个时代其实叫做2.0时代。
那么在最后,现在这个时代我管他叫IOT和O2O时代。它和过去三个时代差别在哪儿呢?大家可以看到在第一个时代所有的这些数据其实都是企业内部的数据,它的产生是由客户产生,数据的消费这些数据的人,一般是企业内部的所谓的决策层,做一些决策支持,做一些数据分析、报表,只是少数人去分享,在第一个ERP时代大家都叫它BI。
在WEB2.0时代,其实是有个人的消费者产生数据,根据我们的点击情况,把这些数据采集,再根据你的推荐引擎重新推荐给消费者去方便购买,这个时代其实是在WEB2.0时代。
在IOT和O2O时代比较有代表性的比如说像现在做了很多的智能Wi-Fi,那么也有现在的炒的比较火的Beacon的技术。那么也包括现在咱们手机上的各个
感器去采集的相关数据,也包括现在像苹果PC上面去采集的相关数据,那么还包括像我们的手环、智能家居,甚至于机器人,包括我们现在线下见到的,这些硬件去采集来的数据,那么它的数据已经不是过去的这些网络日志。而是除了网络日志之外的,比如说我们的线下行为轨迹流。比如说我们视频别人,比如说我们的经济数据等等,这些所有这些相关的数据,那么当这些数据来临的时候,过去其实在WEB2.0的一些技术,又不能完全的去满足现状。
举个例子比如说在WEB2.0的时候可能大家谈的最多的还都是HADOOP,HADOOP其实是做批量分析来去帮你做一个推荐,可能是留数据挖掘模型,在WEB2.0时代已经不能满足需求了。
其实是因为现在O2O的时代,我们需要的是实时的大数据,我们需要的是实时的能给客户做出根据过去的行为和他现在所在的位置,来去给他做相关的一个推荐或者是一个推送,或者是指导这样一个工作,所以在这个时代有很多新的大数据的技术产生。那么结合新的智能硬件,会产生一个完全和WEB2.0和SAM不同的时代,那么这个时代其实就是O2O的大数据时代。
所以我整体分析来看呢,不同的时代我们从这个消费者的距离来看,原来最开始的这个ERP时代到WEB2.0到O2O这个时代。距离消费者的数据是由远到近的,从数据的影响力来讲,在过去只是给终端的领导决策层,现在时时融入到生活当中。会发现数据对整个业务的影响比例由弱到强,随着技术的发展会给最终用户一个全新完全不同的体验。
我给大家分享两个我的个人画像,这个画像其实是在过去在某商业地产的时候给给我自己画出来的那么其中一个画线了,左侧的蓝色的那个画像,其实是我自己一个人的一个线下的行为轨迹流。
其实它是通过我自己在广场里面,在每一个这个门店的行走的轨迹来去捕捉我自己在线下的行为的情况。可以看到说我是经常会去九毛九去吃饭,然后我在那边会经常看这个影城的一些电影,我会经常去KTV。能看到这里面所有的这些这个小的字其实都是我过去在我线下的轨迹来给我个人画出一个画像。那么,这就是我刚才提到说在ITO和O2O时代每一个人其实优过去的在WEB2.0的这种点击流变成了我们现在线下的这种轨迹流了。
我们能把每一个人在这个广场里面,这个所有的消费的记录,全部都找到,每条明细全部都能够无论你是用是哪个商家的终端,那么通过的只能智能POSS我们全部等都能把你的消费消费的明细,全部是是拿到云端。
拿到了这些数据和我们干什么呢,其实我在那个时候做了一个叫做场景引擎的东西。那就是一个类似一个虚拟的人陪你一起在逛这个万达广场,站在你进入万达广场的那个时候,我会请一个实时的进程去跟踪你的状态。你买的什么东西,走到哪里,然后给你推荐你想要的东西!比如我刚从一个电影从院线的电影在刚刚走出来,这个虚拟进程会监控到会看到你从电影院里走出来我会知道你是星巴克的一个爱好者,那么我其实在这个时候就可以给你这两个优惠券让你去到星巴克去。
这样其实更能够根据你现在此时此刻此地,你现在的状态和你过去的行为的一个偏好给你推一个优惠这样的话就能够让促成一笔新的交易,那这些东西其实是在新的IOT和O2O时代,那么其实是和WEB2.0时代是完全不同的。
那在这里了我再给大家分享一个现在新的时代下,我们和客户为中心的这样一个整体的一个大数据的一个闭环,它会是什么样的呢?
那么大家知道,刚才我提到在新的现在的IOT和O2O时代的来临以后其实它的各种技术已经发展到一个和过去的WEB2.0时代的大数据技术已经完全有些不同了,那么它会体现在几方面,一看的是刚才提到的智能硬件,那么第二个大家知道最近很多人都听过深度学习这个概念。那么其实随着深度学习和自然语言算法的更新,那么实现了一件什么事情呢,我们现在的电脑,它可以理解你说的一些话。所以当这件事情发生的时候我们可以发现说,在整个目前的和用户交互当中所产生的无论是线上我们用户的对话,还是线下用户打的客户热线的内容,其实我们都可以完全能够理解他。
这样的话其实在整个这个闭环里面大家可以看到从客户对这个品牌的感知到他线下产品的选择购买到使用到服务到创新,这一系列的这个过程其实在大数据的帮助下他都发生一些变化,那么分别大概跟大家讲讲。
比如说这个品牌感知,刚才我提到说这个自然语言和大数据能够直接和他一起,你会发现过去的所有的这些用户到底说了些什么?用户在论坛上关注什么?过去其实是很难知道。现在其实你对你这个品牌,用户怎么去交互,她在网络上的评论论坛怎么说,你很快的就能够通过很容易的一种方式能跟你展现出来,那么在线下再做产品选择刚才我提到Beacon、 Wi-Fi技术,视频技术,其实完全可以能够知道用户在线上的这些产品,他究竟是怎么样去选择了,然后你完全能知道和竞争对手究竟是什么样的区别。
在用户购买的时候我们也能够做到比较好的用户购买的画像,包括他的购买线上线下的购买的路径。其实一切都可以完全在我们当前的这个大数据的覆盖了内容里面,我们可以做相关的这个分析也可以给用户做相关的推荐等等。
整个用户怎么去使用你的这个产品,无论你是智能家具也好你是手环也好好。而在过去的时候可能还没有这些东西大家都知道只是在互联网上的网络日志,现在通过新的这个智能设备和智能控制芯片的加入,他怎么去使用你的这些芯片怎么要去使用电脑,怎样去使用空调,厂家或者商家都可能拿到。
基于这些我们会直接能够看到说,我们用户的服务当中会出现了哪些问题,他怎么样去就跟你交互,哪些地方需要提高。也可以去做很多的这个业务的创新,比如说我们做一些用户的分析,也许我们还可以做一些其他的这个数据变现,这些全都是根据现在整体上面以用户为中心来做,所以我经常提一句话,我说DT会让这个商业回归本源,那本源是什么,其实这就是过去和这个用户和商家做买卖的时候面对面的这样的过程。现在能够让企业,无论多大,无论卖什么东西,通过DT的技术又可以重回到那个直接面向你最终用户的这样一个形态。
大数据平台建立方案
前面的是跟大家聊了一下在新的O2O和IOT这个环境下我们大数据的一些新的技术和一些新的发展,那么下面的我跟大家聊聊这个创业企业的一些大数据里方案的一些讨论。
一站式O2O APP开发