新浪博客

大数据时代的三大思维转变

2015-10-20 08:46阅读:
大数据时代的三大思维转变
实际上,大数据与三个重大的思维转变有关,这三个转变是相互联系和相互作用的:
首先,要分析与某事物相关的所有数据,而不是依靠分析少量的数据样本。
其次,我们乐于接受数据的纷繁复杂,而不再追求精确性。
最后,我们的思想发生了转变 ,不再探求难以捉摸的因果关系,转而关注事物的相关关系。
——《大数据时代》​
这三条,浓缩起来,就是《大数据时代》一书前三章的标题:
不是随机样本,而是全体数据。
不是精确性,而是混杂性。
不是因果关系,而是相关关系。
这三条看起来很炫,冲击很大,颠覆了很多我们以往的认识。但仔细想想,这种冲击,其实只是因为这些观念与我们从小接受的教育相矛盾,与我们的思维习惯相矛盾。而当我们深入去仔细检视自己的内心需求时,却会发现,这三种思维模式,更符合我们
的需求。

假设我们来到一条街上,忽然间想买件西服。如果这条街是西服一条街,有上百间西服店,我们可能由于时间关系,只能根据人气啊、橱窗展品啊、品牌啊等依据,选择性地进入几家店挑选;但如果这条街只有三间西服店呢?我们还会只选择几家店吗?恐怕我们的最佳选择就是三间店都看一看,货比三家再做决策了。前一种方式就是随机样本,后一种方式就是全体数据。在我们的骨子里,如果能采集到全体数据,我们都会选择这种方式, 而在以往,只是因为世界那么大”,我们无法获得全体数据”,或者获取全体数据”的成本太高,我们别无他法,只能选择随机样本”。
现在,无论是数据存储技术,还是数据处理技术,我们都具备了获取全体数据的能力,也就是说,当我们来到上百间西服店的一条街时,假设我们不用走进店里去,而是在街口的咖啡馆,就能通过某个数字终端,一边喝咖啡一边迅速浏览每间店里的每件西服的图片与价格,我们可以用一杯咖啡的时间了解完全体数据,然后直接去看好的店里买西服,有什么不好呢?

其次,我们再看精确性这个问题。假设你是个卖苹果的。如果你的货架上只有10个苹果,当中有一个坏苹果,是不是特别显眼?你的次品率高达10%,你的顾客会不会因此特别不满意?另外一个假设,你不是做零售而是做批发的,你展现在客户面前的是一卡车苹果,当中不要说有一个坏苹果,就算有10个坏苹果,也不会影响你的客户关系吧?你的客户打心底里想不想每个苹果都检查一遍呢?想,但是不能。为什么?成本太高,不划算。个别坏苹果带来的损失与挨个检查一车苹果的时间损耗相比,已经微不足道了。
因此, 当我们因为技术能力,能够将全体数据作为观察对象时,就不得不放弃精确性了,不是不想,而是成本上划不来。更何况,计算机的大数据技术可以让我们在发现异常时,随时可以在异常部位进行小数据研究,那时再去追求精确性都来得及,成本也比追求全体数据的精确性要小很多。


第三个关系:因果关系与相关关系。简单来讲,因果关系回答的问题是其所以然,相关关系回答的问题是其然 虽然我们从小受的教育是知其然还要知其所以然,但实际生活中,我们在很多地方还是用其然来解决问题的。比如:早霞不出门晚霞行千里,通过动物异常预测地震,尤其是神奇的中医,通过号脉而不是解剖,就能知道你肠胃里是不是有虫子!这些都是相关关系的实证案例。无论因果关系,还是相关关系,都是为了预测趋势而发展起来的思维技术,我们需要因果关系,是因为在无法观测大数据时,很多事情需要依靠推理来进行预测,如果没有因果的研究,推理就变成了臆测;而当我们具备了观测全体数据的能力时,趋势不用推理,看看数据变化趋势就好了,就好像我们站在海边,看着水际线一点点涨起来了,还需要经过计算才能断定在涨潮吗? 相关关系是一种最为直接的预测方式,但是它必须建立在全体数据”的基础上,否则就难免盲人摸象”。而现在,我们具备了这种能力。

综上所述,数据时代的三大思维转变,从本质上说,并不是什么新的发现或者新的技术,它更像是对我们人类本性需求的解放。以往我们无法这样做,是因为我们缺乏大数据观测与处理的能力,而现在有了这种能力,自然行为方式会发生改变,就如同我们只有刀枪剑戟的时候,武松就是打虎英雄,而现在有了枪支大炮,再打虎就是犯罪了。
当然,个人认为,这种思维转变,并不意味着我们要摒弃小数据的思维模式。大数据的作用在于能够更快更准更广范围地洞察趋势变化,以及迅速捕捉发生异常的局部(如Google通过大数据第一时间发现流行疫情)。但是在发现异常或趋势后,我们还需要针对它们作出反应,这时就需要小数据的处理技术了。这就如同在物理学界,我们用相对论解决宏观问题,用量子物理学解决微观问题一样, 我们用大数据解决宏观的社会学问题,用小数据解决微观的社会学问题,左右逢源,相得益彰。

我的更多文章

下载客户端阅读体验更佳

APP专享