本站原创阿西莫夫的小说《基地》,建立在一个奇特的理论基础上.这种叫做“心理史学”的学说认为,虽然个体是模糊而不可描述,但是大量人口的行动是可以精确预测的.它有点像是热力学的扩展版,认为当人口达到某个统计学量级的时候,就可以精确预测世界的未来.
以巨大的数量来弥合个体之间的差异,是人们一直在做的事情.如果心理史学的设想真的可行,必然需要建立关于人们思想、行为、喜好等等数据网络；然而如何收集这些数据、如何处理这些量级惊人的数据,阿西莫夫并没有提及.
当然,《基地》只是一本科幻小说,而且写于1942年.当时电子计算机尚未诞生,即使是超前如阿西莫夫者,也不会预见到数据收集能力和计算能力会达到怎样的程度.
现在,心理史学的技术基础似乎已逐步发展成熟.也许有一天,我们可以收集人类所有的行为数据,并像预测社会性昆虫的活动那样,预测我们自身.乍看之下有点难以接受,但这正是大数据研究者们梦想的未来.
时代巨变
今天的企业已经快要被数据淹没了.Google每天处理的数据量,是世界上最大图书馆所有存书数据量的上千倍,Facebook每天都会更新数千万张照片以及数十亿条新条目,而世界上最大的视频分享网站每秒钟上传的视频长度都超过一小时.这些数据价值巨大,因为每一个片段背后都有一个活生生的人.
但是如何从数据中精准地挖掘出人们真正想要的东西,则成了前所未见的巨大挑战.
这正是“大数据”这个新兴领域所研究的问题.虽然计算机芯片的发展速度让我们拥有了之前无法想象的计算能力,但是面对这种量级的数据,依然需要探索.
2008年9月,世界上最著名的学术期刊之一《自然》做了一期大数据的专刊,大概可以视作大数据闪亮登场的标志.然而和诸多新技术一样,大数据也经历了学界的热捧、质疑之后,才在业界慢慢发展起来,最终成为用户耳熟能详、风险投资趋之若鹜的名词.
它的动力在于人类测量、记录和分析世界的渴望,在于人类发现一切的雄心：希望以一种前所未有的方式,从海量数据中挖掘出人们自己都不会意识到的需求,提供无处不在的帮助,让这个世界变得更好.
当我们开始更多地借助计算机来探索世界的时候,也就自然而然地引发了数据爆炸.今天地球上数据产生的速度已经超过了数据存储设备生产的速度,而且增速没有丝毫放缓的迹象.
当技术成熟到我们可以获得和使用所有数据,且无需在其中抽样的时候,当我们可以借由互联网访问所有数据的时候,量变便引发了质变.
发现更多的细节
从上世纪50年始,人们就迈开了探索机器翻译的脚步.人们开发了各种各样的算法,以语料库来为机器翻译软件提供养料,希望让计算机可以像人们一样,学习人类的语言,最终让语言之间的隔阂消失不见.但是,即使到了今天,机器翻译依然远不完美.语言的模糊性让擅长精确的计算机一筹莫展；虽然人们已经尽力让计算机学会接受模糊,但是成效不彰.
2006年,Google推出了机器翻译系统.它的思路完全不同：以海量的语料库作为备选,选择所有可能的翻译,然后在其中选择可能性最高的那个.它不大在意输入的语料库质量,而只在乎数量.Google用一贯的思路来看待这个问题：即足够的数量可以弥补质量的不足- - -知道得越多,就会猜得越准.Google的科学家认为,大数据基础上的简单算法,会比小数据基础上的复杂算法更加有效.
维基百科也是这样.似乎只要找对了方法,大数据就会具有某种自我清洁的能力,会更可能给出正确答案.
大数据为机器学习带来了全新的思路,也会改变我们与这个世界交互的方式,许多过去依赖于人类判断力的领域都会面临革命.不仅仅是机器翻译或者机器自动驾驶汽车；网站将会向我们推荐更适合我们的产品,搜索引擎将会根据我们的喜好而重排搜索结果,社交网站会向我们推荐我们更有兴趣结识的朋友,银行会在发现账户出现不合常理的支出时提出警告.
在计算能力和算法的帮助下,我们将可以分析更多的数据,而不像过去那样只依赖于抽样分析.这将会带来更准确的结果,并且发现那些传统分析方式无法发现的细节- - -而这些细节,往往会打开一扇新的大门.
改变人们看待问题的方式
大数据让人们拥有了全新看待问题的方式.传统上,人们更热衷于分析因果关系,例如购买婚礼用品的年轻人,往往会在之后的一年之内购买婴儿用品；但是在大数据领域,人们不这样看问题.在海量数据面前,相关性的重要性超过了因果性.不必关心原因；只需要找到那些彼此相关的需求即可.
今年,Netflix公司开发的一部新剧成了意料之外的大热门.这个拥有3300万以上用户的在线视频租赁企业拥有海量的用户数据,不仅知道每一位用户曾经租过、看过什么片子,还知道他们在观看过程中快进、回退、暂停的具体时间.根据这些数据,Netflix几乎可以描述出每位观众在看电影时的具体动作.
对这些数据的分析,让这家公司发现了一些有趣的关联.有些用户喜欢同一位导演、同一位演员与同一部剧目.于是,他们翻拍了这部剧,请了这些受欢迎的导演和演员来参与,并且大手笔地砸下一亿美元,拍摄了两季26集,并且在一天内全部上映完第一季.
这种打破了无数电视业传统模式的剧目就是《纸牌屋》.Netflix完全没有像传统电视剧那样拍出试拍集,以试探观众的反应；这完全是算法的胜利.《纸牌屋》的成功被视为大数据在流行文化领域的胜利：只要有足够的数据,我们可以计算出目标观众最可能最买账的文化产品,对其节奏的控制甚至可以精确到每一页或者每一分钟.
也许对于崇尚风格和挑战的文化产业来说,计算机的介入会设下一道电网,让人们唯唯诺诺于计算结果之前,不敢越雷池一步；但是,至少就目前来说,像《纸牌屋》这样的成功,只不过是孤例而已,担心还为时尚早.
反思和担忧
如今连接在网络上的移动设备,已经多过了固定设备.用智能手机或者平板访问网络的用户随处可见,他们让那些端坐在自家书房访问网络的人,看起来像是老古董.而可穿戴设备和更多的传感器可能会把这一情形继续向前推进,直到把一切我们可以想象到的事物和人都化成数据为止.
大数据时代要求我们找到方法来量化所有过去看来微不足道的小事,把所有数据都保存在永远在线的互联网上,并以此为基础挖掘出前所未见的潜在价值.云计算和物联网是大数据时代的基础,而这两者都在逐渐成形.机器将会感测一切、计算一切,然后帮我们作出最好的选择- - -人类的生活也许从来没有如此安全和方便.
不过,这种设想将会导致对隐私的担忧,甚至会引发愤怒情绪- - -人们不愿意承认自己的一切都可以量化,不愿意接受计算机的引导和建议,认为这样丧失了人之所以为人的基础：模糊,不确定,随机.美和爱这样的感觉,该如何量化呢?
科幻作家刘慈欣的《诗云》曾经讲过一个类似的故事.外星智慧生物体会到了古诗之美,于是穷尽所有可能组合,把所有可能的诗句都记录了下来.这些诗记录在微小的卡片上,而制造这些卡片耗尽了地球上的大部分物质,让地球外面围起了一圈诗歌之云.但是,这些外星人也没有办法挑选出那些好诗- - -好诗,并不是可以靠算法来分析的.
这可以算是对技术发展的恒久反思.每一次革命性新技术的出现,必然都伴随着对人类本质的拷问.然而,我们总是在漫长的磨合之后,才会坦然接受技术带来的方便,同时接受与新技术共生的事实.
大数据同样如此.每个人依然是独一无二的个体,计算机永远无法真正理解人类的需求；大数据只不过是一种技术手段而已,和语言、文字、印刷术、互联网的作用一样：消除真实世界中的种种限制,让人类自己在智力发展的路径上走得更远.
（作者系科技专栏作者,关注IT技术、技术史和技术对社会的影响.曾出版《未来在现实的第几层》等作品）