大数据相关性分析方法与小数据的有何不同

这个问题比较有意思,其实不只是大数据下可以利用相关性,小数据的情况下,更好利用相关性,并且这是一种很常用的方法。比如我们统计一个小学班级的学生身高与体重,我们可能发现基本是长的越高,体重越大,这就是两者存在相关性。再比如我媳妇做内容电商,她统计了几十条文章数据,发现标题满足某些规律,下单量就会提升,和文章阅读量大小没有直接关系。当然,在小数据量下,还有个独特的优势,就是我们可以将每个样本都研究一遍,分析一下它为何是这样的属性,也就是分析出原因。也就是说,我们可以得出小数据的因果关系。相反,在大数据情况下,穷举每个样本是不可能了,工作量太大,只能进行抽样,但这容易形成偏差。这样就导致分析因果关系变得非常困难,等到分析清楚了,可能最佳时机已经错过了。那有没有更好的方法,那就是利用相关性的原理,我们直接用程序去统计出一些规律,比如来源于某个渠道的用户,最后转化率更高。那么,我们就在这个渠道多花点钱,利用这个相关性规律。至于为什么这个渠道好。可以慢慢考虑,先利用这个相关性好处再说。甚至有时候,根本不需要再想清楚原因了。
■网友
大数据重预测,小数据重解释
大数据的开放性、公开性和易获得性,社交网络每天产生的大数据可以在一定规则开放性下,通过应用程序接口(API)和爬虫技术采集,一些商业机构和政府组织也向社会研究机构提供各种海量数据源,特别是政府开始提供权威开放数据源。大数据往往带有时间标签,更具预测性。国内外众多机构开始采集海量Twitter和微博上的传播信息和个人属性特征和标签,期望预测社会舆情和社会情感、预测电影票房、预测商业机会,进而期望预测人们的态度和行为。开放、公开易获得数据源是大数据时代的基本特征和产生社会影响本质。
【大数据相关性分析方法与小数据的有何不同】 大数据重发现,而小数据重实证
传统的小数据重实证研究,强调在理论的前提下建立假设,收集数据,证伪理论的适用性,采用随机抽样的定量调查问卷获取数据,验证假设。这是一种自上而下的决策和思维过程。而大数据重发现知识,预知未来,为探索未知的社会现象和发展规律带来机遇。这种预见性是一种自下而上的知识发现过程,是在没有理论假设的前提下去预知社会和洞察社会现象、趋势和规律。 大数据重相关,小数据重因果
大数据重关系,而不关心因果
关注是什么而不关心为什么,尽管大数据依然可以回答因果问题,但因果关系并非来自统计或数据,而是来自研究者的理论和假设。大数据分析更关注数据的相关性测量和商业应用价值。大数据挖掘往往是发现那些不能靠直觉发现的信息和知识,甚至是违背直觉的,有时候越是出乎意料可能越有社会和商业价值。媒体人应该有责任和有能力从数据中发现事物内在规律,发现内在,预警社会。
大数据重全体,小数据重抽样
大数据是商业自动化存储的数据,在软硬件满足的条件下可以分析海量数据。随着存储和软硬件的经济性和分析工具的高性能,海量数据的处理能力得到提升,数据挖掘算法不断改进和丰富,特别是统计分析和机器学习的神经网络建模技术发展,抽样并非是必要的手段和方法论。尽管大数据不一定是总体,理论上讲再大的局部也没有随机抽样更具代表性,但机器学习算法所带来的个性化推荐技术、非线性建模、网络分析、空间地理分析、实时在线的数据可视化分析手段都应成为我们认识世界、感知社会的重要手段和目的。
大数据重感知,小数据重精确
大数据具有变生产边应用,边应用边生产,实时在线分析的特点,往往更关注数据从总体上感知社会,通过大数据的在线可视化技术呈现大规模数据的流动模式,大数据时代背景下的社会治理、舆情研究、智慧城市、智能交通、传染病传播、谣言传播提供了数据基础。大数据同时关注对个体的数据挖掘,个性化推荐,精准营销,传播路径分析等应用领域都具有大数据特点。小数据往往采用显著性检验,统计显著性受到样本代表性和样本量的影响,对数据来源的真实性、无偏性和代表性格外重视。


推荐阅读