大数据相关性分析方法与小数据的有何不同( 二 )
■网友
大数据重预测，小数据重解释大数据的开放性、公开性和易获得性，社交网络每天产生的大数据可以在一定规则开放性下，通过应用程序接口（API）和爬虫技术采集，一些商业机构和政府组织也向社会研究机构提供各种海量数据源，特别是政府开始提供权威开放数据源。大数据往往带有时间标签，更具预测性。国内外众多机构开始采集海量Twitter和微博上的传播信息和个人属性特征和标签，期望预测社会舆情和社会情感、预测电影票房、预测商业机会，进而期望预测人们的态度和行为。开放、公开易获得数据源是大数据时代的基本特征和产生社会影响本质。大数据重发现，而小数据重实证 传统的小数据重实证研究，强调在理论的前提下建立假设，收集数据，证伪理论的适用性，采用随机抽样的定量调查问卷获取数据，验证假设。这是一种自上而下的决策和思维过程。而大数据重发现知识，预知未来，为探索未知的社会现象和发展规律带来机遇。这种预见性是一种自下而上的知识发现过程，是在没有理论假设的前提下去预知社会和洞察社会现象、趋势和规律。 大数据重相关，小数据重因果 大数据重关系，而不关心因果关注是什么而不关心为什么，尽管大数据依然可以回答因果问题，但因果关系并非来自统计或数据，而是来自研究者的理论和假设。大数据分析更关注数据的相关性测量和商业应用价值。大数据挖掘往往是发现那些不能靠直觉发现的信息和知识，甚至是违背直觉的，有时候越是出乎意料可能越有社会和商业价值。媒体人应该有责任和有能力从数据中发现事物内在规律，发现内在，预警社会。大数据重全体，小数据重抽样 大数据是商业自动化存储的数据，在软硬件满足的条件下可以分析海量数据。随着存储和软硬件的经济性和分析工具的高性能，海量数据的处理能力得到提升，数据挖掘算法不断改进和丰富，特别是统计分析和机器学习的神经网络建模技术发展，抽样并非是必要的手段和方法论。尽管大数据不一定是总体，理论上讲再大的局部也没有随机抽样更具代表性，但机器学习算法所带来的个性化推荐技术、非线性建模、网络分析、空间地理分析、实时在线的数据可视化分析手段都应成为我们认识世界、感知社会的重要手段和目的。 大数据重感知，小数据重精确 大数据具有变生产边应用，边应用边生产，实时在线分析的特点，往往更关注数据从总体上感知社会，通过大数据的在线可视化技术呈现大规模数据的流动模式，大数据时代背景下的社会治理、舆情研究、智慧城市、智能交通、传染病传播、谣言传播提供了数据基础。大数据同时关注对个体的数据挖掘，个性化推荐，精准营销，传播路径分析等应用领域都具有大数据特点。小数据往往采用显著性检验，统计显著性受到样本代表性和样本量的影响，对数据来源的真实性、无偏性和代表性格外重视。
■网友
大数据带来的变革，远不止数据量“大”这个字，重要的是 处理数据思想的转变
大数据不关心个体，只关注个体与整体的相关性大数据不要求样本数据准确性，以 “量” 换 “质”大数据不仅在于数据量的大，也有数据集的广度和深度。推荐一本大数据早期的书，更能把握大数据的概念。
大数据时代 (豆瓣)
■网友
以电信运营商市场部运营分析为例问题1：用户订购套餐价格与通话时长的相关性？小数据方法：市场部从全网7亿手机号里随机筛选5万个手机号的数据，进行分析；excel就够了大数据方法：7亿手机号数据全量分析，数据量过大，只好用大数据工具了PS：使用工具不同问题2：用户订购套餐价格与哪些指标相关？小数据方法：5万手机号根据专家经验，提取部分指标，利用画图或者贝叶斯等逐一计算相关性，寻找最相关大数据方法：7亿手机号根据专家经验，提取部分指标，利用决策树、回归、向量机等方法计算相关性PS：计算方法不同问题3：用户订购套餐价格与天气相关么？小数据方法：市场调研，统计调研结果大数据方法：与天气公司开展合作，做数据打通进行验证PS：方法论不同小数据和大数据没有本质不同，都是将现实世界的知识和内容转换为数据，再通过数据进行量化计算，以验证经验准确性或发现经验之外的秘密。而我们往往忽视了将现实世界的知识和内容转化为数据的重要性。比如：年龄，身份证上的年龄还是用户注册自己填写的年龄？身份证是经过验证的么？注册时默认年龄数字？等等。忽视这个问题可能导致一系列错误。注册填写的年龄与订购价格之间的强相关性也许因为前端工程师的习惯默认值。数据方法搭建在数理逻辑之上，数理逻辑搭建在概念定义之上，概念定义搭建在公理之上，大数据方法的有效性离不开数据定义的统一和明确。因为大数据方法与小数据方法不同之一，便是明确数据定义的人与操作数据的人往往是两个人，沟通的模糊是灾难！所以加上第4点不同：大数据方法得到的结论骗的我们更深，小数据方法得到的结论不容易被信任。流氓不可怕，就怕流氓有文化，专家不可怕，就怕专家大数据。
推荐阅读
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 联合国大数据全球平台中国区域中心在杭州成立
- 银行的数据中心可以跳槽去互联网公司吗
- |大数据赋力 半个多月前拉客的“黑车”精准落网
- 数据采集终端|
- 关于用phpfsocket 写Post， 模拟http 报文怎样写入要传输的处理数据
- |新款领克01竞争力分析：推荐入门版 价格门槛提高2.9万元
- 假如把中国电信监测到的3亿人一个月每天上网的所有行为打个包，哪些数据应该被提出从这些数据能得到啥
- 游戏公司一般咋识别游戏脚本
- 城市数据团是怎么样一个团队