调查问卷分析得出的结论可靠度高吗
谢邀，强答一发。调查问卷的单次结果可靠性通常不高，有楼主提到的研究者本身选择调查对象时存在的bias的原因，也有问卷调查方法本身的局限。但照我本人粗浅的理解，对调查问卷的数据处理通常是寻找变量与自变量的关系，我们常误以为是数据分析的结果就是两者因果关系，其实只是影响关系，在社会科学的研究中，几乎不可能将自变量纯化到一个，不同程度都有不可控的其他变量，那么是否问卷调查就不可靠呢？这里面存在一个研究对象与研究最终结果的误区。在研究对象上，我们研究的是人，不是物质对象，人比其他物质更复杂就在于即使可变性，所以达不到自然科学那种接近100%的实验结果。社会科学研究的尴尬就是可重复性不高，局限又太多。于是少部分搞自然科学的对社会科学的嗤之以鼻，觉得社会科学就像神棍一样，随便一个狗屁因素都会影响研究的结果。我只能说别他妈的把活人当死物！所以调查问卷需要根据人的变化一样，需要经常性的改进才能提高结果的可靠性。比如心理学里面有一个有名的双生子实验，证明人的性格会不会被基因影响，这个实验在几十年前得出了：将几十对双胞胎从小分别放在在不同环境，长大后的性格依然惊人的相似，当时根据这一项研究的结果，就有人相信，基因对性格即使没有100%，也有80、90%的决定性。但尔后，加入其他因素，比如家庭教育方式、社区环境，基因对性格的影响下降到50%，如果用自然科学标准衡量，这结果就是垃圾，但是在心理学的角度，这已经足够说明问题了。所以调查问卷不可能像科学试验一样能达到100%可靠。楼主说的Bias是普遍存在的，调查问卷这种研究方式本身存在几个问题：首先是我们怎么设置问题，通常我们是想通过一系列的问题来收集到被访者的反馈，这是就会有主题，那么我们设置问题时就有倾向性（除了年龄和性别这种人口普查式的问题），关键是这种倾向性还会被用户察觉和推断出来（就像楼主一样），虽然我们的研究方法是明确说不能诱导被访者，但是调查问卷的暗示性就是没办法消除。比如我们是高估还是低估未成年人对吸烟危害的关注程度，通过访谈的定性分析，发现青少年明显低估了吸烟的危害，而通过调查问卷的定量研究则是明显高估吸烟的危害，然后双方互发学术文章撕逼，但我个人看来这就是各个方法本身的缺陷导致的，你调查问卷上要问一个青少年是否觉得吸烟有害健康，他为了保持所谓价值感正确，当然会说吸烟有害健康了，这不是你要诱导他，而是问题本身的倾向性就会促使人们去靠近一个正确标准。但是通过访谈有可以知道，即使他们知道，但是并不代表他们不抽烟，所以不能叫做真的知道。但这对于研究者就坑爹了，到底是高估了还是低估了？没个准信。其次，问题选项的问题，比如我们最常用的是likert scale关于程度的描述，“你觉得我们无人机屌不屌？” 屌，很屌，还是屌炸天？如果被访者是个飞行器爱好者，他就觉得你的应用一般；如果是个软妹子，她可能觉得你好屌好屌。所以，用户本身的感知强弱差别就很大。那又引出了另一个问题，那选择被访者是随机取样还是针对特定群体？在您这种无人机侦察城市自然灾害系统的交互体验的研究中，开始考虑的是随机取样，但是如果有灾害了，这种随机就随时变成了特殊群体（灾民），您觉得这两种情况下对您的无人机系统的评价会使一样么？所以楼主的担心是普遍存在的。我目前看到普遍的解决方法是，在调查问题时，也调查用户是否被自己先入为主或是预测推断所影响，通常需要再从新设计一个实验去降低或消除这种影响。比如我导师就很担心用调查问卷是否能真实反映被访者的态度，于是他建议我用一些高度概括，但隐晦性图片去测试不同文化下关注事物角度的不同。这样可以弥补调查问卷的误差。PS：楼主，我马上要去看剑桥对牛津的赛艇比赛，回去再补充哈…
推荐阅读
- 河北涉县交巡警大队长被妻实名举报已停职接受调查
- 山西朔州一中学家属区自来水呈粉色公安等部门已介入调查
- 朋友圈直播酒驾全过程？警方：当事人涉嫌酒驾接受调查
- 德洛斯科夫雷斯|
- 汽车|看了中消协4S店服务测评调查结果，终于知道法系车为啥卖不好了
- 强迫学生摔手机 云南涉事教师被停课调查
- 自投罗网！与警车碰擦 私家车司机情绪激动 交警调查时发现其满身酒气
- |新款领克01竞争力分析：推荐入门版 价格门槛提高2.9万元
- 吉利汽车|低配落地不到10万，吉利博越全系购车价格调查
- 写下我关于做数据分析专员的困惑和各位的建议是