信度和效度分析是评估问卷质量的关键指标。信度,即可靠性分析,关注于测量结果的一致性程度,与结果的准确性无关。一个信度高的问卷意味着不同时间或不同人群中重复测量同一事物时,结果间表现出较强的正相关性。稳定性高的问卷则指在同一群人在不同条件下接受相同测量时,所得结果差异极小。
效度分析则在于评估题项是否有效表达研究变量或维度的概念信息,即题项设计是否科学,测试是否恰当,题项与变量之间相关性是否显著。信度和效度之间存在关联,但效度高并不必然意味着信度高。
在市场调查中,问卷设计与分析至关重要,以确保数据可靠性和反映调查意图。标度-可靠性分析是评估问卷信度的方法之一,通过计算克隆巴赫系数(Alpha系数)来衡量内部一致性。一般情况下,Alpha系数在0.7以上被视为相当好,而0.962的Alpha系数则表明数据内部一致性程度非常高。
效度分析是通过方法论实现的,首先需要分析显著性和KMO值。显著性小于0.05表明问卷数据适用于因子分析,KMO值高于0.8则说明效度高,介于0.7~0.8之间则说明效度较好,介于0.6~0.7之间为可接受,小于0.6则效度不佳。提取的公共因子对问题方差的贡献率一般应大于0.6。
在问卷设计中,若填写人认真填写,不同题目的选择差异应较小,这表明题目的设计有效。如果问卷中有反向题项,需将其转换为正向,以避免误解。通过效度分析后,问卷数据进行矩阵运算和旋转,理论上应自动归类到对应的维度上。若未达到此效果,则可能需要重新设计问卷问题。