效度的估计
内容效度
- 含义
- 一个测验实际测到的内容与所要测量的内容之间的吻合程度。即该测验在多大程度上代表了所要测量的行为领域。
- 所要测量的内容或行为是依据测量的目的而定的，通常包括
- 想要测量的内容范围
- 该范围内各方面内容的比例关系以及所要求掌握的程度
- 适用范围
- 适用于：成就测验、职业测验 (有范围)
- 不适用于：能力测验、人格测验 (无范围)
- 表面效度
- 并不是效度，并不反映测验实际测量的东西。是外行人对某个测验表面上看起来好像是测某种心理特质的一种现象。
- 表面效度关心的是测量的友好性及与公众和谐关系
- 一般来说，最佳行为测验往往表面效度高，其他测验希望表面效度低。
- 确定方法
- 逻辑分析法
- 请专家对测验题目与原定内容范围的吻合程度做出判断
- 明确预测内容的范围，包括知识范围和能力要求两方面
- 确定每个题目所测内容，并与测验编制者所列的双向细目表对照。
- 制定评定量表，考察题目对所定义内容范围的覆盖率、判断题目难度和能力要求之间的差异。
- 统计分析方法/副本相关法(克隆巴赫)
- 从同一个教学内容总体中抽取出两套平行测验，用这两个测验来测同一批被试，求其相关。
- 再测法
- 在被试学习某种知识前做一次测验，在学过该知识后再做同样的测验。
- 若后测验成绩显著高于前测验成绩，说明所测内容正是被试新近所学内容，进而证明该测验对这部分而言具有较高的内容效度。
结构效度
- 含义
- 一个测验实际能测到的所要测量的理论结构和特质的程度，或者测验分数能够说明心理学理论的某种结构或特质的程度
- 特点
- 结构效度的大小首先决定于事先假设的心理特质理论
- 当实际测量的资料无法证明我们的理论假设时，并不一定就表明该测验结构效度不高。
- 结构效度是通过测量什么，不测量什么的征集累计起来给以确定的，因而不可能有单一的数量指标来描述结构效度。
- 适用范围 智力测验、人格测验
- 确定方法
- 提出理论假设，并把这一假设分解为一些细小的纲目，以解释被试在测验上的表现。
- 依据理论框架，推演出有关测验成绩的假设
- 用逻辑的和实证的方法来验证假设。
- 计算方法
- 测验内部寻找证据法
- 考察测验的内部效度
- 分析被试的答题过程
- 通过计算测验的同质性信度的方法来检测结构效度。测验同质性知识结构效度高的必要条件。
- 测验之间寻找证据法
- 相容效度 新测验和经典测验工具的相关，越高越好
- 区分效度法 新测验和测量不同特质的经验测验的相关，越低越好
- 因素分析法
- 实证效度法 测量结果和实际表现的比较
- 多种特质—多种方法矩阵法
- 探索型因素分析法和验证性因素分析法
实证效度
- 含义
- 指一个测验对处于特定情景中的个体行为进行估计的有效性。即一个测验是否有效，应该以实践的效果作为效度标准，也称效标关联效度
- 根据效标资料搜集的时间差异，可分为
- 同时效度 效标资料和测验分数同时搜集，用于诊断现状
- 预测效度 效标资料在测验之后确定，作用在于预测个体将来的行为
- 效标
- 衡量一个测验是否有效的外在标准，是独立于测验的。
- 观念效标(理论定义)
- 效标测量(操作定义)，选择效标测量的条件
- 相关性：与目前所评价的事物有相关
- 有效性：与所代表的特质之间是高度一致的
- 无污染：不是基于或部分基于正在评价的测验的结果
- 客观性：避免主观效度
- 实用性：保证有效的前提下，应尽可能简单、省事、省钱、可操作
- 计算方法
- 相关法
- 区分法
- 被试接受测验后，让他们工作一段时间，再根据工作成绩的好坏分为两组。再分析两组被试原先的差一，若这两组人的测验分数差异显著性，说明该测验有较高的效度。
- 命中率法
- 总命中率：被测验正确选中的人与被正确淘汰的人数之和与总人数的比例：
- 正命中率：被测验选出的人中真正被正确选对的人数比例：
- 负命中率：被测验所淘汰的人中不合格者所占的比例：
- 基础率、灵敏度和确认度
- 基础率：符合筛选要求的群体在总人群中所占的比率。
- 灵敏度：所有真正符合要求的人能被测验鉴别出来的人数的比率。
- 确认度：所有不合要求的人能被测验正确淘汰的人数的比率。
- 当基础率较低时，选用灵敏度高的测验才能比较有效。当基础率很高时，选用确认度高的测量工具比较有效。