¿Qué es
una Prueba?
Es una
manera de medir el comportamiento o ejecución de un individuo en una situación
determinada que permite recoger información con diferentes propósitos:
- diagnóstico
de una situación
- anticipo
de las posibilidades de éxito en nuevas situaciones
- alcance
de logros (Vera, 2013)
¿porque se hace una prueba?
una prueba se hace para conocer qué
tanto es lo que el aprendiz conoce o entiende por un área o una asignatura o
cualquier tema que se esté analizando en un proceso especifico del área del
saber.
las pruebas sirven desarrollar
un proceso formativo que busca brindar herramientas que les permitan a los
participantes formar a sus estudiantes y evaluar sus aprendizajes en términos
de avances y progreso en habilidades cognitivas, procedimentales y
actitudinales de acuerdo con una temática planteada anteriormente.
- Planificación
y diseño de una prueba
Este
primer paso es clave en el proceso, es en este momento en que se deben
establecer las secciones, partes o etapas en que se divide la prueba, tipos y
cantidad de ítems, estrategia de aplicación, recursos.
Ejemplo:Planeación
de Pruebas.
Es la
etapa en donde se ejecutan las primeras actividades correspondientes al proceso
de pruebas y tiene como resultado un entregable denominado plan de pruebas el
cual debe estar conformado en cuando menos por aspectos tales como:
1.1
Alcance de la prueba: determina que
funcionalidades de la asignatura serán probadas durante el transcurso de la
prueba. Este listado de funcionalidades a probar se extrae con base a un
análisis de riesgos realizado de manera previa, que tienen en cuenta variables
tales como la validez de las preguntas. Producto de este análisis, se cuenta
con información adicional que permite determinar además del alcance detallado
del proceso de pruebas, la prioridad con la que las preguntas deben probarse y
la profundidad de las pruebas.
1.2 Tipos
de Prueba: en este punto se debe determinar qué tipos de pruebas requeriría la
asignatura. No todas las asignaturas requieren la aplicación de todos los tipos
de pruebas que existen, por esta razón, es estrictamente necesario que el
profesor o tutor se plantee preguntas que le permitan determinar qué tipos de
prueba son aplicables al proyecto en evaluación.
Los
posibles tipos de prueba a aplicar son:
- Opción
múltiple
- Correspondencia
- Relación de columnas o apareamiento
- Completamiento
o canevá
- Ordenamiento
o jerarquización
- Multirreactivo
- Respuesta
alternativa
- Solución
de problemas
- Falso-Verdadero
- Respuesta
abierta: respuesta breve y respuesta tipo ensayo.
Estrategia
de Pruebas:
Teniendo
en cuenta la validez, confiabilidad, objetividad, y practicidad es necesario
determinar a través de un análisis de riesgos sobre que funcionalidades debemos
centrar nuestra atención. Escoger contenidos relevantes significativos,
Analizar lo que se desea evaluar, Seleccionar las preguntas, incógnitas o
problemas más adecuados para la verificación de los desempeños deseados.
Adicionalmente,
una buena estrategia de pruebas debe indicar los niveles de pruebas (ciclos)
que aplicaremos y la intensidad o profundidad a aplicar para cada nivel de
pruebas definido. En este punto también es importante definir y Elaborar los
ítems, Armar la prueba, Elaborar criterios de corrección y valores de la
calificación, Analizar los resultados con miras al perfeccionamiento de los
desempeños de los estudiantes y de la propia calidad de las pruebas.
Tambien
se debe tener en cuenta criterios de entrada y salida para cada ciclo de
pruebas a ejecutar.
Criterios
de Salida: entre las partes involucradas en el proceso, se define de manera
formal, bajo qué condiciones se puede considerar que una prueba fue finalizada.
Otros
aspectos: tal y como se realiza en cualquier plan de proyecto, se debe incluir
una estimación de tiempos, los roles y/o recursos que harán parte del proceso,
la preparación del entorno de pruebas, cronograma base, etc.
- Redacción
y perfeccionamiento de ítems
A partir
de la Tabla de Validez de Contenido se procede a que especialistas o expertos
de las distintas áreas redacten ítems que van a formar parte de un banco. Estos
ítems deben ser revisados posteriormente en procesos sucesivos con validadores
y a través de pruebas piloto.De los diversos tipos de ítems se presentarán
recomendaciones sobre los ítems de opción múltiple que se utilizan en
evaluación sumativa, diagnóstica o formativa, porque permiten producir
fácilmente muestreos representativos de lo que pide la TVC. Dentro de las
ventajas de los ítems objetivos de opción múltiple se tienen:
•Poseen
una sola respuesta correcta
•Son muy
sencillos de aplicar
•Se
adaptan a resultados de aprendizaje específicos
•Permiten
un muestreo completo del dominio a evaluar
•Eliminan
el efecto de “halo” en el evaluador
•
Facilitan la calificación automatizada, rápida, fácil y sin divergencia de
opinión o interpretación
•Producen
una calificación estable en el tiempo para una misma persona o bien entre diferentes
evaluadores
•Permiten
una calificación dicótoma (0-1) o de crédito parcial (si se cuenta con software
apropiado para la calificación)
•Pueden
medir conocimientos y habilidades de los objetivos de enseñanza con la misma o
mayor efectividad que otros tipos de prueba
•Favorecen
incrementar la confiabilidad de la prueba
•Son
flexibles para evaluar tanto aprendizajes sencillos como complejos
•Pueden
cubrir todo tipo de contenidos y disciplinas
En
términos generales, el ítem de opción múltiple presenta varias posibles
respuestas que se refieren al contenido de la pregunta, una de dichas
respuestas es la correcta (o la mejor, o la pertinente para un contexto dado) y
las otras son respuestas incorrectas. El establecimiento del número de opciones
de respuesta se define a través de varios elementos asociados a la capacidad de
discriminación de las personas que van a responder la prueba. Entre los
criterios para establecer el número de opciones se encuentran: la edad, el
grado de madurez y escolaridad de los sustentantes, además del tipo y el
objetivo que la prueba persigue. Generalmente se utilizan tres opciones con
niños pequeños y cuatro o cinco opciones con jóvenes o adultos que están
inmersos en un sistema educativo.
Es
importante resaltar que no se acostumbra emplear más de cinco opciones porque
pueden afectar la validez del instrumento por varias razones, como son: el
aumento de la dificultad para que los diseñadores puedan construir opciones
plausibles y el tiempo de respuesta necesario para contestar el ítem.
La
validación de ítems se realiza por otros redactores y especialistas quienes
revisan y corrigen los ítems.
La
validación se enfoca a revisar dos aspectos: contenido y redacción de los ítems.
- Por
contenido se revisa que:
•haya
correspondencia con las especificaciones de la Tabla de
especificaciones (tema y nivel taxonómico),
•no
exista más de una respuesta correcta
•la
respuesta correcta resuelva satisfactoriamente el ítem
•no
existan errores de contenido en la base o enunciado que puedan confundir a los
sustentantes y que la base incluya toda la información estrictamente necesaria
para comprensión del ítem.
- Por
redacción se revisa que:
•sea
clara y adecuada para la población a la que se dirige el examen,
•exista
coherencia temática y gramatical entre la base y las opciones de respuesta, de
manera que se evite dar claves de la respuesta correcta
•las
opciones sean homogéneas en extensión.
•Los
revisores deben contar, además de los ítems, con un formato en el cual indiquen
las modificaciones propuestas para mejorar el ítem, si lo aceptan o rechazan,
en este último caso se requerirá una breve justificación de por qué el ítem se
descarta, nombre del revisor, firma y fecha de revisión.
- Ordenamiento
de los ítems en la prueba
Dependiendo
del propósito de la prueba se pueden tener diferentes configuraciones o formas
de clasificar las pruebas:
•Por el
tiempo, se dividen en pruebas de velocidad y pruebas de poder. En las primeras
se tiene un límite de tiempo y la calificación es un índice de la velocidad de
las respuestas. Las segundas se componen de ítems de dificultad variable
y el tiempo se fija para que por lo menos el 80% de los sustentantes puedan
responder a la prueba. La calificación refleja el nivel de dificultad de los
ítems a los que puede responder el sujeto.
•Por la
forma de emitir la respuesta se puede tener respuesta cerrada y respuesta
abierta. En el primer caso el estudiante elige la respuesta entre varias
opciones, principalmente ítems de verdadero y falso o de opción múltiple. Los
ítems de respuesta libre o abierta permiten que la persona proporcione su
propia respuesta, completando una oración o redactando uno o varios párrafos, resolviendo
un problema matemático de forma libre. Hay otras pruebas: de tipo individual o
colectiva, proyectivas, lápiz y papel o en línea, por mencionar algunas.
La
importancia de definir la presentación se revela cuando se tiene que
dimensionar el proceso de aplicación, debiendo contarse con los recursos
necesarios para la aplicación masiva en condiciones estandarizadas. Por
ejemplo, en el caso de las Pruebas Nacionales, por sus características, son
pruebas de poder, de respuesta cerrada, individual y de lápiz y papel.
- Redacción
de instrucciones
Las
instrucciones deben ser sencillas y concisas.
Tipos de
instrucciones
- Generales para toda la
prueba.
- Por sección.
- Por tipo de ítems.
- De cada ítem.
- Tiempo disponible.
- Cuántas y qué tipo de
preguntas tiene la prueba.
- Cómo se va a calificar.
- Cómo usar la hoja de
respuestas.
- Instrucciones específicas
para responder alguna pregunta.
- Material que se permite
utilizar (diccionario, calculadora, libros, datos, entre otros).
5. Construcción de la tabla
de especificaciones
La siguiente pregunta es ¿cómo se va a evaluar el perfil propuesto? Esta
pregunta se relaciona con la validez que permite garantizar que la prueba mide
el propósito previsto. Dentro de las múltiples formas de contar con evidencias
de validez, la Tabla de Especificaciones proporciona la primera evidencia de la
calidad de la prueba cuyo diseño debe ser hecho de acuerdo con el perfil
prescrito.
La Tabla de Especificaciones debe ser elaborada por especialistas de
cada área a evaluar en conjunto con expertos en medición, quienes deben
determinar los objetivos, contenidos temáticos o las competencias y la
profundidad
que deben alcanzar. Además, dicha tabla establece la dosificación o peso
de los contenidos siguiendo uno o varios de los diversos criterios de asignación siguientes:
(a) la importancia del tema
(b) el tiempo de enseñanza en la práctica docente
(c) el tiempo de aprendizaje para el estudiante
(d) la cantidad de aplicaciones que tiene respecto a otros de la misma
asignatura, (e) la relación que tiene el tema con otras asignaturas que se
cursan en paralelo o a futuro.
La Tabla de Especificaciones se presenta como matriz o tabla de doble
entrada. Los renglones de la tabla contienen las competencias y bloques de
contenidos (pueden ser los temas y subtemas, competencias, objetivos generales,
particulares o específicos de la asignatura u otro elemento de clasificación de
acuerdo con la asignatura), y en las columnas los niveles taxonómicos, niveles
de complejidad o dimensiones del proceso cognitivo1. Las tablas de
especificaciones diseñadas para el Marco Teórico Conceptual de las Pruebas
Nacionales 2pueden servir de base para definir el concepto de la TVC, como se
muestra a continuación con un ejemplo:
Para el diseño de la Tabla de Especificaciones se divide el proceso en
dos etapas. La primera consiste en definir la “tabla general” y la segunda
etapa se enfoca a la “tabla detallada o específica”. La tabla general permite
tener una apreciación global de los grupos o familias de competencias y los
niveles taxonómicos. Esta tabla debe ser discutida por los especialistas de las
áreas de conocimiento, quienes deben llegar a un consenso respecto de las
ponderaciones que reflejen mejor el programa de estudios. Una vez que se tiene
un acuerdo con la tabla general se procede a desglosar las sub-competencias
para identificar los posibles componentes que deben incluirse en la prueba.
Esta etapa requiere de nuevo el consenso de los especialistas de las
áreas junto con los responsables de medición, para establecer los mínimos
medibles por cada componente y nivel taxonómico. A continuación, se describen
ambas tablas.
Tabla general
Tabla Especifica
- Armado de la prueba
en esta etapa se hace el análisis y ajuste de los
ítems a partir de la tabla de especificaciones . Una vez que el instrumento es
aplicado, se realiza el análisis de resultados del mismo, en que se considera
la obtención de puntajes de los evaluados, y se realizan procedimientos
estadísticos para analizar propiedades métricas del instrumento. El detalle de
este procedimiento se desarrolla en profundidad. Luego de la aplicación
definitiva corresponde llevar a cabo la entrega del reporte de resultados y la
retroalimentación, lo cual se expone puntualmente en el cuadernillo.
- Impresión
y reproducción - Aplicación de la prueba
- Distribuir
el material que se haya de entregar a los alumnos.
- Cuidar
el uso adecuado de herramientas para resolver la prueba si esto es
permitido.
- Evitar
que los sustentantes “copien” tiene componentes éticos que hacen esta
tarea una gran responsabilidad para profesores y sustentantes.
- Corrección y calificación de la prueba
- La prueba debe corregirse a la mayor brevedad posible.
- Se pueden realizar análisis estadísticos como el índice de
dificultad y el índice de discriminación.
- Si la prueba fue administrada utilizando hojas de lector óptico
programados especializados, estos cómputos se realizan de manera
automática, pero es importante saber interpretarlos
- Utilizar claves de la prueba y criterios de corrección y de
valoración.
- Retroalimentar a cada uno y al grupo sobre los resultados y las
consecuencias de los mismos.
- Toma de decisiones
- Dar a conocer los resultados definitivos a los estudiantes.
- Acreditar, promover a los sustentantes que aprobaron.
- Analizar los resultados con vistas al perfeccionamiento de los
desempeños de los alumnos y de la calidad de la prueba.
Blog
elaborado por Jorge David Pertuz
Comentarios
Publicar un comentario