DESCRIPCIÓN TÉCNICA DE LA PRUEBA

Generalidades

La prueba aplicada a los futuros estudiantes de secundaria mide el nivel de desarrollo de las habilidades para el aprendizaje.  Las habilidades consideradas, como se ha dicho, son las relacionadas con el procesamiento de información verbal, de información matemática y de información gráfica.  A cada tipo de información corresponde un subtest dentro de la prueba.

Es importante insistir en que la prueba no mide el dominio de conocimientos disciplinares abordados durante el 6° grado de educación primaria, por lo que no deben realizarse inferencias sobre lo que el alumno “sabe” a partir de los resultados obtenidos.  Esto no significa, sin embargo, que los conocimientos disciplinares sean estrictamente prescindibles:  se ha mencionado ya que las habilidades implican conocimientos procedurales, asociados al manejo de códigos, principios y algoritmos provenientes del campo de los conocimientos declarativos.  Conviene tener en cuenta que el “...conocimiento declarativo pone el acento en el qué se conoce, es decir, se refiere al conocimiento de los hechos.  [En tanto que]  las estrategias o el conocimiento procedural se refiere al cómo, es decir, al conocimiento sobre el tipo de reglas que debemos aplicar para realizar una tarea o resolver un problema”.[1]

Para cumplir con el propósito de medir el desarrollo de habilidades, la prueba está conformada con preguntas de diferente grado de dificultad.  En algunos casos, el grado de dificultad ha sido establecido con gran precisión mediante el modelo de análisis estadístico de G. Rasch, al cual se hará referencia en el apartado “Procesamiento de los resultados”.  En otras ocasiones, el grado de dificultad ha sido estimado por los expertos responsables de la elaboración de la prueba, quienes han considerado alguno de los siguientes aspectos, o dos o tres de ellos:       1)  la dificultad teórica de la tarea impuesta;  2)  la complejidad de la habilidad específica que se mide en cada pregunta;  3)  el grado de asimilación que tiene la pregunta con otras cuya dificultad ha sido determinada usando el modelo de Rash.

Las preguntas de la prueba son de opción múltiple, de tal modo que el instrumento se clasifica como una prueba objetiva.  Al tomar la decisión de utilizar este tipo de instrumento no se ignoró que son numerosos los miembros de la comunidad educativa que objetan las pruebas de opción múltiple enfatizando sus limitaciones intrínsecas o los supuestos teóricos y epistemológicos que subyacen en su confección.  Se tuvo en cuenta que, en muchos casos, las críticas apuntan, efectivamente, a los inconvenientes de utilizar pruebas de este tipo en circunstancias a las que respondería mejor otra clase de instrumentos.  Pero es cierto también que en otras ocasiones las críticas pasan por alto que, ante circunstancias específicas, las pruebas de opción múltiple siguen constituyendo la única herramienta de la que dispone la medición educativa hasta el presente.  De hecho el importante desarrollo del software para análisis de respuestas ha favorecido la permanencia y uso de este tipo de instrumentos en el ámbito educativo, pues aporta recursos diversos y de constante interés tanto para retroalimentar a los expertos elaboradores de pruebas, como para el conocimiento de varios aspectos de la población sustentante del examen.

Así, el diseño del IDANIS planteó desde un principio la disyuntiva de utilizar pruebas objetivas de opción múltiple o bien pruebas de otro tipo.  Los problemas, búsquedas y propuestas de esta etapa confirman la percepción de Glass y Ellet, quienes definen el ámbito de la evaluación “...como un conjunto de actividades teóricas y prácticas sin un paradigma ampliamente aceptado...”.[2]   Vale la pena apuntar que la reticencia inicial a emplear pruebas objetivas de opción múltiple se basó en dos hechos:  por un lado, el que éstas tienen su origen en la tecnología educativa;  y, por el otro, la aparente incongruencia entre el fin de las pruebas de este tipo, que miden “lo observable”, y el propósito del IDANIS, que consiste en aproximarse a lo implícito puesto en juego por los sustentantes.  En otras palabras:  en apariencia existiría una incongruencia al usar un tipo de instrumento dirigido comúnmente a la medición de productos, siendo que el propósito del IDANIS es medir procesos.

No obstante, las circunstancias a que debía adecuarse el instrumento definieron la elección de la prueba objetiva con reactivos de opción múltiple pues las ventajas que ofrecía eran mayores respecto a cualquier otro tipo de instrumento.  Tales ventajas son las siguientes:

1.    Aplicación masiva, garantizando una homogeneidad en el proceso de administración, que se traduce en una oferta equitativa para los aspirantes.

2.   Diseño e instrumentación de una logística para la aplicación, en la cual las funciones de los participantes se definen y deslindan sin ambigüedad.

3.   Registro de las respuestas del sustentante en una hoja para lector óptico, independiente del cuadernillo de preguntas.

4.   Registro de las respuestas del sustentante en un lapso breve.

5.   Medición de una mayoría de los niveles en que se clasifica el desarrollo de las habilidades para efectos del proyecto.

6.   Lectura inequívoca de las respuestas emitidas por el sustentante.

7.   Calificación por medios electrónicos, lo cual garantiza una eficiencia del 100% en esta fase del proceso.

8.   Conformación de una base de datos a partir del levantamiento, lo cual permite la consulta rápida y un procesamiento ágil de la información para efectos de emisión de resultados, retroalimentación al Sistema Educativo Nacional e investigación educativa.

9.   Proyección de una total transparencia hacia los sustentantes, usuarios y participantes.

Como una consecuencia de la elección del tipo de prueba, los expertos de la DGE realizaron una redefinición de la manera en que debían construirse las opciones presentadas al sustentante en cada pregunta.  Es decir, que más allá de los lineamientos clásicos[3] para la confección de preguntas de opción múltiple, resultó necesario puntualizar la manera en que debería estructurarse cada opción.

El hecho anterior merece ser comentado aún sea brevemente, en vista de que representa un producto del estudio:  En efecto, dado que la medición de las habilidades plantea la necesidad de conocer los posibles errores de procedimiento en que incurriría el alumno, se decidió que las opciones incorrectas presentaran necesariamente errores característicos, cuya interpretación pudiera conducir al esclarecimiento de los aspectos que interfieren en la solución de la tarea.  En este sentido, la elaboración de los distractores ha significado un ejercicio de suma importancia en la medida que ha obligado a una mejor caracterización de las habilidades y su construcción y desarrollo por parte del sujeto.  Como se comprende, el resultado de este diseño es una fuente de información sumamente rica en relación con qué estrategias aplican los alumnos y cómo lo hacen.  Por el cúmulo de información que significa, la explotación de este abundante bagaje sólo se ha realizado a partir de algunas muestras hasta la fecha.

Particularidades

La estructura del IDANIS se presenta en el siguiente cuadro:

ESTRUCTURA

SUBTEST INTEGRANTES DE LA PRUEBA IDANIS   

A continuación se describe el contenido genérico de cada una de las unidades de diagnóstico:

·       Comprensión lectora

Esta unidad está integrada por preguntas que permiten la medición de las habilidades que posee el sustentante para acceder al contenido de una comunicación escrita. Dichas preguntas  permiten medir habilidades relacionadas con las siguientes tareas: reconocer o construir el significado de vocablos; suprimir información trivial, redundante o ajena al interior de un texto; globalizar la información y jerarquizarla;  así como reconocer la estructura discursiva adoptada.  Por otra parte, permite medir habilidades relacionadas con la reconstrucción de las ideas de un texto y la realización de inferencias a partir de información explícita.

Las preguntas de esta unidad corresponden a la modalidad llamada multirreactivo, pues dependen es su conjunto de un texto fuente.

·       Completación de oraciones

Mediante esta unidad se miden habilidades relacionadas con las siguientes tareas:  la reintegración de un texto breve a partir de los elementos subsistentes, apelando para ello a alguno o algunos de los siguientes recursos: reconocimiento de la secuencia temporal, identificación de la relación lógica, identificación de las relaciones atributivas y reconocimiento de la concordancia gramatical.

Las preguntas de esta unidad consisten en textos incompletos que caben dentro de la categoría del Test de Cloze, conformados por dos o más oraciones.

·       Aritmética

Las preguntas incluidas en esta unidad permiten detectar el desarrollo de habilidades relacionadas con las siguientes tareas:  reconocer y relacionar los elementos de un problema que implique tanto la traducción de situaciones verbales a su expresión numérica, así como el análisis de datos numéricos y la realización de cálculos básicos.

Las preguntas que integran la unidad muestran la estructura de problema y, en consecuencia, exigen al sustentante la identificación de los datos involucrados y la relación que guardan entre sí, así como la elección y realización de los cálculos pertinentes.

·       Geometría

Mediante las preguntas de esta unidad se obtienen datos acerca del desarrollo de las habilidades del sustentante, mediante las cuales puede abordar las siguientes tareas: la interpretación de las relaciones espaciales de figuras y cuerpos representados en dos dimensiones, auxiliado por la expresión aritmética de las mismas

En general, las preguntas que integran la unidad presentan figuras geométricas en las cuales el sustentante debe identificar relaciones de igualdad, desigualdad o proporción.

·       Series de figuras

Las preguntas comprendidas en esta unidad se refieren a las habilidades relacionadas con las siguientes tareas:  la solución de casos-problema cuya expresión, no siendo verbal ni matemática, implica la detección de las reglas de un proceso que tiene lugar en el tiempo y el espacio.

Las preguntas que integran esta última unidad presentan, efectivamente, series de figuras en las cuales el sustentante debe reconocer procesos de cambio y evolución fundados en los principios de adición o sustracción de elementos, rotación y orientación de las figuras, así como secuencias de alternancia.