Resumen

El aprovechamiento académico de los estudiantes en las matemáticas disminuye drásticamente a partir del quinto grado en Puerto Rico según los resultados en las pruebas estandarizadas Medición y Evaluación para la Transformación Educativa (META-PR)[1].  El Departamento de Educación de Puerto Rico (DEPR) carece de un proceso uniforme para la evaluación formativa de los contenidos de Matemáticas que se administre luego de cada unidad en todos los grados. Para proveer un recurso tanto a docentes como estudiantes desarrollamos pruebas formativas estandarizadas para los grados de 3ro a 11mo. Mediante las Pruebas de Impacto Matemático (PIM) se mide dominio conceptual en los objetivos de adquisición y de transferencia para cada unidad/tema del grado[2].  Las PIM se administran utilizando “Moodle” y los resultados están disponibles al momento. Como parte del proceso de la prueba, los maestros son adiestrados y reciben una guía curricular con recomendaciones específicas sobre cómo administrar, evaluar, y re-enseñar a los estudiantes optimizando su práctica pedagógica.  Durante esta presentación compartiremos como docentes y sus “coaches” en dos escuelas secundarias en la Región Educativa de San Juan optimizaron su práctica pedagógica aumentando el aprovechamiento académico de sus estudiantes en las pruebas META-PR 2016.

Introducción

Durante los últimos veinte años, en el campo educativo se han realizado cuestionamientos acerca de cuán bien los paradigmas educativos tradicionales responden a los procesos de cómo se aprende y cómo se desarrolla el conocimiento.  Es por esto que se han planteado una serie de cambios en los enfoques, los procesos y las prácticas educativas. A medida que el tiempo pasa la tecnología ha ido incrementando positivamente el proceso de aprendizaje de los alumnos. Con esto, se demuestra que son muchos los beneficios que esta ofrece a la educación en nuestra sociedad. Más aún cuando la juventud esta tan expuesta a la misma.

Según establecido por el Departamento de Educación en la Carta Circular # 07-2016-2017[3], la matemática como disciplina escolar, debe promover que los estudiantes formen esquemas mentales en los que adquieren sentido los contenidos y los procesos matemáticos, con un grado razonable de abstracción para entender las matemáticas con sentido y no simplemente memorizar un conjunto de reglas y procedimientos.  A pesar de que la tecnología no sustituye al maestro, las nuevas tecnologías abren espacios en los que el estudiante puede vivir experiencias difíciles de reproducir con los medios tradicionales como el lápiz y el papel. Aliaga & Bartolome (2005), en sus investigaciones, establecen que es necesario desarrollar en los estudiantes competencias en relación con la autorregulación del aprendizaje, y en general, con el aprendizaje autónomo e insistir en el desarrollo de competencias (habilidades, conocimiento y criterios) en la búsqueda, valoración, selección, interpretación y aplicación de la información. El elemento clave es qué herramientas / estrategias son las más adecuadas para garantizar el aprendizaje de los estudiantes y a su vez cuáles son las más factibles para que los maestros puedan impartir una enseñanza de calidad.

Actualmente, en las escuelas públicas de Puerto Rico se utilizan las Pruebas de Medición y Evaluación para la Transformación Académica de Puerto Rico (META-PR) para evaluar el aprovechamiento académico de los estudiantes en las materias de inglés como segundo idioma, matemáticas, español y ciencias. Estas pruebas están alineadas a los estándares de excelencia de contenido establecidos en el año 2014 (PRCS 2014), por el Departamento de Educación de Puerto Rico y cumple con los requisitos estatales y federales, y el acuerdo que el DEPR tiene con el Departamento de Educación de los Estados Unidos, incluyendo la nueva ley federal Every Student Suctains Act (ESSA). Los resultados de esta prueba, administrada durante el año académico 2015-16, muestran que a medida que los estudiantes avanzan en el grado, el nivel de proficiencia disminuye (ver figura 1).

Figura 1. Porcentaje de estudiantes en nivel de proficiencia/avanzado según el grado (año académico 2015-16).

Uno de los “problemas/inconvenientes” de las pruebas META-PR es que se administran solo una vez al año y los resultados se reciben ya cuando el año académico ha finalizado. Asi que sólo le dan una visión al maestro del aprovechamiento académico del estudiante al final del curso y no necesariamente durante el proceso. Además que no mide los grados de 9no y 10mo, dejándolos desprovistos de la evaluación del aprovechamiento académico por medio de pruebas estandarizadas. Es por esto, que Global Education Exchange Opportunities desarrolló las Pruebas Impacto Matemático (PIM) desde 3ero a 11mo grado.  A través, del uso de las PIM, se pretende apoderar a maestros con el contenido que enseñan y brindarle al estudiante un sistema de retrocomunicación constante acerca de su aprovechamiento académico.

Desarrollo

Las Pruebas Impacto Matemático fueron desarrolladas y validadas durante el año académico 2014-15.  Estas pruebas utilizan como marco teórico los mapas curriculares que utilizan los maestros para la enseñanza de las matemáticas.  El mapa curricular[4] es un docuemnto oficial del Departamento de Educación, el cual contiene en los resultados deseados; el resumen de la unidad, preguntas escenciales y comprensión duradera, objetivos de transferencia y adquisición, los estándares de Puerto Rico (PRCS 2014), etapa 1 (resultados esperados); alineación de la unidad, enfoque de contenido, dominio y destrezas, etapa 2 ( evidencia de avalúo); tareas de desempeño y otra evidencia y la etapa 3 (plan de aprendizaje); actividades de aprendizaje sujeridas y ejemplos para planes de la lección. Cada grado contiene varias unidades (mapa curricular) según el contenido que el maestro desarrollará a través del año escolar. Las PIM están diseñadas para medir el aprovechamiento académico antes y después de cada una de las unidades del grado (ver figura 2).

Figura 2. Estructura de las PIM del curso Pre Álgebra del séptimo grado.

Los profesionales participantes de las PIM fueron los siguientes: Dra. Odette Piñeiro –  supervisión del proyecto, Dra. Sylvia Hernández – supervisión del proyecto, Dra. Cristina Alvarado – validación del contenido de todos los grados, administración de pruebas, asesoramiento de todo el estudio, Prof. Julmarie Alvarado – coordinación del proyecto y pruebas en Moodle, Dr. Edgardo Reyes – diseño y redacción de pruebas de undécimo grado, estudio de confiabilidad y análisis de datos, Prof. María A. Hernández Alvarado – diseño y redacción de undécimo grado, Prof. Juanita Alvarado –  diseño y redacción de tercero a sexto grado y Prof. Jenyfer Albelo – diseño y redacción de séptimo, octavo y noveno grado.

En el proceso de validación de estas pruebas se analizó el contenido de cada ítem y su alineación con los objetivos de transferencia y adquisición y los Estándares y Expectativas del Grado (PRCS 2014), según el Mapa Curricular de los grados de 3ro al 11mo.

Elementos que incidieron en el desarrollo de las PIM (ver figura 3):

Figura 3.  Proceso para el diseño de las PIM.

Una vez validadas las PIM, se realizó un estudio piloto para determinar la confiabilidad de las mismas (Fraenkel y Wallen, 2006). Es decir, las pruebas se administraron a una pequeña muestra de estudiantes similar a la población de interés que no es participante del Proyecto. Se calculó el coeficiente de confiabilidad o de consistencia interna Alfa de Cronbach con los datos obtenidos en el estudio piloto, con el propósito de determinar el nivel de confiabilidad de las pruebas (Fraenkel y Wallen, 2006). De esta manera se evaluó la consistencia interna de las pruebas.

Las escuelas participantes del estudio de confiabilidad fueron SU Ana Dalila Burgos Ortiz y Escuela Alberto Meléndez del pueblo de Orocovis P.R., Escuela Albert Einstein del pueblo de San Juan P.R., Escuela Rosalina C. Martínez y Escuela Mariano Abril del pueblo de Guaynabo P.R.

Según Hernández, Fernández y Baptista (2006), el coeficiente de confiabilidad o de consistencia interna Alfa de Cronbach puede oscilar entre cero y uno; donde un coeficiente de consistencia interna Alfa de Cronbach con valor de cero, significa una confiabilidad nula; y un coeficiente de consistencia interna Alfa de Cronbach con valor de uno, representa un máximo de confiabilidad. Para propósitos de las Prueba Impacto de Matemático el coeficiente de confiabilidad debe ser aproximadamente 0.70 (Fraenkel y Wallen, 2006). Se utilizó el programa computarizado Statistical Package for Social Sciencies (SPSS), para calcular el coeficiente de confiabilidad Alfa de Cronbach.

Lo que se busca es que todos los valores sean positivos. Así como el Alfa de Cronbach, los puntajes deben ser altos. Si la correlación ítem – prueba es negativa o aunque sea positiva, es muy baja, no están fuertemente relacionados con el puntaje total de la prueba. En general, cuando ocurre esto lo lógico es retirar los ítems que no funcionan bien del análisis para aumentar el Alfa de Cronbach.

Durante el año escolar de 2015-2016, estas evaluaciones fueron validadas para los grados de tercero al undécimo, y están disponibles con guías de puntuación, rúbricas y anclaje para papel, lápiz y/o administración digital (Moodle), que permite una fácil administración y clasificación de resultados en menos de 24 horas sin necesidad de acceso a Internet fiable. Utilizando el indicador de Alfa de Cronbach, que es utilizado para estudiar las correlaciones entre los elementos de prueba, más conocido como consistencia interna. Los datos son los siguientes (figura 4):

Figura 4.  Consistencia interna de las PIM de tercero a undécimo grado.

Luego de validadas, durante el año académico 2015-16 estas pruebas se administraron en dos escuelas secundarias de la región educativa de San Juan.  Como resultado los estudiantes mostraron un aumento significativo en su aprovechamiento académico.  Esto evidenciado con los resultados de las Pruebas META-PR 2016 y las notas.  En la escuela Rosalina Caraballo de Martínez, se reflejó un aumento en el nivel de proficiencia en los grados 8vo y 11mo de un 14% y 16% respectivamente. Por otra parte, la escuela Mariano Abril Intermedia reflejó aumento en los grados de 7mo y 8vo de un 11% y 1% respectivamente.

El Consejo Nacional de Maestros de Matemáticas (2007) destaca la importancia de utilizar la Evaluación Formativa para que la enseñanza y el aprendizaje puedan ser alterados en función de los resultados. Cuando se usa la evaluación formativa, ayuda a los estudiantes a aclarar y entender lo que deben saber, crea una comunicación o discusiones efectivas y los estudiantes son un recurso de aprendizaje uno para el otro. Otras investigaciones como Hanover Research (2014) mencionan que los estudiantes que reciben una evaluación formativa tienen mejores resultados y mejoran los resultados de aprendizaje que aquellos que no. También es beneficioso para los estudiantes que no alcanzan el nivel adecuado (Black & William, 1998). Esta estrategia se ha dado por sentado.

Con la prueba de impacto los profesores pueden evaluar y evaluar casi de inmediato y los estudiantes pueden responder preguntas y mejorar el proceso de aprendizaje-enseñanza. Cuando se entregan apropiadamente, se requiere que los maestros (a) conozcan sus estándares, (b) comparten objetivos de aprendizaje limpios, (c) recojan y documenten evidencias del aprendizaje de los estudiantes, (d) interpreten los datos para proveer retroalimentación efectiva que promueva el aprendizaje de los estudiantes, (Chapuis et al., 2012) citado en Chan et al., 2014. Si la retroalimentación se dirige al nivel adecuado, puede ayudar a los estudiantes a comprender, involucrarse o desarrollar estrategias efectivas para procesar la información que se pretende aprender (Hattie y Timperley, 2016).

Una vez administradas y obtenidos los resultados de los estudiantes de la pre y post prueba por unidad, se agruparon por indicador (objetivos de transferencia y de adquisición), se tabularon, se analizaron, se interpretaron y se establecieron las prioridades por grupo y grado.  Luego el coach de matemáticas discutió y estableció las recomendaciones de cómo se atendieron las prioridades establecidas con el maestro/a de la sala de clases regular y el maestro/a de salón recurso del programa de educación especial.  Estas prioridades y necesidades de los estudiantes fueron atendidas durante el año escolar por el maestro/a de matemáticas y el maestro/a de salón recurso del programa de educación especial en el tiempo lectivo de las escuelas.  A demás se atendieron en el Tiempo Lectivo Extendido (TLE) de la Escuela Rosalina Caraballo de Martínez y el Centro de Recuperación de Destrezas (CRD) de la Escuela Mariano Abril Intermedia, luego del horario escolar.  Esta estrategia fue fundamental en el aumento del aprovechamiento académico de los estudiantes según las notas y en el aumento del nivel de proficiencia en los resultados de las Pruebas META-PR 2016.

De acuerdo a los resultados de las PIM se puede ver el aumento y disminución del aprovechamiento académico de acuerdo a las unidades administradas durante el año escolar 2016-2017 (ver figura 5).

La distribución de notas en la comparativa de las 10 y 30 semanas (ver figura 6), se observa el aumento o disminución del aprovechamiento académico.  En la escuela Mariano Abril Intermedia se observa que hubo un aumento en el aprovechamiento académico en las notas de las 30 semanas en comparación con las 10 semanas.  Por otro lado, el informe muestra un aumento en la Escuela Rosalina Caraballo de Martínez en los grados de noveno y décimo, teniendo como prioridades los grados de séptimo y octavo.

Figura 6. Informe Distribución de Notas (comparativa 10 semanas vs 30 semanas, Escuelas Mariano Abril Intermedia y Rosalina Caraballo de Martínez (marzo 2017).

Se ofrecieron adiestramientos, coach y seguimiento a los maestros participantes sobre: las PIM, el uso de los datos (resultados de las PIM), toma de decisiones (rendición de cuentas), Guías Instruccionales de Matemáticas y Cuadernos de Destrezas de Matemáticas.

Con el fin de facilitar la planificación y el proceso de enseñanza aprendizaje en la sala de clases y como herramientas complementarias de las PIM, se diseñaron las Guías Instruccionales de Matemáticas y los Cuadernos de Destrezas de Matemáticas para los grados de 6to, 7mo, 8vo, 9no y 11mo grado.  Tomando en cuenta que el maestro no cuenta muchas veces con los recursos como: tecnológicos (internet), libros, guías, cuadernos de ejercicios entre otros. En ocasiones hay maestros que tienen dudas sobre cómo enseñar algún indicador, estas herramientas son de gran apoyo, ayuda y de fácil acceso para el maestro.

Guías Instruccionales de Matemáticas:

  • Desarrollan todos los conceptos y destrezas a enseñar según las unidades de los Mapas Curriculares del Departamento de Educación de Puerto Rico.
  • Se utilizaron como marco de referencia los documentos normativos del DEPR, tales como Alineación Curricular, Estándares de Contenido y Expectativas de Grado (PRCS 2014) de Matemáticas, Mapas Curriculares, Plan de Unidad y Calendario de Secuencia.
  • Están compuesta por diferentes partes entre ellas: descripción de las unidades, vocabulario, contenido: incluye ejemplos uno de estos desarrollado por pasos, los otros, incluyen las respuestas.
  • Incluyen las Tareas de Desempeño: desarrolladas por pasos y hojas de ejercicios de práctica para los estudiantes. Las Tareas de Desempeño se ofrecen con el objetivo de brindar alternativas para el uso y aplicación de estas en la sala de clases.
  • Como parte de las Tareas de Desempeño se incluyen algunas recomendaciones sugeridas que pudiesen implementarse para la educación diferenciada en la sala de clases.

Cuaderno de Destrezas de Matemáticas:

  • Contienen ejercicios de práctica con las destrezas de los grados.
  • Diferentes fuentes, entre ellas META – PR 2015-2016, Pre y Post del DEPR y ejercicios de NAEP para el 8vo grado.
  • Descriptores de las META – PR 2016.
  • Respuestas de los ejercicios.
  • Direcciones de diferentes recursos con ejercicios y juegos adicionales.

Conclusión

          Las PIM se implementaron con el propósito de:

  • diagnosticar a través de los resultados de la pre prueba, el conocimiento previo de cada estudiante sobre el contenido de la unidad.
  • cuantificar a través de los resultados de la post prueba, el aumento en por ciento adquirido por unidad de cada estudiante mediante la comparación de los resultados de la pre y la post prueba.
  • identificar los conceptos y destrezas de mayor y menor dominio en cada unidad, tanto en la pre prueba como en la post prueba.
  • atender las necesidades específicas de cada estudiante para el proceso de enseñanza aprendizaje y de re-enseñanza.

Las PIM están centradas en monitorear y aumentar el aprovechamiento académico de los estudiantes en la materia de matemáticas.  Promueve al maestro la toma de decisiones basadas en los datos, (ver figura 7).

Figura 7. Proceso de la toma de decisiones según los resultados de las PIM.

Las PIM permiten diferenciar la educación ya que le provee al maestro una evaluación diagnóstica (Pre Prueba) del estudiante en cada unidad.  Se identifican las fortalezas y debilidades de cada estudiante sobre el contenido de las unidades.  Puede formar parte de la evaluación sumativa del estudiante.  Sirve de enfoque para la evaluación formativa.  Favorece el proceso de assessment.  Acceso a los resultados de las pruebas (pre y post) de inmediato, si se administra a través de la plataforma Moodle.

Promueve el proceso de investigación en acción en la sala de clases para la toma de decisiones:

  • inversión de tiempo ya que se puede utilizar como parte de los instrumentos de evaluación del estudiante y los resultados están disponibles una vez el estudiante termine de contestar la pre o post prueba (si es a través de la plataforma Moodle).
  • los resultados se utilizan para la planificación de la clase, el proceso de re-enseñanza.
  • la integración y alineación entre estándares y entre las unidades de los mapas curriculares.
  • las Estrategias de Educación Diferenciada a utilizar en los sub grupos de estudiantes en la sala de clases.
  • el desarrollo e implementación del Proyecto Innovador del maestro.
  • el desarrollo e implementación del Plan MECPA en el área de matemáticas (comunidades de aprendizaje).
  • su construcción es en selección múltiple y en respuestas extendidas, por lo que promueven la práctica para las Pruebas META-PR.

Las PIM le brindan la oportunidad al estudiante de aumentar su aprovechamiento académico de acuerdo a las necesidades (destrezas no dominadas) identificadas en los resultados de la pre prueba y luego en comparación con la post prueba.

El estudiante se hace partícipe de su progreso académico; de antemano tiene una noción del dominio sobre el contenido de la unidad y las áreas de necesidad por lo que se enfoca en la construcción de su aprendizaje de forma individual y entre pares.  Pueden acceder sus resultados para hacerse una autoevaluación de su aprovechamiento académico y tomar decisiones.  Desarrolla el liderazgo en los estudiantes mentores, en la enseñanza entre pares.

Las proyecciones para el año escolar 2017-2018, se encuentran:  desarrollar hojas de progreso de los resultados de la Pre y la Post de las PIM por estudiante para ser discutidas con los padres en las entregas de las notas a las 10, 20, 30 y 40 semanas.

Bibliografía

Frankel, J. y Wallen, N. (2006). How to Design and Evaluate Research in Education. 6th ed. Mc Graw Hill, New York.

Hernández, R., Fernández, C., y Baptista, P. (2006). Metodología de la Investigación. (3rd  ed.). México: McGraw-Hill.

Anexos

[1] http://www.de.gobierno.pr/files/PPT_RESULTADOS_METAPR_2016.pdf

[2] Las Pruebas de Impacto Matemático (PIM) desarrolladas por Global Education Exchange Opportunities, Inc.

[3] Carta Circular Núm. 07-2016-2017 Política Pública sobre la Organización y la Oferta Curricular del Programa de Matemáticas en los Niveles Primario y secundario de las Escuelas Públicas de Puerto Rico.

[4]http://intraedu.dde.pr/Materiales%20Curriculares/Forms/AllItems.aspx?RootFolder=%2FMateriales%20Curriculares%2FMatem%C3%A1ticas&FolderCTID=0x012000FD4344A3AA05134AA793F1EFE40EB099&View={20BE0ADC-980C-4B35-8826-DB6381045F03}