Criterios de idoneidad emitidos por futuros maestros de primaria en la valoración de vídeos educativos de matemáticas

Suitability criteria used by future primary school teachers in the assessment of math educational videos

Critérios de idoneidade na avaliação de vídeos educativos de matemáticas realizados por futuros professores do ensino fundamental

María Burgos Navarro1, María José Castillo Céspedes2

Received: Dec/11/2020 • Accepted: Apr/9/2021 • Published: Jul/31/2021

Resumen En esta investigación, se describen los criterios que asumen, de manera implícita, un grupo de futuros maestros de primaria, cuando han de valorar la adecuación de la trayectoria didáctica planificada con el visionado de dos vídeos en un canal educativo para la enseñanza de un contenido concreto, el porcentaje en sexto curso de primaria. Se emplea la metodología de análisis de contenido para examinar los informes escritos, producidos por 61 estudiantes de tercer curso del grado de educación primaria, durante el año lectivo 2019-2020, en el marco de la asignatura Diseño y Desarrollo del Currículum de Matemáticas de Educación Primaria, en la Universidad de Granada, España. Para la valoración de sus informes, se toma como base el análisis a priori consensuado de la idoneidad didáctica de los vídeos educativos, realizado por ambas investigadoras. Los resultados muestran que los educandos utilizan, implícitamente, criterios epistémicos e interaccionales en gran medida, pero también cognitivos, afectivos y ecológicos. Aunque en general sus valoraciones son bastante imprecisas, reconocen la necesidad de que el docente analice la pertinencia de este tipo de recursos antes de recomendarlo a sus alumnos, cuales, con la llegada del COVID-19 y dado el formato de docencia virtual, han adquirido un papel fundamental en la enseñanza. Se refleja la importancia de otorgar oportunidad a los formadores, para reflexionar sobre la práctica, incorporando herramientas que permitan dirigir su atención a aspectos relevantes del proceso de enseñanza y aprendizaje. Palabras clave: Formación de profesores; competencia reflexiva; criterios de idoneidad didáctica; vídeo educativo; porcentajes. Abstract This research describes the criteria implicitly used by a group of future primary school teachers when assessing the adequacy of the planned didactical trajectory after watching two videos in an educational channel to teach sixth graders a specific content, percentages. The content analysis methodology is used to examine the written reports prepared by 61 third-year students enrolled in the class Design and Development of Primary Education Mathematics Curriculum during the 2019-2020 school year, as part of the Primary Teacher Education program at the University of Granada, Spain. Their reports were assessed based on the authors’ a priori consensus analysis of the didactic suitability of educational videos. Results show that student teachers implicitly use epistemic and interactive criteria to a great extent, as well as cognitive, affective, and ecological criteria. Although in general their assessments are quite inaccurate, student teachers recognize the need for teachers to analyze the relevance of these resources before recommending them to their students, which have acquired a fundamental role in education with the virtual teaching format due to the arrival of COVID-19. The paper highlights the importance of giving educators the opportunity to reflect on the practice by incorporating tools that allow them to direct their attention to relevant aspects in the teaching and learning process. Keywords: teacher training; reflective competence; didactic suitability criteria; educational video; percentages. Resumo Nesta pesquisa, são descritos os critérios que um grupo de futuros professores do ensino fundamental assumem, de maneira implícita, quando têm que avaliar a adequação da trajetória didática planejada com a perscrutação de dois vídeos em um canal educativo para o ensino de um conteúdo concreto, a porcentagem no sexto ano do ensino fundamental. Emprega-se a metodologia de análise de conteúdo para examinar os relatórios escritos, produzidos por 61 estudantes do terceiro ano do ensino fundamental, durante o ano letivo 2019-2020, na referência da matéria Desenho e Desenvolvimento do Curriculum de Matemática do Ensino Fundamental, na Universidade de Granada, Espanha. Para a avaliação de seus relatórios, toma-se como base a análise a priori consensuada da idoneidade didática dos vídeos educativos, realizada por ambas as pesquisadoras. Os resultados mostram que os educandos utilizam, implicitamente, critérios epistémicos e interativos de maneira considerável, mas também cognitivos, afetivos e ecológicos. Embora, em geral, as avaliações sejam bastante imprecisas, reconhecem a necessidade de que o docente analise a pertinência deste tipo de recursos antes de recomendá-lo aos alunos, os quais, com a chegada da COVID-19 e dado o formato de docência virtual, adquiriram um papel fundamental no ensino. Reflete-se a importância de outorgar aos formadores a oportunidade de refletir sobre a prática, incorporando ferramentas que permitem direcionar a atenção a aspectos relevantes do processo de ensino e aprendizagem. Palavras-chave: formação de professores; competência reflexiva; critérios de idoneidade didática; vídeo educativo; porcentagens.

Introducción

El uso de vídeos educativos disponibles en internet ha aumentado a un ritmo desorbitado en los últimos años. La situación en la que nos encontramos actualmente, debido a la COVID-19, ha llevado a docentes a recurrir con mayor frecuencia a vídeos alojados en plataformas como YouTube como medio de enseñanza y aprendizaje, en distintas disciplinas y niveles educativos.

Los vídeos educativos alojados en plataformas en línea constituyen un recurso muy utilizado en propuestas pedagógicas, como en el ‘flipped learning’ (He, Holton, Farkas y Warschauer, 2016; Zainuddin, Habiburrahim, Muluk, y Keumala, 2019). Se trata de un recurso de aprendizaje que no deja de estar ajeno a la controversia sobre cómo alcanzar un aprendizaje significativo mediante su uso. Diversas investigaciones discuten el papel que el uso de YouTube y otras plataformas pueden jugar en la educación formal, analizando cómo se pueden incorporar los recursos online en contextos educativos concretos (Borba, Askar, Engelbrecht, Gadanidis, Llinares y Aguilar, 2016; Dabbagh y Kitsantas, 2012; Duffy, 2008; Portugal, Arruda y Passos, 2018; Turney, Robinson, Lee y Soutar, 2009).

Desde la investigación en didáctica de las matemáticas se señala la importancia de que los propios docentes analicen, valoren y escojan los vídeos educativos idóneos para su alumnado (Burgos, Beltrán-Pellicer y Godino, 2020; Beltrán-Pellicer, Giacomone y Burgos, 2018). Esto es debido a que no todos especifican el nivel educativo al que se dirigen o los conocimientos previos necesarios, los significados de los objetos matemáticos involucrados pueden no ser acordes con lo que se está abordando en clase y es frecuente la presencia de errores conceptuales y procedimentales en estos recursos. Además, como destacan Beltrán-Pellicer et al. (2018), los vídeos con métricas de mayor popularidad no tienen por qué coincidir con los más idóneos desde el punto de vista didáctico.

Diversos enfoques en formación de profesores defienden la reflexión sobre la práctica docente como competencia fundamental para el desarrollo profesional y la mejora de la enseñanza (Gellert, Becerra y Chapman, 2013; Ramos-Rodríguez, Flores y Ponte, 2017). Se trata de promover la reflexión del profesor sobre la acción, identificando aspectos claves que afectan los procesos de instrucción y orientando la toma de decisiones de mejora con base en dichas reflexiones. El modelo de categorías de conocimientos y competencias didáctico-matemáticas del profesor de matemáticas propuesto por el enfoque ontosemiótico (EOS) del conocimiento y la instrucción matemáticos (Godino, Batanero y Font, 2007; Godino, Giacomone, Batanero y Font, 2017) permite categorizar y promover los diferentes tipos de conocimientos y competencias profesionales, orientando la formación de profesores de matemáticas. Este modelo destaca la importancia de diseñar e implementar acciones formativas que promuevan, entre otras, la competencia de análisis de la idoneidad didáctica, refirida a la reflexión global sobre la práctica docente, su valoración y gestión para su mejora progresiva. Los criterios de idoneidad didáctica reflejan consensos sobre cómo debe ser una buena enseñanza de las matemáticas, por lo que actúan de manera implícita como regularidades en el discurso de los estudiantes para maestro, cuando aún no han recibido formación sobre el uso de dicho constructo para guiar su reflexión sobra la acción (Breda, Font y Pino-Fan, 2018; Esqué de los Ojos y Breda, 2021; Hummes, Font y Breda, 2019).

El propósito de este estudio es analizar las valoraciones que realizan maestros de educación primaria en formación sobre vídeos educativos de matemáticas, centrándonos en el contenido de los porcentajes. En primer lugar, se realizó un análisis experto basado en las herramientas teórico-metodológicas del EOS (Godino et al., 2007; Godino et al., 2017). A continuación, las valoraciones de los estudiantes para maestro fueron clasificadas a través de los criterios y componentes de idoneidad didáctica propuestos, que identifican en sus respuestas rasgos de indicadores de idoneidad didáctica.

El trabajo se estructura en los siguientes apartados. En la sección 2 se presenta el marco teórico y el objetivo de la investigación. La sección 3 describe la metodología, incluido el contexto, el instrumento de recogida de datos y un resumen del análisis a priori de los vídeos educativos. La sección 4 muestra los resultados del análisis de los informes elaborados por los estudiantes para maestro sobre la pertinencia de los vídeos educativos. El artículo concluye con la síntesis e implicaciones de la investigación.

Marco teórico y problema de investigación

En los últimos años, se han realizado numerosas investigaciones con la herramienta idoneidad didáctica, sus componentes e indicadores (Godino, 2013, Godino, Bencomo, Font y Wilhelmi, 2006), para organizar la reflexión del profesor y desarrollar la competencia de valoración de los procesos de instrucción efectivamente implementados que permita tomar decisiones de mejora (Beltrán-Pellicer, Godino y Giacomone, 2018; Breda, 2020; Breda, Pino-Fan y Font, 2017; Posadas y Godino, 2017).

La noción de idoneidad didáctica se entiende como el grado en que un proceso de instrucción reúne ciertas características que permiten calificarlo como óptimo o adecuado; el principal criterio es la adaptación entre los significados personales construidos por los alumnos (aprendizaje) y los significados institucionales, ya sean pretendidos o implementados (enseñanza), considerando la influencia del entorno (Godino, 2013). Esto supone la articulación coherente y sistémica de las distintas facetas implicadas en los procesos de estudio de las áreas curriculares específicas:

•Idoneidad epistémica, expresa el grado en que los significados institucionales implementados (o pretendidos) representan bien un significado de referencia. El significado refiere a los sistemas de prácticas operativas y discursivas, que lleva a cabo una persona (significado personal), o bien que son compartidas en el seno de una institución (significado institucional), para resolver un tipo de situaciones-problemas. El significado de referencia será relativo al nivel educativo correspondiente y deberá ser elaborado considerando los diversos tipos de problemas y contextos, la diversidad y adecuación de las representaciones, definiciones, procedimientos, proposiciones y argumentos que las sustentan.

•Idoneidad cognitiva, se refiere al grado en que los significados pretendidos/im­plementados estén en la zona de desarrollo potencial de los alumnos, así como la proximidad de los significados personales logrados a los significados pretendidos o implementados. Un adecuado grado de idoneidad, desde el punto de vista cognitivo, requiere que los contenidos presentados tengan una dificultad manejable para el nivel educativo al que se dirigen, así como que las situaciones propuestas respondan a distintos niveles de dificultad. Es importante también que se promueva el uso de diversas estrategias de resolución.

•Idoneidad afectiva, grado de interés y motivación del alumnado en el proceso de estudio. La idoneidad afectiva está relacionada tanto con factores que dependen de la institución como con factores que dependen del alumno. Un alto grado de idoneidad afectiva requiere de la selección de situaciones que respondan a los intereses de los alumnos y que permitan valorar la utilidad del contenido. Además, se deben promover actitudes de perseverancia y responsabilidad hacia las matemáticas.

•Idoneidad instruccional, el término instruccional engloba los aspectos interaccionales y mediacionales del proceso de enseñanza y aprendizaje. La idoneidad interaccional es el grado en que los modos de interacción permiten identificar y resolver conflictos de significado y favorecen la autonomía en el aprendizaje. La idoneidad mediacional supone el grado de disponibilidad y adecuación de los recursos materiales y temporales necesarios para el desarrollo del proceso de enseñanza-aprendizaje.

•Idoneidad ecológica, grado en que la acción formativa es adecuada dentro del entorno en que se implementa. Esto supone, en particular, que los contenidos y su desarrollo se correspondan con las directrices curriculares, y que estos aparezcan relacionados con otros contenidos disciplinares.

El uso de la idoneidad didáctica posibilita al profesor hacer una reflexión sistemática sobre su propia práctica o la de otros, pero también analizar aspectos parciales de los procesos instruccionales por medio de recursos tecnológicos, como pueden ser los vídeos educativos. En diversas investigaciones se ha observado que los profesores en ejercicio y en formación utilizan, de manera implícita, algunos componentes y descriptores de los diferentes criterios de idoneidad didáctica, sin haber recibido formación sobre el uso esta herramienta para guiar su reflexión (Breda, 2020; Seckel y Font, 2020; entre otros).

El objetivo de nuestra investigación es analizar la forma en que los estudiantes para maestro de primaria (en adelante, EPM) valoran la pertinencia de un proceso de instrucción planificado por medio de vídeos educativos y qué indicadores pueden verse reflejados de forma previa a la formación específica en la teoría de la idoneidad didáctica. Nuestra atención se fija en el contenido del porcentaje. Se trata de un contenido específico que aparece en el currículo básico para la Educación Primaria y las concreciones curriculares autonómicas incluyen en el tercer ciclo vinculado al estudio de la proporcionalidad. Se contempla: la expresión de partes utilizando porcentajes, la correspondencia entre fracciones sencillas, decimales y porcentajes, aumentos y disminuciones porcentuales. Se espera que los alumnos, al acabar la etapa de primaria, resuelvan problemas de la vida cotidiana usando los porcentajes y la proporcionalidad directa para interpretar e intercambiar información.

El significado real de porcentaje se ha perdido entre las reglas de cambio de decimales a fracciones y fracciones a decimales (Parker y Leinhardt, 1995). El conocimiento sobre porcentajes supone mucho más que conversiones, cálculos y aplicaciones; requiere entender su carácter relacional y sus múltiples significados: como número, como cantidad intensiva, relación parte-todo, relación parte-parte o como operador. Sin embargo, su esencia es la relación de proporcionalidad: “el porcentaje es fundamentalmente un lenguaje privilegiado de proporciones que simplifica y condensa las descripciones de comparación multiplicativo” (p.472). De este modo, la enseñanza del porcentaje debería focalizarse en desarrollar la comprensión de los estudiantes del porcentaje como una proporción (Dole, 2010). Estos aspectos (epistémicos, curriculares e instruccionales) deben tenerse en cuenta al valorar la idoneidad didáctica de un proceso instruccional sobre porcentajes.

Metodología

La experiencia se ha desarrollado con un grupo de 61 estudiantes de tercer curso del Grado de Educación Primaria, durante el año lectivo 2019-2020, en el marco de la asignatura de Diseño y Desarrollo del Currículum de Matemáticas de Educación Primaria. Desde que comenzó el confinamiento, el grupo había seguido las clases de forma virtual a través de la plataforma Meet, siendo su profesora la primera autora de este trabajo. Uno de los contenidos de la asignatura es la evaluación de los procesos de enseñanza y aprendizaje, para lo que se propone la herramienta teórico-metodológica de la idoneidad didáctica, sus componentes e indicadores.

Instrumento de recogida de datos

Para involucrar a los estudiantes para maestro en una reflexión sobre la necesidad de disponer de un sistema de indicadores específicos que permitan valorar la práctica docente de manera sistemática, se planteó a los estudiantes la siguiente consigna:

Figura 1. Consigna planteada a los EPM en la plataforma Prado.

Elaboración propia.

La tarea era totalmente voluntaria y fue realizada por todos los estudiantes del curso, de manera individual. Se dispone de los informes de los 61 EPM entregados a través de la plataforma Prado.

Análisis de los datos

En primer lugar, las investigadoras examinaron de forma independiente los vídeos educativos y analizaron la idoneidad didáctica de estos, siguiendo los criterios e indicadores en las facetas epistémica, cognitivo-afectiva, instruccional y ecológica de Godino (2013). A continuación, compararon sus análisis y consensuaron una valoración común. En un tercer momento, aplicaron la metodología de análisis de contenido (Cohen, Manion y Morrison, 2011) para examinar los protocolos de respuesta de los estudiantes que intervinieron en la experiencia formativa. Se clasificaron las valoraciones de los estudiantes, buscando fragmentos de descripción que se pudieran considerar evidencias del uso implícito de algún indicador para los distintos componentes de la idoneidad didáctica. En este análisis, los criterios de idoneidad didáctica son categorías previas que permiten categorizar el discurso de los EPM. Finalmente se analizaron las justificaciones dadas por los estudiantes para recomendar o no los vídeos educativos visionados, examinando el papel que adquieren los indicadores de idoneidad.

A continuación, resumimos los resultados fundamentales del análisis de la idoneidad didáctica de los vídeos educativos que sirve como referencia para comprender las reflexiones de los EPM.

•Idoneidad epistémica. Consideramos que no se emplea una muestra diversa y representativa de tareas que permitan contextualizar y aplicar los porcentajes. En el primer vídeo, solo se plantea el cálculo del tanto por ciento de una cantidad y del porcentaje conocidos el todo y la parte. En el segundo, la regla de tres se usa para el cálculo de porcentajes y se proponen un par de ejemplos de aplicación (cálculo del 15 % de 300 y del 60 % de 80). En general, el nivel de lenguaje es adecuado para alumnos de 6º de primaria. Usa los registros natural, simbólico, gráfico e icónico, pero no se establece suficiente conexión entre las diversas formas de representación del porcentaje.

La definición del porcentaje es imprecisa. Se presenta como una forma de expresar la parte de un todo que es 100, que se escribe como fracción y como decimal, usa el significado como: parte-todo, número y operador, pero sin establecer conexiones claras entre los mismos. Tampoco aparecen vínculos de los porcentajes con la relación de proporcionalidad. En ambos videos, los procedimientos se presentan de forma mecanizada, omiten argumentos y justificaciones. Además, aparecen expresiones incorrectas como: 10 = 100 o = 0,4 x 100 = 40 %.

•Idoneidad cognitivo-afectiva. La dificultad de los contenidos presentados es manejable para el nivel educativo al que se dirige, pero no se promueve el uso de diversas estrategias, ni situaciones con diferentes niveles de dificultad. En el plano afectivo, las situaciones planteadas no refieren a temas de interés para los alumnos, ni permiten valorar la utilidad del contenido en su vida diaria; no se fomenta la flexibilidad para explorar ideas matemáticas y métodos alternativos de resolución de problemas.

•Idoneidad instruccional-ecológica. Teniendo en cuenta el carácter unidireccional del medio, se pueden valorar indicadores de la idoneidad interaccional como son: que la presentación del contenido sea clara, esté bien organizada y preste atención a los conceptos fundamentales del tema, así como que use diversos recursos que capten la atención de los alumnos que visualicen los vídeos. Desde el punto de vista mediacional se valora la calidad del recurso, es decir, si la presentación audiovisual sea adecuada al contenido matemático, fluida y atractiva. Se debe evaluar, si la secuenciación de las actividades es adecuada, y si se les dedica suficiente tiempo a los contenidos que puedan presentar una mayor dificultad.

Aunque la forma de expresarse y el lenguaje empleado por la autora del vídeo es normalmente clara, no usa diversos recursos argumentativos ni de otro tipo para captar la atención de los alumnos. La presentación audiovisual es clara, pero no se adapta al contenido ni es suficientemente llamativa. La mayoría del tiempo que se invierte en los vídeos atiende a aspectos algorítmicos y de cálculo descontextualizado; es insuficiente el tiempo dedicado a los conceptos fundamentales (relación entre porcentaje, fracción y número decimal, o vínculo con la proporcionalidad). Son necesarias más actividades para que los alumnos tengan una visión clara de los diversos significados del porcentaje y su relación con la proporcionalidad. Desde el punto de vista curricular (idoneidad ecológica), el porcentaje no aparece relacionado con otros contenidos, y no se ha trabajado el contenido de aumentos y descuentos porcentuales.

Análisis y resultados

En esta sección analizamos las reflexiones de los EPM para valorar los vídeos educativos, indagando en sus comentarios rasgos o evidencias de algunos de los indicadores de los componentes de los criterios de idoneidad didáctica.

Idoneidad epistémica

Incluimos en la Tabla 1 la frecuencia con que encontramos referencias a los distintos componentes de la idoneidad epistémica en los informes elaborados por cada estudiante (E).

Tabla 1. Indicios de indicadores de idoneidad epistémica (n=61)

Componente	Frecuencias
Situaciones-problema	26 (42,63 %)
Lenguajes	24 (39,34 %)
Conceptos	19 (31,15 %)
Proposiciones	0 (0 %)
Procedimientos	27 (44,26 %)
Argumentos	26 (42,63 %)
Relaciones	4 (6,56 %)
Presencia de errores	12 (19,67 %)

Nota: Fuente elaboración propia.

En relación a las situaciones-problemas, de los 26 estudiantes que hicieron mención a estas, encontramos referencias a:

•Contextualización de las situaciones. Tres estudiantes señalan la falta de contexto. En este sentido, E57 indica que sería adecuado “plantear una problemática o conceptos más cercanos al alumno, situaciones de compra por ejemplo”.

•Variedad y representatividad de ejemplos. En este caso, 11 EPM valoran de manera positiva la diversidad o pertinencia de los ejemplos propuestos. Por ejemplo, E35 apunta “la docente en sus explicaciones pone varios ejemplos muy prácticos”. Por otro lado, dos estudiantes indican que no son apropiados, pues todos tienen la misma dificultad y siete estudiantes indican que falta más variedad de ejemplos. Por ejemplo, E13 apunta “los ejercicios que se ofrecen son similares; no se ofrecen problemas de descuentos o de ingredientes de alimentación, que es donde los porcentajes son más significativos y variados” y E34 “para explicar los porcentajes tan sólo utiliza ejemplos en los que falta un sólo valor, no utiliza otro tipo de ejemplos para explicarlos.”

•Diversidad de formas de abordar los problemas. En este caso encontramos también tanto valoraciones positivas, como la de E2 que destaca “el planteamiento de diferentes formas de resolución de los ejercicios y estrategias”, como negativas, por ejemplo, “un aspecto que no me parece adecuado es el hecho de ofrecer una sola manera o procedimiento de resolución” (E42).

Los comentarios de los EPM (24 de los 61) que aluden al componente lenguajes, mencionan:

•Adecuación del lenguaje a los alumnos. Diez de los 24 estudiantes hacen referencia a que “el lenguaje utilizado es propio para los alumnos a los que van dirigidas dichas explicaciones” (E4). Por otro lado, ocho estudiantes señalan en sus reflexiones carencias al respecto. Por ejemplo, E3 menciona “había cosas que no entendía, por las palabras de su lenguaje que utilizaba y por lo tanto me llevaban a confusión, pienso que debería de haber utilizado un lenguaje más adaptado para niños”.

•Tipos y variedad de los registros empleados. Siete de los 24 estudiantes para maestro incluyeron alguna referencia sobre los tipos o variedad de registros. Por ejemplo, E6 apunta que es “interesante la utilización de lenguaje gráfico en el primer vídeo”, y E52 valora “un lenguaje matemático, natural totalmente adecuado a alumnos de sexto curso… y usa las distintas representaciones de los porcentajes.”

Respecto al componente conceptos, diecinueve EPM incluyen comentarios relativos a la pertinencia (5 de los 19) o la no adecuación (14 de los 19) de las nociones incluidas. Estos últimos sugieren falta de claridad en la definición del porcentaje o que solo se considera un significado de este. Así E8 indica que “sólo ha explicado el [significado] parte-todo del porcentaje.” También hacen referencia a la ausencia de un concepto fundamental en el tema de los porcentajes como es la proporcionalidad. Por ejemplo, E1 indica “no se explica el concepto de proporcionalidad, algunos conceptos están ausentes”. En su mayoría, las reflexiones son poco precisas (“dando definiciones apropiadas”, “en el primer vídeo queda claro el concepto de porcentaje”, “no emplea definiciones técnicas”, “el desarrollo de los conceptos es insuficiente”).

No hemos encontrado en las reflexiones de los EPM ningún rastro del componente proposiciones, donde como hemos mencionado, se aprecia la ausencia de proposiciones fundamentales que conecten con la relación de proporcionalidad.

Un aspecto fundamental de la idoneidad epistémica de un proceso de instrucción consiste en que se presenten, de manera clara y adecuada, los procedimientos fundamentales que surgen en la resolución de los problemas característicos. Al respecto, 27 EPM (44,26 %) incluyeron en sus informes referencias a la claridad o ambigüedad de los procedimientos empleados en los vídeos educativos. Así, catorce estudiantes indican que los procedimientos referidos al cálculo de porcentajes o la aplicación de la regla de tres no ofrecen dudas. Los comentarios son similares a los de E43, quien señala que “se explica paso a paso el procedimiento que va utilizando sin saltarse ninguno” o de E56 “está bien explicado el proceso para resolver una regla de tres simple”. Por otro lado, diez estudiantes consideran que los procedimientos son ambiguos o no están justificados. Por ejemplo, E50 indica “no queda nada claro los procedimientos ni el razonamiento de las operaciones y los resultados” o E27 indica “al explicar cómo se colocan los distintos números para proceder a calcular la regla de tres, considero que esta explicación no es adecuada … no existe ninguna justificación del proceso seguido.” Finalmente, tres estudiantes consideran que los procedimientos de cálculo de porcentajes son claros y están descritos paso a paso, pero no así la presentación de la regla de tres que aparece sin justificar.

En 26 (42,63 %) informes de los EPM encontramos algún indicio en relación con argumentos. En su mayoría, 17 de los 26, reflejan la falta de explicaciones o justificaciones a los procedimientos, o el carácter mecanizado o memorístico de la exposición por parte de la profesora. Por ejemplo, E42 indica “nos dice tenéis que dividir entre 10 y posteriormente multiplicar por 100, pero se le olvida un aspecto muy importante ¿por qué?”. Similarmente, E50 señala “no queda nada claro los procedimientos ni el razonamiento de las operaciones y los resultados. … Se basa en la memorización y repetición de los procesos y no en darle un sentido.”

Únicamente en las producciones de 4 EPM, encontramos alguna evidencia del componente relaciones (conexión entre problemas, definiciones, proposiciones y argumentos, y articulación de significados):

No ha explicado la relación del porcentaje con las fracciones con denominador 100 y tampoco ha explicado la relación con los números decimales (E8).

Podría relacionar los conceptos con los números que se van encontrando en el ejercicio, para que los alumnos vayan relacionando los conceptos con los números y sepan distinguirlo (E50).

Los profesores deben tener los conocimientos para detectar ambigüedades en los recursos educativos que puedan llevar a la confusión de los alumnos. Solo 11 (19,67 %) de los participantes reflexionaron sobre la presencia de errores en los vídeos educativos. Encontramos referencias a un discurso poco adecuado, con errores y autocorrecciones por parte de la autora del vídeo. Por ejemplo, E29 menciona “en el vídeo de la regla de tres, en uno de los ejemplos se equivoca al dar el resultado, y se da cuenta después, lo que puede confundir al alumno en el ejercicio”. Dos estudiantes (E45, E48) indican que “la definición del porcentaje no es clara y puede dar lugar a confusión en el alumnado”.

Las apreciaciones de otros cinco estudiantes tienen que ver con la ambigüedad en el procedimiento aritmético o la expresión del cálculo de porcentajes, similares a la de E10, “presenta algunos errores, iguala ‘4/10 = 0,4 x 100 = 40 %’, ‘6/12 = 0,5; 0,5 x 100 = 50 % cosa que no es cierta”. En relación con la expresión, E58 señala “otro de los errores o dificultades ha sido en el primer vídeo en el cálculo del porcentaje cuando la profesora comienza a dibujar flechas en la pizarra, y esto puede llevar a confusión a algunos de los alumnos”. Es interesante la apreciación de E21 respecto al inadecuado papel que la autora del vídeo asigna a la regla de tres: “atribuye que cuando tienes 3 valores en un problema y tengas que encontrar un cuarto dato tienes que aplicar la regla de 3”.

Idoneidad cognitivo-afectiva

El dominio afectivo aparece estrechamente relacionado con el cognitivo: los alumnos estarán interesados y predispuestos a resolver las tareas propuestas en la medida en que despierten emociones positivas o se fomenten actitudes (flexibilidad, perseverancia) propias de las matemáticas. Incluimos en la Tabla 2 la frecuencia con que encontramos referencias a la idoneidad cognitiva (aprendizaje) o afectiva (actitudes) en los informes elaborados por los participantes.

Tabla 2. Indicios de indicadores de idoneidad cognitivo-afectiva (n=61)

Componente	Frecuencias
Aprendizaje	26 (42,63 %)
Actitudes	18 (29,51 %)

Nota: Fuente elaboración propia.

Diez EPM hacen referencia a la dificultad del contenido presentado, siete plantean que este es adecuado al nivel educativo al que va dirigido (por ejemplo, E2 indica que “son dos vídeos educativos adecuados para el curso destinado en cuestión”), y tres los que opinan, como E16 que se incluyen “contenidos complejos para los niños”. Por otro lado, seis de los participantes hacen algún tipo de mención a que las situaciones propuestas presenten diversos niveles de dificultad, indican, de manera similar a E42, que “va subiendo el nivel de complejidad de manera gradual”. Sin embargo, E8 apunta a que “todas las situaciones tienen la misma dificultad”. Además, tres EPM hacen también referencia a que “no se advierte a los alumnos de posibles errores o dificultades”, aspecto clave para lograr un nivel adecuado de aprendizaje.

De los 26 EPM que mostraron evidencias de indicadores relativos a la faceta cognitiva, diez mencionan que los vídeos no potencian un aprendizaje significativo, y que se promueve el aprendizaje memorístico. Así, E7 señala que “no se fomenta un aprendizaje significativo donde el alumno aprenda el porqué de los procesos de resolución”. Similarmente, E17 aprecia que “fomenta en el niño un uso mecánico y un aprendizaje memorístico esto es siempre así y simplemente se trata de aprender y reproducir los pasos que está explicando”.

Como vemos en la Tabla 2, dieciocho EPM incluyen en sus documentos valoraciones que tienen que ver con algunos de los indicadores del componente actitudes. De ellos, cinco estudiantes indican que las situaciones son próximas (“usa ejemplos cercanos a los niños”, E53) o tienen interés para los alumnos (“ejemplos sencillos y que pueden llamar la atención de los niños”, E39). La mitad, hacen referencia a las ilustraciones, bien para indicar como E41 que “utiliza dibujos que siempre viene bien en alumnos de estas edades” (esto lo hacen 5 estudiantes) o bien para recomendar mejorar este aspecto, como sugiere E57: “Se pueden mostrar dibujos dinámicos y divertidos con el uso de ciertas aplicaciones.”

Además de estas apreciaciones y respecto al aspecto afectivo, es interesante la indicación de E1:

Yo no lo usaría con mis alumnos porque personalmente, y al haber sufrido en mí mismo durante toda mi etapa escolar que me explicaran cómo hacer las cosas, pero no por qué, y conllevar eso a un odio e incomprensión a las matemáticas, prefiero un tipo de explicación en la que quede claro por qué para calcular una cosa hay que realizar determinadas operaciones.

Desde su experiencia como alumno, demanda la necesidad de argumentación para evitar el rechazo a las matemáticas.

Idoneidad instruccional-ecológica

Recopilamos en la Tabla 3 la frecuencia de evidencias relacionadas con indicadores de idoneidad instruccional-ecológica encontradas en las producciones de los EPM.

Tabla 3. Indicios de indicadores de idoneidad instruccional-ecológica (n=61)

Componente	Frecuencias
Interacción	45(73,77 %)
Calidad del recurso	21 (34,43 %)
Secuenciación	18 (29,51 %)
Adaptación al currículo	18 (29,51 %)

Nota: Fuente elaboración propia.

Un total de 45 (73,77 %) EPM incluyeron en sus informes indicios de una mayor o menor pertinencia en lo que respecta al aspecto interaccional. De estos, 27 consideran que la presentación es clara, sencilla y detallada. Por ejemplo, E5 considera que se hace una “explicación sencilla para entender los porcentajes y cómo calcularlos”.

En relación con el lenguaje usado, E35 apunta “el vocabulario utilizado por la docente es correcto, ya que es muy sencillo y así permite que los alumnos de este curso puedan entender correctamente toda la información del tema”. Por el contrario, quince estudiantes consideran que la explicación no está bien organizada (“explicación un tanto liosa”, E27) o ha ignorado conceptos clave del tema (“la explicación no es fluida, no es detenida, ni pausada, ni refleja los puntos básicos”, E13).

Seis estudiantes hacen referencia a una “metodología tradicional” (“lo hace de una manera tradicional ya que la maestra realiza una explicación en la pizarra”, E57) o al carácter “mecanizado” de la exposición (“demasiados contenidos explicados de forma muy mecánica”, E21) que no logra captar la atención del alumno. Así, E57 señala “pienso que se está desaprovechando un gran potencial didáctico que se puede desarrollar con estos medios y no simplemente grabar una clase común con pizarra en formato video”.

Encontramos afirmaciones sobre la calidad de los vídeos educativos en las descripciones de dieciocho EPM. De estos, cinco consideran que la presentación es adecuada o consigue captar la atención de los alumnos. Por ejemplo, E17 indica que “los vídeos fomentan la atención del niño, así como su motivación e interés” y E59 indica respecto al primer vídeo que “explica de forma muy pausada y dinámica llegando a su objetivo de una forma fluida y ordenada, contando con diverso material visual como pueden ser dibujos, flechas, etc.”

Por otro lado, diez estudiantes consideran que la presentación no es clara, sugieren, como E29, que “los datos se encuentran algo desordenados en la pizarra, sin una limpieza total de la información”, o que no es suficientemente atractiva; por ejemplo, E10 indica “nada atractivo, para que un alumno esté atento a través de un vídeo se debe hacer más dinámico”. Además, tres estudiantes incluyen valoraciones sobre la calidad del recurso a modo de sugerencia de mejora. El estudiante 37 sugiere “cambiaría la letra por una más grande que facilitara la visualización de lo escrito en la pizarra a los niños, incluiría más dibujos para hacer más visual estas explicaciones”, mientras que E52 (y similarmente E53) apunta “quizás para hacer el vídeo más ameno a los alumnos podría haber hecho uso de material manipulativo, por ejemplo”; aunque no llegan a precisar qué tipo de material ni cómo emplearlo.

Respecto a la secuenciación de los contenidos en los vídeos educativos, encontramos reflexión en los informes de dieciocho EPM. De estos, siete incluyen valoraciones positivas sobre el tiempo dedicado a los distintos conceptos. Por ejemplo, E30 apunta “una explicación teórica inicial del concepto de porcentaje … para después realizar dos ejemplos explicados paso por paso y que dejan al alumno yo creo, bastante bien posicionado de cara a afrontar otros problemas con regla de 3”. Los demás hacen referencia a que “el tiempo de estos tutoriales es bastante breve” (E34); o bien indican que es “muy extenso, demasiada información” (E16). También refieren a que la secuenciación no es pertinente, E27 incluye:

La secuenciación no es adecuada, en primer lugar, se debería haber explicado al alumnado la regla de tres y después el cálculo de porcentajes ya que en el cálculo de porcentajes se aplica (aunque en este caso de forma implícita) el procedimiento de la regla de tres.

E3 sugiere “podría realizar algunos ejemplos más y alargar un poco más la explicación y profundizar un poco para que así los niños puedan captar mejor las ideas principales”.

Finalmente, en lo que respecta a la adaptación al currículo del contenido de los vídeos, de los dieciocho estudiantes que reflejaron alguna valoración al respecto, catorce mencionaron de forma similar a E24 que “los contenidos son adecuados para alumnos de 6º de primaria”; dos mencionaron que el contenido cubre lo esencial sobre porcentajes (“el contenido esencial que deberían saber”, E52) y otros dos indicaron que los vídeos “deberían adecuarse a los contenidos de referencia” y que “el contenido no está completo” (E11, E37) sin precisar de qué forma no se adecúan o qué contenidos echan en falta.

Con base en su análisis, los EPM debían decidir, si recomendarían los vídeos educativos a sus (potenciales) alumnos de 6º de primaria. Hemos clasificado las respuestas de los estudiantes en: “sí”, “sí, pero” cuando presentan algún tipo de objeción y “no”. De los 61 EPM que participaron en nuestra investigación, 54 justificaron si sugerirían o no el visionado de los vídeos para sus alumnos. En la Tabla 4 resumimos las frecuencias.

Tabla 4. Adecuación de los vídeos (n=54)

¿Recomendarías estos vídeos?	Frecuencia (%)
Sí	25 (46,30 %)
Sí, pero	10 (18,52 %)
No	19 (35,18 %)

Nota: Fuente elaboración propia.

Los EPM que recomendarían los vídeos a sus alumnos valoran fundamentalmente el lenguaje adecuado o la sencillez en la explicación. Por ejemplo, E47 indica “estos vídeos me parecen muy adecuados para niños de sexto de primaria ya que la explicación ha sido sencilla y fácil de comprender, además se ha usado un vocabulario adecuado para la edad. Por ello, recomendaría estos vídeos”.

En la categoría “sí, pero” se incluyen apreciaciones que consideran los vídeos adecuados solamente como refuerzo o siempre que se corrijan. Por ejemplo, E48 los recomendaría “siempre y cuando sean una ayuda, es decir después de una explicación más profunda y específica en clase de estos contenidos” y E41 indica “se lo pondría a mis alumnos siempre que corrigiera yo del vídeo esos pequeños errores.”

Por otro lado, los EPM que no recomendarían los vídeos hacen referencia al énfasis procedimental, a la falta de argumentación, a la presencia de errores y al carácter poco dinámico o motivador del recurso. Por ejemplo, E6 indica “no recomendaría estos vídeos a mi alumnado de 6º curso de primaria, ya que los errores y la falta de argumentación del contenido propiciarían que se aprendiese la resolución mecánica de los ejercicios”. E46 señala “el enfoque del video no me parece dinámico ni didáctico debido a la monotonía de la elaboración”. E50 indica “no lo recomendaría ... simplemente se limita a decir que esto es así y esto es lo que funciona.”

Conclusiones

En la actualidad, el colectivo de docentes ha tenido que replantearse la forma de impartir sus clases, como consecuencia del COVID-19. Investigaciones como las de Pozo-Sánchez, López-Belmonte, Rodríguez-García y López-Núñez (2020) revelan que el profesorado no dispone del grado de competencia digital necesario para utilizar el flipped learning y realizar un tratamiento eficiente de las interacciones de los principales agentes en los espacios virtuales de aprendizaje. Ahora más que nunca, se hace necesario que el profesorado actualice su formación para crear contenidos audiovisuales de calidad y gestionarlos en plataformas educativas interactivas de forma apropiada, pero también que se le capacite para la valoración y análisis crítico de recursos educativos, particularmente del uso de vídeos disponibles en internet.

El propósito de este estudio ha sido identificar los criterios que asumen de manera implícita los EPM cuando valoran la pertinencia de la trayectoria didáctica planificada con el visionado de dos vídeos en un canal educativo para la enseñanza del porcentaje, en 6º curso de primaria. Como muestran otros trabajos en esta línea (Breda, 2020; Seckel y Font, 2020) el análisis de los informes muestra que las reflexiones de los EPM, cuando estas expresan claramente una valoración, se organizan, implícitamente, usando algunos indicadores de los componentes de la idoneidad didáctica (Godino, 2013). Las evidencias utilizadas para justificar si recomiendan o no los vídeos educativos se relacionan, fundamentalmente, con criterios de idoneidad epistémica, interaccional y cognitiva, mientras que aspectos emocionales y ecológicos están menos presentes.

Los EPM valoran este tipo de recursos y el esfuerzo que supone la nueva situación en todos los agentes del proceso educativo: “en esta etapa que estamos viviendo de confinamiento pienso que son estos videos los que mejor pueden ayudar al alumnado a profundizar en cada una de sus materias” (E24); “algunos integrantes de la familia del alumnado carecen de conocimientos para ayudarles, pero vídeos como los que hemos visto pueden servirles de ayuda y orientación” (E29). Sin embargo, también refieren a la necesidad de que el docente analice su pertinencia antes de recomendarlo a sus alumnos. Como indica E34 “antes de poner este tipo de recursos el profesor debe pensar si realmente son idóneos para lograr los fines (objetivos didácticos) que se pretenden.”

El resultado de nuestro análisis muestra que, en gran medida, las reflexiones elaboradas por los EPM son imprecisas o ambiguas. Además, hay componentes de las distintas facetas que no aparecen presentes (proposiciones) o lo están de forma muy escasa (relaciones, identificación de errores, adaptación al currículo, entre otras). Como sugieren diversos investigadores (Nilssen, 2010; Seckel y Font, 2020; Sun y van Es, 2015), dar la oportunidad de reflexionar sobre la práctica docente no es suficiente; el profesorado necesita herramientas para dirigir su atención hacia aspectos relevantes de los procesos de enseñanza y aprendizaje, y estas herramientas deben incorporarse en la formación inicial y continua.

La teoría de la idoneidad didáctica forma parte de la formación de los EPM. Sin embargo, los informes analizados en este trabajo corresponden a una tarea voluntaria previa que pretendía involucrarlos en la reflexión inicial sobre la necesidad de disponer de un sistema de indicadores específicos que permita valorar la práctica docente de manera sistemática. Sería interesante, en línea con trabajos como los de Lafuente-Lechuga y Faura-Martínez (2019), que fuesen los propios EPM quienes, a continuación, elaboraran vídeos educativos con base en los criterios de idoneidad y el análisis previo desarrollado.

Financiamiento

Trabajo realizado en el marco del proyecto de investigación PID2019-105601GB-I00 / AEI / 10.13039/501100011033 (Ministerio de Ciencia e Innovación).

Conflicto de intereses

Los autores declaran no tener algún conflicto de interés.

Declaración de la contribución de los autores

Todos los autores afirmamos que se leyó y aprobó la versión final de este artículo. El porcentaje total de contribución para la conceptualización, preparación y corrección de este artículo fue el siguiente: M.B.N. 50 %, M.C.C. 50 %.

Declaración de disponibilidad de los datos

Los datos que respaldan los resultados de este estudio serán puestos a disposición por el autor correspondiente [M.B.N.], previa solicitud razonable.

Referencias

Beltrán-Pellicer, P., Giacomone, B., & Burgos, M. (2018). Online educational videos according to specific didactics: the case of mathematics. Cultura y Educación, 30(4), 633-662. https://doi.org/10.1080/11356405.2018.1524651

Beltrán-Pellicer, P., Godino, J. D., & Giacomone, B. (2018). Elaboración de indicadores específicos de idoneidad didáctica en probabilidad: Aplicación para la reflexión sobre la práctica docente. Bolema, 32(61), 526-548. https://doi.org/10.1590/1980-4415v32n61a11

Borba, M. C., Askar, P., Engelbrecht, J., Gadanidis, G., Llinares, S., & Aguilar, M. S. (2016). Blended learning, e-learning and mobile learning in mathematics education. ZDM, 48(5), 589-610. https://doi.org/10.1007/s11858-016-0798-4

Breda, A. (2020). Características del análisis didáctico realizado por profesores para justificar la mejora en la enseñanza de las matemáticas. Bolema, 34(66), 69-88. https://doi.org/10.1590/1980-4415v34n66a04

Breda, A., Font, V., & Pino-Fan, L. (2018). Criterios valorativos y normativos en la didáctica de las matemáticas: El caso del constructo idoneidad didáctica. Bolema, 32(60), 255-278. https://doi.org/10.1590/1980-4415v32n60a13

Breda, A., Pino-Fan, L., & Font, V. (2017). Meta didactic-mathematical knowledge of teachers: criteria for the reflections and assessment on teaching practice. Eurasia Journal of Mathematics, Science & Technology Education, 13(6), 1893-1918. https://doi.org/10.12973/eurasia.2017.01207a

Burgos, M., Beltrán-Pellicer, P., & Godino, J. D. (2020). La cuestión de la idoneidad de los vídeos educativos de matemáticas: Una experiencia de análisis con futuros maestros de educación primaria | The issue of didactical suitability in mathematics educational videos: experience of analysis with prospective primary school teachers. Revista Española de Pedagogía, 78(275), 27-49. https://doi.org/10.22550/REP78-1-2020-07

Cohen, L., Manion, L. & Morrison, K. (2011). Research methods in education. Routledge.

Dabbagh, B., & Kitsantas, A. (2012). Personal Learning Environments, social media, and self-regulated learning: A natural formula for connecting formal and informal learning. The Internet and Higher Education, 12(1), 3-8. https://doi.org/10.1016/j.iheduc.2011.06.002

Dole, S. (2010). Promoting Percent as a Proportion in Eighth-Grade Mathematics. School Science and Mathematics, 10(7), 345-396.

Duffy, P. (2008). Engaging the YouTube Google-eyed generation: Strategies for using Web 2.0 in teaching and learning. Electronic Journal of E-learning, 6(2), 119-130.

Esqué de los Ojos, D., & Breda, A. (2021). Valoración y rediseño de una unidad sobre proporcionalidad, utilizando la herramienta idoneidad didáctica. Uniciencia, 35(1), 38-54. https://doi.org/10.15359/ru.35-1.3

Gellert, U., Becerra, R., & Chapman, O. (2013). Research methods in mathematics teacher education. En K. M. A. Clements, A. J. Bishop, C. Keitel, J. Kilpatrick & F. Leung (Eds.), Third international handbook of mathematics education (pp. 327-360). Springer-Verlag. https://doi.org/10.1007/978-1-4614-4684-2_11

Godino, J. D. (2013). Indicadores de idoneidad didáctica de procesos de enseñanza y aprendizaje de las matemáticas. Cuadernos de Investigación y Formación en Educación Matemática, 11, 111-132.

Godino, J. D., Batanero, C., & Font, V. (2007). The onto-semiotic approach to research in mathematics education. ZDM The International Journal on Mathematics Education, 39(1-2), 127-135. https://doi.org/10.1007/s11858-006-0004-1

Godino, J. D., Bencomo, D., Font, V., & Wilhelmi, M. R. (2006). Análisis y valoración de la idoneidad didáctica de procesos de estudio de las matemáticas. Paradigma, 27(2), 221-252.

Godino, J. D., Giacomone, B., Batanero, C., & Font, V. (2017). Enfoque ontosemiótico de los conocimientos y competencias del profesor de matemáticas. Bolema, 31(57), 90-113. https://doi.org/10.1590/1980-4415v31n57a05

He, W., Holton, A., Farkas, G., & Warschauer, M. (2016). The effects of flipped instruction on out-of-class study time, exam performance, and student perceptions. Learning and Instruction, 45, 61–71. https://doi.org/10.1016/j.learninstruc.2016.07.001

Hummes, V. B., Font, V. & Breda, A. (2019). Uso combinado del estudio de clases y la idoneidad didáctica para el desarrollo de la reflexión sobre la propia práctica en la formación de profesores de matemáticas. Acta Scientiae, 21(1), 64-82.

Lafuente-Lechuga, M. & Faura-Martínez, U. (2019). Evaluation of videos of mathematical concepts made by students. Cultura y Educación, 31(4), 845-864. https://doi.org/10.1080/11356405.2019.1656488

Nilssen, V. (2010). Encouraging the Habit of Seeing in Student Teaching. Teaching and Teacher Education, 26(3), 591-598. https://doi.org/10.1016/j.tate.2009.09.005

Parker, M. & Leinhardt, G. (1995). Percent: a privileged proportion. Review of Educational Research, 65(4), 421-481. https://doi.org/10.3102/00346543065004421

Portugal, K. O., Arruda, S. D. M., & Passos, M. M. (2018). Free-choice teaching: how YouTube presents a new kind of teacher. Revista Electrónica de Enseñanza de las Ciencias, 17(1), 183–199.

Posadas, P., & Godino, J. D. (2017). Reflexión sobre la práctica docente como estrategia formativa para desarrollar el conocimiento didáctico-matemático. Didacticae, 1, 77-96.

Pozo-Sánchez, S., López-Belmonte, J., Rodríguez-García, A. M., & López-Núñez J. A. (2020). Competencia digital docente para el uso y gestión analítica informacional del aprendizaje invertido. Cultura y Educación, 32(2), 226-241. https://doi.org/10.1080/11356405.2020.1741876

Ramos-Rodríguez, E., Flores, P., & Ponte, J. P. (2017). An approach to the notion of reflective teacher and its exemplification on mathematics education. Systemic Practice and Action Research, 30(1), 85-102. https://doi.org/10.1007/s11213-016-9383-6

Seckel, M. J. & Font, V. (2020). Competencia reflexiva en formadores del profesorado de matemática. Magis, Revista Internacional de Investigación en Educación, 12(25), 127-144. https://doi.org/10.11144/Javeriana.m12-25.crfp

Sun, J. & van Es, E. A. (2015). An Exploratory Study of the Influence that Analyzing Teaching Has on Preservice Teachers’ Classroom Practice. Journal of Teacher Education, 66(3), 201-214. https://doi.org/10.1177/0022487115574103

Turney, C. S. M., Robinson, D., Lee, M., & Soutar, A. (2009). Using technology to direct learning in higher education. The way forward? Active Learning in Higher Education, 10(1), 71-83. https://doi.org/10.1177/1469787408100196

Zainuddin, Z., Habiburrahim, H., Muluk, S., & Keumala, C. M. (2019). How do students become self-directed learners in the EFL flipped-class pedagogy? A study in higher education. Indonesian Journal of Applied Linguistics, 8, 678. https://doi.org/10.17509/ijal.v8i3.15270

---