Avaliação qualitativa imediata de produções escritas em EaD

Assunto: Instrumentos de avaliacao,Pesquisa qualitativa,Producao escrita,Formacao de professores,Formacao continuada de professor,Ensino a distancia,Evaluation tool,Qualitative research,Written production,Teachers professional development,Continuing education,Distance learning

Resumo: Resumo: Esta tese apresenta o desenvolvimento de um instrumento para a avaliação qualitativa de produções escritas em educação a distância. O instrumento fornece uma devolutiva imediata e constitui inovação por envolver técnicas e procedimentos de inteligência artificial para o processamento de linguagem natural e de aprendizado de máquina para aprender com os textos analisados. Ou seja, não é simplesmente pela busca de conceitos chaves esperados no texto que a produção escrita é avaliada, mas, para ser considerada como abordagem qualitativa, também é considerada a relação entre os conceitos e, devido às variações na maneira humana de se expressar por escrito, aqueles não inicialmente presentes na base conceitual de avaliação podem ser aprendidos de modo a ampliar a base. Assim, o instrumento contribui para o processo de avaliação em ambientes virtuais, pois a avaliação com abordagem qualitativa e a devolutiva imediata propiciam que o autor do texto reflita sobre sua produção e possa reelaborá-lo. Desse modo, entre outros fatores, o pensamento reflexivo e crítico é estimulado concomitantemente com a produção escrita. O instrumento foi implementado em três cursos de um programa de educação continuada para professores voltado para o estudo de obras originais de autores clássicos da área de educação e oferecido gratuitamente na modalidade de cursos massivos e abertos online pela Escola de Extensão da Universidade Estadual de Campinas (Extecamp) como difusão cultural. O oferecimento ocorreu entre outubro de 2018 e setembro de 2019 e, para avaliar a efetividade do instrumento, foi considerada principalmente a possibilidade do desenvolvimento do pensamento reflexivo e crítico em relação às produções escritas solicitadas como um dos tipos de atividade avaliativa dos cursos. Os cursos tiveram um total de 2280 inscritos no primeiro oferecimento, 1459 no segundo e 5793 no terceiro, ainda que nem todos os inscritos os tenham finalizado. Não apenas professores tiveram sua atenção despertada pelos cursos mas, por serem abertos, houve também outros interessados em conhecer as obras e os autores estudadas. As atividades avaliativas foram variadas e mais de uma produção escrita foi solicitada no decorrer de cada curso. Para a abordagem qualitativa das produções escritas, inicialmente foi criado, por análise de conteúdo, a base conceitual de avaliação a partir dos principais conceitos encontrados nos textos originais e textos de apoio elaborados pela equipe pedagógica do curso. Os participantes receberam na devolutiva imediata, além da nota, orientações sobre os conceitos presentes e aqueles não encontrados em relação aos esperados, podendo reelaborar e reenviar suas produções para nova análise. Os textos dos participantes foram discriminados qualitativamente e houve tendência de aumento nas notas após a reelaboração dos mesmos. No total, foram analisadas 8788 produções escritas pelo instrumento. Para melhor contextualizar a aplicação do instrumento, foi considerada também a avaliação do curso pelos participantes, tornando possível concluir que o pensamento reflexivo e crítico dos participantes foi estimulado pela avaliação de abordagem qualitativa e pela devolutiva imediata das produções escritas. Enfim, o instrumento conseguiu discriminar qualitativamente as produções escritas, os objetivos foram alcançados, os resultados se mostraram promissores e novas perspectivas foram abertas para a evolução do instrumento

Abstract: 'Abstract: This thesis presents the development of an instrument for the qualitative assessment of written productions in distance education. The instrument enables immediate feedback and is an innovation for involving techniques and procedures of artificial intelligence for the processing of natural language and machine learning to "learn" with the analyzed texts. In other terms, the instrument does not only look for key concepts expected in the text but, to be considered as a qualitative assessment approach, it analyzes the relationship between the concepts too and, due to the variations in the way humans can express in writing, it can "learn" with the concepts not initially were in the conceptual base for assessment to increase the base. Thus, the instrument contributes to the assessment process in virtual environments, since the assessment by the qualitative approach and the immediate feedback allow the author of the text to reflect on its production and can re-elaborate it. In this manner, among other factors, reflective and critical thinking is stimulated concomitantly with the written production. The instrument was implemented in three courses of a continuing education program for teachers aimed at the study of original works by classic authors in the field of education and offered free of charge in the form of massive and open courses online by the School of Extension of the State University of Campinas (Extecamp) as cultural diffusion. The offer took place between October 2018 and September 2019 and, in order to assess the effectiveness of the instrument, mainly the possibility the reflective and critical thinking development was considered in relation to the written productions required as one kind of the courses assessments. The courses had a total of 2280 enrolled in the first offering, 1459 in the second and 5793 in the third, although not all enrolled had completed them. As open courses, not only teachers had their attention awakened by them but also other people were interested in learning about the works and the authors studied. The assessment activities were varied and more than one written production was requested during each course. For the qualitative approach of written productions, the conceptual base for assessment was initially created by content analysis from the main concepts found in the original texts and in supporting texts prepared by the pedagogical team of the course. The participants received the grade and immediate feedback with some orientations about which concepts were present and those were not found in relation to those expected. Then they could re-elaborate and resend their productions for new analysis. Participants texts were qualitatively evaluated and there was a tendency to increase grades after the texts were reworked. In total, 8788 productions written by the instrument were analyzed. In order to better contextualize the instrument application, the evaluation of the course by the participants was also considered, making it possible to conclude that participants reflective and critical thinking was stimulated by the assessment with the qualitative approach and the immediate feedback from written productions. Finally, the instrument was able to qualitatively discriminate the written productions, the objectives were achieved, the results were promising and new perspectives were opened for the instrument evolution,\$aDoutorado,\$aEducação,\$aDoutor em Educação,\$a141444/2015-0, 870354/1997-3,\$aCNPQ'

Referência: RIEDO, Cassio Ricardo Fares. Avaliação qualitativa imediata de produções escritas em EaD. 2020. 1 recurso online (266 p.) Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Educação, Campinas, SP.

Tags: