ESTUDO DE DESEMPENHO DE MODELOS DE LINGUAGEM DE GRANDE ESCALA EM MARATONAS DE PROGRAMAÇÃO

O presente estudo investiga o desempenho de Modelos de Linguagem de Grande Escala (LLMs) na resolução de problemas enunciados na Maratona de Programação da Sociedade Brasileira de Computação (SBC) edição 2023. A pesquisa teve como objetivo avaliar a capacidade desses modelos em gerar códigos corretos para desafios propostos na competição, utilizando a linguagem Python. Para tanto, foram escolhidos dois LLMs: o GPT-4o e o Llama 3.1, ambos considerados estado da arte em seus respectivos contextos. A metodologia envolveu a preparação de prompts a partir dos enunciados de problemas, testagem de códigos com arquivos fornecidos pela maratona e a aplicação de métricas para avaliação da performance dos códigos gerados. Os resultados indicam que, embora os modelos tenham apresentado taxas de sucesso razoáveis, a geração de código ainda enfrenta limitações, especialmente em problemas mais complexos. Este estudo contribui para a compreensão do potencial e das restrições dos LLMs em contextos específicos de programação, sugerindo caminhos para futuras pesquisas e aprimoramento dessas tecnologias.