Please use this identifier to cite or link to this item:
https://rd.uffs.edu.br/handle/prefix/9677| Type: | Monografia |
| Title: | Avaliação de LLMs na automação da migração de código |
| Author: | Zancanaro, Eduardo Pazzini |
| First advisor: | Salton, Giancarlo Dondoni |
| Resume: | Este trabalho avalia LLMs, no formato de agentes, para apoiar a modernização de software legado por meio da geração automática de testes unitários. Como estudo de caso, utiliza-se a CICS Banking Sample Application (CBSA), originalmente em COBOL, tendo como alvo a versão modernizada em Go. Comparam-se Claude Code, OpenCode e Kilo Code em um fluxo padronizado, medindo custo (tempo, tokens e interações), abrangência (módulos cobertos e cobertura do código de produção) e qualidade/manutenibilidade via SonarQube. O Claude Code foi o mais autônomo e abrangente (6/6 módulos; 93,4% de cobertura média em uma interação). O OpenCode cobriu 3/6 módulos (84,0%) e exigiu intervenções; o Kilo Code gerou testes mais idiomáticos, porém apenas para 1/6 módulo. Conclui-se que a abordagem é viável, mas ainda requer revisão humana e depende do modelo, sobretudo em agentes gratuitos. |
| Abstract: | This paper evaluates LLM-based agents for supporting legacy software modernization through automatic unit-test generation. The case study uses the CICS Banking Sample Application (CBSA), originally in COBOL, targeting its modernized Go version. We compare Claude Code, OpenCode, and Kilo Code under a standardized workflow, measuring cost (time, tokens, interactions), scope (covered modules and production-code coverage), and test quality/maintainability via SonarQube. Claude Code achieved the best autonomy and scope (6/6 modules; 93.4% average coverage in one interaction). OpenCode covered 3/6 modules (84.0%) and required interventions, while Kilo Code produced more idiomatic tests but only for 1/6 module. Results indicate feasibility, but end-to-end autonomy and semantic fidelity remain model-dependent and still require human review, especially with free/open agents. |
| Keywords: | Inteligência artificial Reengenharia de software Testes |
| Language: | por |
| Country: | Brasil |
| Publisher: | Universidade Federal da Fronteira Sul |
| Acronym of the institution: | UFFS |
| College, Institute or Department: | Campus Chapecó |
| Type of Access: | Acesso Aberto |
| URI: | https://rd.uffs.edu.br/handle/prefix/9677 |
| Issue Date: | 2026 |
| Appears in Collections: | Ciência da Computação |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| ZANCANARO.pdf | 394.8 kB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.