Use este identificador para citar ou linkar para este item:
https://rd.uffs.edu.br/handle/prefix/9200| Tipo: | Monografia |
| Título: | Extração de esquemas em documentos legais não estruturados utilizando LLMs |
| Autor(es): | Krzyzaniak, Luan Alecxander |
| Primeiro Orientador: | Duarte, Denio |
| Resumo: | Este trabalho explora o uso de Large Language Models (LLMs) na extração de esquemas a partir de documentos legais não estruturados. O estudo propõe uma abordagem que integra técnicas de coleta, pré-processamento textual, engenharia de prompt e aplicação de embedding para estudar a aplicação de LLMs na identificação e organização eficiente de informações jurídicas. Para avaliação, foi utilizado o modelo Mistral 7B Instruct v0.2 em 471 Atas de Registro de Preços (ARPs), segmentadas em blocos de 2.000 tokens. Os resultados da análise por documento indicam alto desempenho na classificação de tipos de dados (Type Accuracy: 0,946; Type Precision: 0,972), mas desempenho semântico moderado (Semantic Accuracy: 0,412; Semantic Coverage: 0,714), revelando consistência na tipagem, porém limitações na correspondência semântica. Uma segunda etapa avaliou um JSON unificado construído a partir de todos os esquemas extraídos, no qual as métricas semânticas atingiram valores máximos, mostrando que o modelo recupera todos os campos esperados ao menos uma vez, embora com aumento de ruído. Os achados sugerem que LLMs podem atuar como ferramentas auxiliares na extração de esquemas jurídicos, reduzindo esforços manuais, mas ainda dependem de estratégias adicionais de verificação semântica e consolidação estrutural para aplicação prática. |
| Abstract/Resumen: | This work explores the use of Large Language Models (LLMs) for schema extraction from unstructured legal documents. The study proposes an approach that integrates data collection techniques, text preprocessing, prompt engineering, and embedding-based evaluation to examine the applicability of LLMs in identifying and organizing legal information efficiently. For evaluation, the Mistral 7B Instruct v0.2 model was applied to 471 Price Registration Records (ARPs), segmented into 2,000-token blocks. Results from the per-document analysis indicate strong performance in data type classification (Type Accuracy: 0.946; Type Precision: 0.972), but moderate semantic performance (Semantic Accuracy: 0.412; Semantic Coverage: 0.714), revealing consistent typing but limitations in semantic correspondence. A second evaluation stage examined a unified JSON constructed from all extracted schemas, in which semantic metrics reached maximum values, showing that the model successfully recovers all expected fields at least once, although with increased noise. The findings suggest that LLMs can serve as auxiliary tools for legal schema extraction, reducing manual effort, but still require additional semantic verification and structural consolidation strategies for practical deployment. |
| Palavras-chave: | Inteligência artificial Documentos Esquemas Modelagem de dados Informação jurídica |
| Idioma: | por |
| País: | Brasil |
| Instituição: | Universidade Federal da Fronteira Sul |
| Sigla da Instituição: | UFFS |
| Faculdade, Instituto ou Departamento: | Campus Chapecó |
| Tipo de Acesso: | Acesso Aberto |
| URI: | https://rd.uffs.edu.br/handle/prefix/9200 |
| Data do documento: | 2025 |
| Aparece nas coleções: | Ciência da Computação |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| KRZYZANIAK.pdf | 1.33 MB | Adobe PDF | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.