UTILIZAÇÃO DE LLMS E GRAPHRAG PARA CONSULTAS NO SETOR FINANCEIRO

Neste estudo, implementamos e avaliamos um projeto utilizando a abordagem GraphRAG para aprimorar o processamento focado em consultas usando modelos de linguagem de larga escala (LLMs). Nossa implementação empregou um cluster de computação de alto desempenho com 128GB de RAM e uma GPU RTX 3090 com 24GB de RAM para executar os modelos LLaMA 3.1 8B-Instruct-FP16 e LLaMA 3.1 70B-Instruct-Q4. Esses modelos geraram prompts que a ferramenta GraphRAG utilizou para analisar e entender o documento de entrada, especificamente uma descrição de esquema de banco de dados de uma instituição financeira brasileira. A integração desses LLMs avançados com o GraphRAG facilitou a extração e análise de informações relevantes, demonstrando avanços significativos na capacidade de processar e analisar grandes volumes de dados complexos, proporcionando respostas mais precisas e completas para consultas no setor financeiro.