Research Quest Logo, special art

Da ideia à arquitetura de uma aplicação que responde com base em documentos

Modelos de linguagem são excelentes para produzir respostas convincentes. O problema é que uma resposta convincente não é necessariamente verdadeira.

Foi dessa preocupação que surgiu o Research Quest, uma aplicação para enviar documentos, fazer perguntas sobre seu conteúdo e receber respostas fundamentadas em trechos verificáveis.

O desenvolvimento é aberto e pode ser acompanhado no repositório do Research Quest no GitHub, onde estão disponíveis o código-fonte, o histórico das decisões e a evolução do MVP.

O objetivo não é criar apenas mais um chat com IA. A proposta é explorar como construir um fluxo de pesquisa que:

  • utilize somente os documentos selecionados;
  • apresente as fontes utilizadas;
  • reconheça quando não há evidência suficiente;
  • execute tarefas demoradas em segundo plano;
  • continue simples e barato o bastante para uma prova de conceito.

O escopo do MVP

A primeira versão aceita documentos TXT e Markdown. Após o upload, o conteúdo passa por validação, divisão em trechos e geração de embeddings.

Quando uma pergunta é enviada, a aplicação procura os trechos semanticamente mais próximos e entrega esse contexto a um agente. O modelo deve produzir uma resposta estruturada e indicar exatamente quais trechos sustentam sua conclusão.

O fluxo principal é:

Documento → chunks → embeddings → busca vetorial ↓ Pergunta → tarefa assíncrona → agente → resposta + fontes 

Para cumprir o prazo e evitar complexidade prematura: autenticação, PDFs, múltiplos agentes e deploy de produção ficaram fora do MVP.

A arquitetura escolhida

O projeto utiliza um monorepo com:

  • Next.js para a interface;
  • FastAPI para a API;
  • PostgreSQL com pgvector para dados e busca vetorial;
  • LangGraph para organizar o fluxo do agente;
  • Groq para gerar as respostas;
  • Celery e RabbitMQ para execução em segundo plano;
  • embeddings locais para reduzir dependência e custo.

A escolha do PostgreSQL com pgvector evita adicionar um banco vetorial separado. Para uma PoC, manter documentos, tarefas e vetores no mesmo banco simplifica a arquitetura e a operação.

Os embeddings são produzidos localmente. Assim, o custo externo fica concentrado na geração da resposta, utilizando inicialmente os modelos disponíveis no plano gratuito do Groq.

Por que executar em segundo plano?

Uma pesquisa pode envolver busca vetorial, chamada ao modelo, validação da resposta e novas tentativas em caso de falha temporária. Manter a conexão HTTP aberta durante todo esse processo tornaria a interface mais frágil.

Por isso, a API cria uma tarefa e retorna imediatamente seu identificador. Um worker processa essa tarefa enquanto o frontend acompanha seus estados:

queued → running → completed ↘ retrying → running ↘ failed 

O PostgreSQL funciona como fonte de verdade. Mesmo que o worker seja reiniciado, o estado conhecido da pesquisa continua persistido.

Respostas com evidências

O ponto mais importante do projeto é o tratamento das fontes.

O agente não recebe apenas uma pergunta. Ele recebe trechos identificados dos documentos recuperados. A resposta deve seguir um contrato estruturado e referenciar somente identificadores que realmente participaram da busca.

Se os trechos não forem suficientes, o sistema deve informar essa limitação em vez de completar a resposta com conhecimento externo.

Essa abordagem não elimina completamente as alucinações, mas reduz o espaço disponível para respostas sem sustentação e permite que o usuário confira a origem da informação.

Desenvolvimento orientado a especificações

Antes da implementação, o projeto foi dividido em especificações menores:

  1. fundação e ambiente;
  2. ingestão de documentos;
  3. busca vetorial;
  4. tarefas de pesquisa;
  5. agente e fundamentação;
  6. execução assíncrona;
  7. interface;
  8. qualidade e documentação.

Essa divisão ajuda a manter os commits pequenos e prioriza a entrega de um fluxo vertical funcional. Funcionalidades secundárias só entram quando não colocam o MVP em risco.

Próxima parte

Nesta primeira parte, apresentei o problema, o escopo e as principais decisões arquiteturais do Research Quest.

Na parte 2, mostrarei como funciona a ingestão dos documentos: validação, deduplicação, chunking, embeddings locais e persistência no pgvector.

Enquanto isso, você pode acompanhar a implementação e explorar o código no GitHub. Sugestões e discussões técnicas são bem-vindas.

Se você está construindo aplicações com RAG, quais estratégias utiliza para impedir que o modelo responda sem evidências suficientes?