Um assistente com modelo local e busca na web

Uma pilha Docker Compose integra LibreChat, Ollama, LiteLLM, SearXNG e Firecrawl para criar um assistente de IA autohospedado. O LibreChat oferece a interface de conversa, o Ollama executa modelos no hardware do operador e o LiteLLM conecta os serviços por uma API compatível com a OpenAI.

O Firecrawl extrai o conteúdo das páginas encontradas, permitindo que o assistente combine informações recentes da web com respostas do modelo local. A infraestrutura de chat e extração fica sob administração do operador, mas o SearXNG encaminha as consultas aos mecanismos externos configurados, como Brave, Google e Bing.

O caminho de uma consulta

Apenas o Nginx fica exposto à rede. Ele recebe o tráfego HTTPS e o encaminha ao LibreChat, publicado na interface de loopback do servidor. Os demais contêineres se comunicam pela rede privada do Compose e são encontrados pelos nomes dos serviços.

Com a busca na web ativada, o LibreChat solicita resultados ao SearXNG, que distribui a consulta entre mecanismos como Brave, Google e Bing. Depois, o LibreChat envia ao Firecrawl os endereços encontrados; o serviço renderiza as páginas em um navegador Chromium sem interface e retorna o texto em Markdown.

O LibreChat passa o texto extraído e a pergunta ao LiteLLM, que encaminha a solicitação ao Ollama. MongoDB armazena contas e conversas, enquanto Meilisearch indexa o histórico para a busca na barra lateral. Esses dois serviços apoiam o chat, mas não participam do caminho da pesquisa na web.

Configurações para habilitar a busca

O SearXNG desativa a resposta em JSON por padrão, embora o LibreChat solicite resultados nesse formato. Sem habilitar JSON, a instância responde com o erro 403 Forbidden. O ajuste indicado no guia mantém HTML e acrescenta JSON à lista de formatos aceitos:

search:
safe_search: 1
formats:

  • html
  • json

O LibreChat também precisa de um raspador de páginas configurado. Sem ele, a interface pede que cada usuário informe uma chave de API e um endereço de serviço antes de iniciar a busca. O exemplo usa Firecrawl autohospedado e define rerankerType: "none", sem exigir chaves de serviços de reclassificação como Jina ou Cohere.

Para permitir conexões aos serviços da rede Docker sem desativar a proteção contra requisições forjadas a endereços internos, o guia lista os endereços permitidos sem esquema. O exemplo abaixo reúne os principais campos de busca e extração do librechat.yaml; as referências de ambiente são lidas pelo LibreChat a partir do arquivo .env.

webSearch:
searchProvider: "searxng"
searxngInstanceUrl: "${SEARXNG_INSTANCE_URL}"
scraperProvider: "firecrawl"
firecrawlApiKey: "${FIRECRAWL_API_KEY}"
firecrawlApiUrl: "${FIRECRAWL_API_URL}"
rerankerType: "none"
allowedAddresses:

  • "searxng:8080"
  • "firecrawl:3002"

O LibreChat bloqueia conexões de busca para endereços IP privados, de loopback e de link-local; por isso, os nomes dos serviços Docker precisam constar em allowedAddresses. A configuração também usa a versão de esquema 1.3.17 indicada pelo guia, pois versões antigas podem gerar avisos de configuração desatualizada.

Recursos e dimensionamento

Para reproduzir a instalação, são necessários um host Linux com Docker Engine e o plugin Compose, um domínio com registro A apontado para o servidor e as portas 80 e 443 acessíveis para o desafio HTTP-01 do Let’s Encrypt. O teste descrito foi feito no Ubuntu 26.04.1 LTS, com Docker 29.9.3 e Docker Compose 5.7.1.

Um servidor virtual com 8 GB de RAM apresentou falhas na fila de tarefas do Firecrawl quando a memória disponível caiu para menos de cerca de 1,9 GB. A migração para 16 GB resolveu o problema. No host de teste, com quatro vCPUs e um modelo de 0,5 bilhão de parâmetros carregado, o consumo total em repouso foi de 5,8 GiB.

O Firecrawl foi o serviço que mais consumiu memória em repouso, com 2,874 GiB. Um modelo de 7 ou 8 bilhões de parâmetros com quantização de 4 bits pode exigir mais 5 a 6 GB de RAM ou VRAM. Para uso em equipe, o guia sugere um host com GPU para o Ollama e de 16 a 32 GB de memória para os demais serviços.

Gateway de modelos e credenciais

O exemplo usa o modelo Qwen 2.5 de 0,5 bilhão de parâmetros, escolhido por funcionar em CPU e demonstrar a integração rapidamente. No LiteLLM, o nome público do modelo é qwen2.5-0.5b, e o prefixo ollama_chat/ direciona as solicitações ao endpoint de chat do Ollama na rede do Compose.

model_list:

  • model_name: qwen2.5-0.5b litellm_params: model: ollama_chat/qwen2.5:0.5b api_base: http://ollama:11434 general_settings: master_key: os.environ/LITELLM_MASTER_KEY

O LiteLLM centraliza um endpoint e uma chave para modelos locais ou hospedados, além de oferecer acompanhamento de gastos e alternativas de execução. Quem usa somente um modelo local pode conectar o LibreChat diretamente ao Ollama; chaves virtuais e limites individuais no LiteLLM exigem configurar o backend PostgreSQL.

O arquivo .env reúne 19 chaves no exemplo. O guia recomenda gerar valores aleatórios para os segredos, manter o prefixo sk- na chave mestra do LiteLLM e não alterar CREDS_KEY nem CREDS_IV depois que usuários começarem a salvar credenciais. Também orienta não carregar o arquivo inteiro no shell, pois o Bash trata UID como variável somente de leitura.

Confira mais em: https://guiadeti.com.br/noticias/guia-assistente-ia-autohospedado-librechat/