Decisão 01 · Infraestrutura
Modelo open source no servidor do laboratório
Os agentes precisavam de um LLM, mas a pesquisa tem orçamento pequeno, e a ferramenta precisa continuar funcionando depois que eu sair da universidade.
EscolhiUsar uma versão de porte médio do Qwen, um modelo open source, rodando no servidor do próprio laboratório.
Não escolhiUsar a API de um modelo comercial pago.
- Trade-off
- Sem custo por chamada e sem depender de um fornecedor externo, em troca de um modelo menor que os comerciais e de operar a infraestrutura dentro do laboratório.
- Resultado
- O porte médio equilibrou velocidade e qualidade das respostas no hardware do laboratório.