Este artigo tenta responder à seguinte pergunta: "À medida que a disponibilidade de recursos computacionais continua a crescer, o futuro será dominado por alguns modelos que sabem tudo, ou por uma sociedade de agentes, cada um especializado em um domínio específico?"

​

Para abordar essa questão, investigamos as leis que governam o pré-treinamento contínuo de modelos de diversos tamanhos quando treinados em dados gerais ou especializados.

​

Para nossa surpresa, descobrimos que, em termos de recursos computacionais de treinamento, modelos maiores se beneficiam mais da especialização de domínio do que modelos menores. Essa conclusão é tirada a partir de curvas divergentes com respeito aos recursos computacionais na Figura 1a. Se essas curvas convergissem, ou seja, se cruzassem em algum ponto com o aumento dos recursos computacionais, então os modelos generalistas seriam mais eficientes do que os especializados.

Neste relatório técnico, avaliamos as capacidades do modelo Sabiá-3 em diversos benchmarks, incluindo 73 exames nacionais (Enem, ENADE, OAB, Revalida, etc), chamada de funções, tarefas que requerem capacidade de agente, seguir instruções e lidar com contexto longos.

Neste relatório técnico, introduzimos a nova geração de modelos da Maritaca, os Sabiá-2, e apresentamos a mais completa análise de LLMs em tarefas em portugues, cobrindo 64 exames brasileiros como ENEM, ENADE, OAB, vestibulares da USP e UNICAMP, provas de residência em medicina, dentro outros.

Nosso melhor modelo, Sabiá-2 Medium, supera grandemente diversos LLMs concorrentes na mesma faixa de preço.

Neste estudo, mostramos que uma quantidade modesta de treinamento em domínio específico traz grandes melhorias em tarefas few-shot.

Nosso melhor modelo, Sabiá-65B, supera, em média, o ChatGPT-3.5 em 14 tarefas em português. O trabalho foi publicado na conferência BRACIS 2023.

​

O modelo Sabiá-7B está disponível na Hugging Face

Juru é o primeiro LLM treinado em dados jurídicos brasileiros. Neste estudo, mostramos que treinar o Sabiá-2 Small em documentos relacionados ao direito provindo de sites confiáveis, como a biblioteca do CNPQ, traz ganhos em provas de direito do Enade e OAB.

Neste estudo, avaliamos o GPT-3.5 e o GPT-4 no ENEM e mostramos que ao utilizar a técnica de Chain-of-Thought o desempenho do GPT-4 melhora significativamente.

​

Artigo subsequente sobre a capacidade de "enxergar" imagens do GPT-4 Vision

BLUEX é um conjunto de dados composto por provas de admissão da USP e UNICAMP. Seu objetivo principal é servir como referência para a avaliação de modelos de IA atuais e futuros, incluindo aqueles com capacidades multimodais (imagem+texto). O trabalho foi publicado na conferência BRACIS 2023.