MariTalk On-premises

A MariTalk é um grande modelo de linguagem (Large Language Model, LLM) com habilidades similares ao ChatGPT-3.5, incluindo a capacidade de responder a perguntas em linguagem natural, conduzir conversas fluidas, resumir documentos, traduzir idiomas, elaborar ensaios, aprimorar textos, entre outros. Esse modelo foi treinado em uma vasta gama de textos em português e consegue seguir instruções em linguagem natural. A MariTalk é também um modelo conversacional, podendo utilizar informações de mensagens anteriores para gerar respostas mais precisas e contextualizadas.

 

Caso queira testar as funcionalidades da MariTalk sem ter que adquirir a licença e rodá-la localmente, visite o site chat.maritaca.ai.

O modelo em execução naquele site é o mesmo que este disponível para licenciamento.

 

Por que usar a MariTalk ao invés do ChatGPT?

A MariTalk se distingue do ChatGPT em dois aspectos fundamentais:

1. Primeiramente, foi especificamente treinada para entender bem o idioma português, portanto, tem um bom desempenho em tarefas neste idioma. Se seu projeto demanda conhecimentos específicos do Brasil, a MariTalk pode ser a escolha ideal.

2. A MariTalk permite download e execução local, no seu próprio computador, sem necessidade de enviar seus dados para a nuvem. Isso pode ser particularmente útil para entidades com dados sensíveis, como hospitais e escritórios de advocacia, que precisam ou são legalmente obrigadas a manter seus dados em seus próprios servidores.

 

Quando NÃO usar a MariTalk:

A MariTalk pode não ser a melhor escolha se você estiver satisfeito com o ChatGPT-3.5, mas acha que o custo é alto. Isso porque o custo total de manter o hardware, somado ao custo de licenciamento da MariTalk, provavelmente se aproximará do valor cobrado pela OpenAI pelo uso do ChatGPT-3.5. Portanto, a MariTalk não é recomendada como alternativa de custo mais baixo.

 

Tamanho máximo da sequencia:

O modelo suporta até 8192 tokens, equivalentes a cerca de 4000 palavras em português. Esse limite é adequado para muitas tarefas, como extrair informações de documentos com até 6 páginas de texto. Se sua tarefa demanda suporte para textos mais longos, será necessário truncar ou subdividir o texto em segmentos menores, uma técnica conhecida como janelamento.

 

Qual o número de parâmetros e arquitetura da MariTalk? 

Quanto ao número de parâmetros e arquitetura do modelo, essas são informações que mantemos confidenciais. E vale esclarecer que a MariTalk não é o mesmo que o Sabiá, divulgado em uma publicação científica da Maritaca. São modelos diferentes.

 

Instalação e suporte:

A licença de uso inclui suporte da equipe Maritaca AI para instalação do modelo em seu ambiente local. Se você não possuir hardware adequado, podemos auxiliar na execução do modelo em servidores de provedores de nuvem com preços competitivos, como LambdaLabs, CoreWeave e Datacrunch. Caso queira adquirir um computador, iremos orientá-lo na configuração ideal e indicar fornecedores.

 

Requisitos de sistema:

O sistema operacional recomendado é o Linux, especificamente o Ubuntu 20.02, no qual o modelo foi extensivamente testado. O hardware deve contar com uma CPU com, no mínimo, XXX GB de memória RAM e uma GPU com pelo menos 40 GB de memória para sequências de até 2048 tokens. Para sequências de 8192 tokens, é necessário pelo menos uma GPU com 80GB. O modelo também pode ser executado em várias GPUs. Por exemplo, 2 GPUs Nvidia RTX 3090, cada uma com 24GB, são suficientes para executar o MariTalk com sequências de até 4096 tokens.