top of page
MariTalk é plataforma de chatbot que serve os modelos Sabiá, LLMs treinados com conteúdo relevante para o Brasil.
Use-os gratuitamente em chat.maritaca.ai
MariTalk API
A MariTalk API possibilita que você use nossos modelos Sabiá pagando um valor proporcional à quantidade de tokens enviados (prompt) e gerados.
Devido ao treinamento especializado dos modelos Sabiá, eles entregam uma qualidade maior a um menor preço do que nossos concorrentes.
Compare abaixo a qualidade dos nossos modelos, medida pelo desempenho em 64 Exames Brasileiros (Enem, Enade, Revalida, OAB, UNICAMP, USP, etc) vs preço:
* Considerando US$1 = R$ 5,50
Estimativa de que para cada 1 milhão de tokens, 500 mil são tokens de entrada e os outros 500 mil são tokens de saída.
Um milhão de tokens equivalem à aproximadamente 700 páginas de texto em português.
Para mais detalhes, confira:
Preços API
Pricing
Como usar
Use a Maritalk API através de nossa biblioteca Python:
import maritalk
model = maritalk.MariTalk(key="insira sua chave aqui. Ex: '100088...'")
answer = model.generate("Quanto é 25 + 27?")
print(f"Resposta: {answer}") # Deve imprimir algo como "52."
.png)
MariTalk Local
Além de usar nossos modelos via API, você pode também hospedá-los localmente.
Seus dados nunca saem da sua máquina local; apenas informações sobre o tempo de uso do modelo são enviados para nossos servidores para efeitos de cobrança.
Como usar
Use a Maritalk Local através de nossa biblioteca Python:
import maritalk
# Criando uma instância do cliente MariTalkLocal
client = maritalk.MariTalkLocal()
# Iniciando o servidor com uma chave de licença especificada.
# O executável será baixado em ~/bin/maritalk
client.start_server(client="00000-00000-00000-00000")
# Gerando uma resposta para a pergunta
response = client.generate("Quanto é 25 + 27?")
print(response["output"]) # Deve imprimir algo como "52."
-
Como eu faço para ter acesso à MariTalk?Para acessar a MariTalk, entre em chat.maritaca.ai e faça login com um endereço de e-mail. Se você deseja obter informações sobre como usar a API da MariTalk, por favor, acesse o link https://github.com/maritaca-ai/maritalk-api
-
O que os modelos são capazes de fazer?Eles possuem várias habilidades, tais como: Fornecer explicações detalhadas sobre uma variedade de tópicos e ajudar no aprendizado de novos conceitos; Responder perguntas de acordo com o contexto de uma conversa; Traduzir texto para e de muitas línguas diferentes; Gerar textos criativos, como histórias, poemas, diálogos e muito mais.
-
Consigo fazer finetuning nos meus dados a partir dos modelos da Maritaca?Ainda não, mas em breve teremos esta funcionalidade tanto em modelos servidos via API quanto em modelos que podem ser baixados e utilizados localmente.
-
Qual a diferença da MariTalk para os modelos Sabiá?A MariTalk é uma plataforma que serve diversos LLMs, incluindo os modelos Sabiá-2 small e medium. Se quiser saber mais sobre os modelos Sabiá-2, veja este blogpost. Já os modelos Sabiá (1) são modelos não comerciais resultados de uma pesquisa científica.
-
Qual é o modelo que está usado no chat web da MariTalk?O modelo usado no chat web é informado abaixo da caixa de texto (ex: "Sabiá-2-medium versão 2024-03-08").
-
Em quais dados os modelos foram treinados?A MariTalk é treinada em uma grande quantidade de dados públicos da internet, em sua maioria no idioma Português. Entretanto, o modelo também possui capacidades razoáveis de desempenhar tarefas em idiomas como Inglês e Espanhol.
-
Como é o treinamento dos modelos servidos pela MariTalk?Os modelos passam por dois estágios de treinamento. No primeiro, os modelos são treinados de maneira auto-supervisionada (ex: prever a próxima palavra em um documento) em grandes quantidades de texto, por exemplo, extraídos da web, livros, etc. Na segunda etapa, o foco é ensinar os modelos a compreender e seguir instruções específicas, além de produzir respostas que sejam seguras, evitando conteúdo ofensivo, perigoso ou que viole princípios éticos.
-
Qual é a data de corte dos dados de treinamento?Os modelos foram treinados em dados disponíveis até meados de 2023, então eles não estão cientes dos eventos ou informações que surgiram após essa data.
-
Meus dados são usados para treinamento? Qual é a política de retenção de dados?MariTalk API: todos os dados enviados para nossos servidores são imediatamente descartados após gerada a saída. Apenas armazenamos a contagem de tokens para efeitos de cobrança. MariTalk Local: seus dados nunca saem da máquina onde estão sendo executados. A única comunicação com os servidores da Maritaca é para verificar se a licença fornecida continua válida. Chatbot Web: por ser um serviço gratuito, podemos eventualmente usar as perguntas mais frequentes de usuários para melhorar os modelos.
-
Qual a arquitetura e quantos parâmetros tem modelos servidos pela MariTalk API e Local?Os modelos são baseados na arquitetura Transformers, mas o número de parâmetros e arquitetura exata são informações que mantemos em sigilo.
-
Vocês possuem modelos de embeddings para retrieval augmented LLMs (RAG)?Não, mas incluiremos este serviço em nosso portfólio em um futuro próximo. Se estiver interessado em integrar nossos LLMs com sistemas de busca, recomendamos consultar este exemplo com LangChain.
-
Vocês planejam ter modelos especializados para domínios específicos, como jurídico, financeiro, saúde, etc?Sim, temos planos de servir modelos especializados em certas áreas do conhecimento. Entretanto, ainda não temos uma data para seus lançamentos.
-
Qual nuvem é usada pela MariTalk API?Nossos modelos rodam em GPUs na Oracle Cloud, Amazon AWS e Google Cloud. O treinamento é majoritariamente feito em TPUs na Google Cloud.
-
Por que usar a MariTalk ao invés do OpenAI ChatGPT, Google Gemini, etc?A MariTalk se distingue dos concorrentes em dois aspectos fundamentais. Primeiramente, foi treinada especificamente para entender bem a lingua portuguesa, portanto, tem um desempenho superior em tarefas neste idioma. Se seu projeto ou aplicação demanda conhecimentos específicos do Brasil, a MariTalk pode ser a escolha ideal. Em segundo lugar, a MariTalk Local permite o download e a execução local, no seu próprio servidor ou desktop, sem a necessidade de enviar seus dados para a nuvem. Isso pode ser especialmente útil para entidades que lidam com dados sensíveis, como hospitais e escritórios de advocacia, que precisam ou são legalmente obrigadas a manter seus dados em seus próprios servidores.
-
Quais são as limitações dos modelos da Maritaca AI?Tarefas que exigem raciocínio lógico e escrita de código são desafiadoras para os modelos atuais. Além disso, os modelos podem apresentar alucinações, como inventar fatos ou responder perguntas sobre eventos que nunca aconteceram. Esses são problemas em aberto para a comunidade científica, mas estão sendo progressivamente mitigados com cada nova versão dos modelos.
-
Quando usar a MariTalk API vs a MariTalk Local?Se as suas informações não puderem ser transmitidas para fora da sua rede local, a MariTalk Local é a solução ideal. Essa opção também é recomendada quando a quantidade de requisições é elevada, pois o investimento em hardware dedicado e licença tende a ser mais eficiente. Por outro lado, caso o volume de solicitações seja moderado, a API hospedada pela Maritaca AI pode ser mais vantajosa economicamente. Este modelo nos permite compartilhar os custos de hardware com outros clientes, tornando-se uma opção mais acessível.
-
Qual o suporte incluído pela Maritaca AI ao adquirir uma licença da MariTalk Local?A licença de uso inclui suporte da equipe Maritaca AI para instalação do modelo em seu ambiente local. Se você não possuir hardware adequado, podemos auxiliar na execução do modelo em servidores de provedores de nuvem com preços competitivos, como LambdaLabs, CoreWeave e DataCrunch ou nos provedores mais populares como o Oracle Cloud, Google Cloud, Amazon AWS e Microsoft Azure. Caso queira adquirir um servidor, iremos orientá-lo na configuração ideal e indicar fornecedores.
-
Ao adquirir uma licença da MariTalk Local, terei acesso aos pesos do modelo?Ao adquirir uma licença, você terá acesso a uma versão do modelo que foi treinada e ajustada para atender às suas necessidades específicas no idioma português. No entanto, os pesos do modelo permanecem de propriedade da Maritaca AI. Isso é feito para proteger a propriedade intelectual da Maritaca AI. A licença que você adquire lhe dá o direito de usar o modelo, mas não lhe dá acesso aos pesos do modelo.
-
Quantas réplicas da MariTalk Local posso executar simultaneamente com uma licença?Você pode executar múltiplas instâncias simultaneamente por licença, com valor cobrado proporcional ao número de instâncias ativas. Por exemplo, será cobrado o dobro do valor se uma licença for executada em duas máquinas simultaneamente.
-
A licença permite que eu execute a MariTalk Local em containers (ex: Docker) ou VMs?Sim, é possível executar a MariTalk Local em containers ou máquinas virtuais. Na documentação disponibilizamos exemplos de como executar usando Docker em diferentes provedores de nuvem: https://github.com/maritaca-ai/maritalk-api/blob/main/examples/local/docker.md
-
Consigo rodar os modelos da MariTalk Local em CPU?No momento, não temos suporte para CPUs, apenas para GPUs da Nvidia.
-
Ao ativar a licença da MariTalk Local, ela fica atrelada a um hardware específico?Não. Os usuários podem trocar o hardware quantas vezes desejarem, sem restrições.
-
Posso cancelar a licença da MariTalk Local a qualquer momento?Sim, e você será cobrado apenas pelas horas em que o servidor da MariTalk Local esteve ligado.
-
Quais soluções a sua empresa oferece para tarefas específicas, como aprimoramento do atendimento ao cliente através de chatbots, elaboração de petições, etc?Não fornecemos soluções personalizadas para desafios específicos dos clientes. Neste caso, recomendamos entrar em contato com uma empresa de integração de software que possa oferecer um serviço mais alinhado às suas demandas específicas.
-
Tenho um projeto que envolve LLMs. Vocês poderiam me ajudar a executá-lo?Por estarmos focados em melhorar nossos produtos, infelizmente não temos tempo para atuar em projetos específicos ou fazer customizações dos nossos produtos.
-
Gostaria de capacitar o pessoal da minha empresa sobre IA generativa, LLMs, RAG, etc. Vocês dão cursos, workshops, etc?Por sermos um time focado em melhorar nossos produtos, infelizmente não temos tempo para oferecer treinamentos.
-
Onde fica localizada a Maritaca AI?A Maritaca AI fica localizada em Campinas, estado de São Paulo, mas é uma empresa híbrida, com parte dos colaboradores trabalhando remotamente.
-
A Maritaca é atrelada à UNICAMP?Apesar de parte do time ter tido ou ter algum vínculo com a UNICAMP, seja como alunos ou pesquisadores, a Maritaca AI não tem nenhum vínculo formal com a universidade, e nem foi incubada pela mesma. Entretanto nos beneficiamos imensamente por estar tão perto do ecossistema de educação, pesquisa e desenvolvimento que forma profissionais de alto nível.
bottom of page