TL;DR: A curadoria de dados está revolucionando a IA ao permitir que Modelos de Linguagem Pequenos (SLMs) superem modelos maiores através de dados de alta qualidade, volume adequado e especialização em domínios específicos, desafiando a noção de que tamanho é o fator determinante para performance.

Takeaways:

Modelos menores treinados com dados de alta qualidade podem superar modelos gigantes em tarefas específicas, como demonstrado pelo Phi-2 da Microsoft e pelo BioMedLM de Stanford.
A quantidade ideal de dados segue a Lei de Escala de Chinchilla (20:1 tokens por parâmetro), superando a antiga proporção de 2:1 proposta pela OpenAI.
A especialização em domínios específicos é crucial, especialmente em áreas de baixo recurso como COBOL, onde modelos focados superam LLMs genéricos.
Questões éticas e de transparência permanecem, já que muitos datasets de alta qualidade são utilizados sem permissão adequada dos autores originais.
O futuro da IA aponta para modelos menores, mais eficientes e especializados, priorizando qualidade de dados sobre quantidade ou tamanho do modelo.

A Revolução Silenciosa dos SLMs: Como a Curadoria de Dados Está Transformando a Inteligência Artificial

Você já se perguntou por que alguns modelos de IA menores conseguem superar gigantes com bilhões de parâmetros? A resposta não está apenas na arquitetura ou no poder computacional, mas em algo muito mais fundamental: os dados que alimentam esses sistemas.

Enquanto o mundo da tecnologia celebra os grandes modelos de linguagem (LLMs) como o GPT-4 e Claude, uma revolução silenciosa está acontecendo nos bastidores. Os Modelos de Linguagem Pequenos (SLMs) estão provando que, quando se trata de inteligência artificial, o tamanho nem sempre é o que importa.

Neste artigo, vamos explorar como a curadoria de dados está redefinindo o futuro da IA, permitindo que modelos menores e mais eficientes desafiem o status quo com desempenho surpreendente.

O Impacto Transformador da Curadoria de Dados

A curadoria de uma grande quantidade de dados de treinamento de alta qualidade tem um impacto profundo no desempenho de um modelo de IA, especialmente para os SLMs. Enquanto a tecnologia Transformer permitiu o uso de dados relativamente desorganizados para criar LLMs, tornou-se cada vez mais evidente que a qualidade do modelo aumenta diretamente com a qualidade dos dados que o alimentam.

Três ingredientes fundamentais impulsionam o sucesso dos SLMs:

Quantidade: Volume adequado de dados para o tamanho do modelo
Qualidade: Dados precisos, relevantes e bem estruturados
Especialização: Concentração em domínios específicos de conhecimento

Esta abordagem contrasta diretamente com a filosofia inicial dos LLMs, que priorizava o uso de quantidades massivas de dados não tratados da internet. Os resultados têm sido surpreendentes: modelos significativamente menores estão alcançando desempenho comparável ou superior aos seus primos gigantes em muitas tarefas.

“Dados de alta qualidade levam a modelos de maior qualidade. Esta não é apenas uma correlação, mas uma causalidade direta que está redefinindo como pensamos sobre o desenvolvimento de IA.”

Quantidade de Dados: Repensando as Leis de Escala

A quantidade ideal de dados para um determinado tamanho de modelo é um tópico amplamente estudado, especialmente considerando os altos custos ambientais e financeiros associados ao treinamento de LLMs.

A Evolução das Leis de Escala

Em 2020, pesquisadores da OpenAI propuseram que aproximadamente 2 tokens de texto deveriam ser usados no treinamento para cada parâmetro de um LLM. Esta proporção 2:1 tornou-se conhecida como a Lei de Escala de Kaplan.

Dois anos depois, a DeepMind apresentou uma visão alternativa. Seus pesquisadores argumentaram que a OpenAI havia subestimado drasticamente a quantidade de dados necessária para treinar um LLM de forma otimizada. Eles propuseram que a razão de escala ótima deveria ser 20:1, não 2:1, estabelecendo a Lei de Escala de Chinchilla.

Para demonstrar esta teoria, a DeepMind desenvolveu o modelo Chinchilla com 70 bilhões de parâmetros, treinado com uma razão de escala de 20:1. Os resultados foram impressionantes: Chinchilla superou modelos significativamente maiores, incluindo o GPT-3 com seus 175 bilhões de parâmetros.

Eficiência de Inferência: O Novo Paradigma

Modelos super grandes são substancialmente mais caros para hospedar e utilizar. Este fato econômico tem impulsionado a busca por modelos menores que possam manter alto desempenho, o que é possível através do treinamento com mais dados de alta qualidade.

A Meta demonstrou este princípio com sua série Llama:

A série Llama 2 foi treinada com aproximadamente 2 trilhões de tokens
O Llama 3.1-8B foi treinado com mais de 15 trilhões de tokens

No livro “The Llama 3 Herd of Models”, a Meta revelou que seus modelos menores foram treinados “por muito mais tempo do que é computacionalmente otimizado” do ponto de vista do treinamento. No entanto, esses modelos são mais eficientes para rodar em inferência, tornando-os extremamente populares.

Esta tendência está borrando a linha entre modelos otimizados para inferência e SLMs, já que é praticamente impossível ter um LLM gigante que também seja otimizado para inferência, devido aos custos de aquisição e à quantidade limitada de dados de alta qualidade disponíveis.

A Qualidade dos Dados: O Diferencial Definitivo

Se a quantidade de dados é importante, a qualidade é absolutamente crítica. O velho princípio de computação “garbage in, garbage out” (lixo entra, lixo sai) nunca foi tão relevante quanto no desenvolvimento de modelos de IA.

A Busca por Dados Premium

Para treinar os modelos atuais, os provedores praticamente vasculharam toda a internet. No entanto, a necessidade crescente é por dados de alta qualidade, que são significativamente mais difíceis de obter.

A Microsoft publicamente creditou a qualidade dos dados como fator crítico para o sucesso do seu SLM Phi-2 de 2,7 bilhões de parâmetros, que em algumas avaliações superou modelos 25 vezes maiores. Esta afirmação foi respaldada pela pesquisa “Textbooks Are All You Need”, que demonstrou como dados de alta qualidade podem melhorar drasticamente os LLMs, reduzindo o tamanho do dataset e o poder computacional necessário.

Fontes de dados de alta qualidade incluem:

Livros didáticos e acadêmicos
Literatura científica revisada por pares
Documentação técnica especializada
Conteúdo curado por especialistas

O recente lançamento do Phi-4 pela Microsoft reforça esta tendência, destacando novamente a importância de dados melhorados para o desempenho do modelo.

Transparência e Ética: O Lado Obscuro da Curadoria

Poucos provedores de LLMs são transparentes sobre as fontes de dados usadas para treinar seus modelos. Esta falta de transparência levanta questões éticas significativas, especialmente porque muitos dos melhores datasets são frequentemente utilizados sem a devida permissão dos autores.

A Questão dos Direitos Autorais

Datasets de alta qualidade geralmente não são conteúdo genérico da internet, mas sim obras protegidas por direitos autorais, como livros, artigos científicos e conteúdo premium. A inclusão de datasets como o Books3 em treinamentos de IA foi frequentemente realizada sem permissão dos autores originais.

Ao avaliar SLMs para uso em seu negócio, é crucial questionar:

Como os dados por trás do modelo foram obtidos?
Existe transparência nas políticas de coleta e curadoria?
O provedor pode garantir que não utilizou dados obtidos de forma antiética?

Estas questões não são apenas éticas, mas também legais, com implicações significativas para o futuro da indústria de IA.

Especialização de Domínio: O Poder do Foco

Para um problema de saúde específico, você consultaria um médico especialista ou a pessoa mais inteligente que conhece? Esta analogia ilustra perfeitamente o valor da especialização em modelos de IA.

Modelos menores e especializados podem igualar ou superar LLMs gigantes de propósito geral em tarefas específicas, especialmente quando treinados com dados relevantes para um domínio particular.

Casos de Sucesso em Especialização

Um exemplo notável é o BioMedLM, um modelo de apenas 2,7 bilhões de parâmetros desenvolvido por pesquisadores de Stanford. Treinado especificamente em literatura biomédica, o BioMedLM superou modelos maiores não especializados em questões do exame de licenciamento médico dos EUA (USMLE).

Quando avaliado nestas questões médicas, uma versão fine-tuned do BioMedLM superou um modelo similar não especializado (GPT Neo) por impressionantes 17%, e até mesmo superou o Galactica da Meta, um modelo muito maior com 120 bilhões de parâmetros.

Curiosamente, o próprio Galactica, especificamente projetado para auxiliar cientistas, foi retirado do ar apenas três dias após seu lançamento devido a numerosos exemplos de viés, toxicidade e alucinações que resultaram em absurdos científicos – destacando que tamanho e especialização sem qualidade de dados não garantem sucesso.

Aplicações em Domínios de Baixo Recurso

A especialização torna-se ainda mais crucial em domínios de “baixo recurso” – áreas onde há poucos dados disponíveis para treinamento de IA. Um exemplo perfeito é a linguagem COBOL.

O Desafio COBOL

Apesar de existirem mais de 230 bilhões de linhas de código COBOL em uso atualmente, especialmente em sistemas bancários e governamentais críticos, há pouquíssimos dados públicos disponíveis para treinar LLMs nesta linguagem. Isso ocorre porque os dados transacionais em COBOL não estão prontamente disponíveis para raspagem na internet.

Para enfrentar este desafio, a IBM Research adotou uma abordagem inovadora:

Primeiro, separou cuidadosamente dados COBOL adquiridos
Treinou um modelo de código genérico
Especializou esse modelo com treinamento adicional em um conjunto de dados altamente concentrado com dados COBOL de alta qualidade

O resultado foi um modelo de código de 20 bilhões de parâmetros (granite.20b.cobol) que superou significativamente o ChatGPT em completações de código COBOL, demonstrando que a especialização pode superar limitações de dados.

O Futuro Pertence aos Modelos Especializados e Eficientes

A tendência é clara: modelos de base construídos com qualidade em seu núcleo resultam em melhor desempenho e maior eficiência. Esta é uma lição valiosa não apenas para desenvolvedores de IA, mas também para empresas que buscam especializar modelos pré-treinados com seus próprios dados.

Os SLMs representam uma mudança de paradigma na indústria de IA, priorizando:

Eficiência sobre tamanho: Modelos menores e mais ágeis
Qualidade sobre quantidade: Dados cuidadosamente curados
Especialização sobre generalização: Foco em domínios específicos

Esta abordagem não apenas reduz custos e aumenta a acessibilidade da IA, mas também promove um uso mais responsável e ético dos dados.

Conclusão: A Nova Era da Inteligência Artificial

A curadoria de dados, com seu foco em quantidade, qualidade e especialização, está redefinindo o que é possível no campo da inteligência artificial. Os SLMs estão provando que modelos menores, quando alimentados com dados de alta qualidade e especializados para domínios específicos, podem oferecer resultados extraordinários.

À medida que a indústria de IA continua a evoluir, a transparência na coleta de dados e a especialização de modelos se tornarão cada vez mais importantes. Os dias de simplesmente acumular dados em massa estão ficando para trás, dando lugar a uma abordagem mais refinada e eficiente.

Para desenvolvedores, pesquisadores e empresas no espaço de IA, a mensagem é clara: o futuro não pertence necessariamente aos modelos mais gigantescos, mas sim àqueles construídos com os dados certos, da maneira certa, para o propósito certo.

Você está pronto para repensar sua estratégia de dados para IA?

Fonte: The Rise of the Small Language Model. Disponível em: [não especificado].

Referências adicionais:

Kaplan, J. et al. “Scaling Laws for Neural Language Models”. arXiv:2001.08361, 2020.
Hoffmann, J. et al. “Training Compute-Optimal Large Language Models”. arXiv:2203.15556, 2022.
Gunasekar, S. et al. “Textbooks Are All You Need”. arXiv:2306.11644, 2023.
Grattafiori, A. et al. “The Llama 3 Herd of Models”. arXiv:2407.21783, 2024.

Curadoria de Dados: O Segredo para SLMs Eficientes