No dia 31 de agosto de 2026 o Google lançou o TimesFM 3.0, um modelo fundacional de séries temporais e na mesma semana eu já estava me questionando: Esse modelo bate um gradient boosting básico? Quais são os prós e contras? Então usei a competição M5 de previsão de demanda do Walmart do Kaggle para construir meus próprios benchmarks.
A pergunta que me interessa não é só quem ganha mas quanto custa cada ponto de acurácia, em esforço humano e em máquina. Um modelo fundacional promete previsão sem treino; o gradient boosting global precisa de alguma engenharia de features e certa experiência para entregar resultados satisfatórios. Medir os dois na mesma régua mostra onde cada promessa se paga.
O Google liberou o TabFM em 30 de junho de 2026, um modelo fundacional para dados tabulares que promete classificação e regressão sem treino. A primeira coisa que fiz foi desconfiar. Modelo fundacional em dados tabulares é a promessa que a área persegue desde sempre: substituir o gradient boosting, que domina competição e produção há mais de uma década. Em vez de aceitar os números do anúncio, montei um benchmark próprio em 10 datasets contra CatBoost, XGBoost e LightGBM, com validação estatística em cada etapa.
Série: LangChain — Agentes com Python — ver índice
Análise de Sentimentos com Llama2 → Detecção de Linguagem Tóxica com Gemma Equipe Multiagente para Bitcoin Agente para Ligações de Telemarketing LLM Local com Qwen sem APIs Caso de Uso de IA Generativa: Detecção de Linguagem Tóxica em Mídias Sociais Neste post, realizaremos a tarefa de detecção de linguagem tóxica em mídias sociais usando o modelo Gemma de IA generativa do Google com o framework LangChain. Vamos explorar como o texto de entrada afeta a saída do modelo e faremos alguma engenharia de prompts para direcioná-lo à tarefa necessária.
TL;DR
Classificamos tweets em português como tóxicos ou não usando o Gemma-7b-it quantizado, sem nenhum fine-tuning. Um prompt few-shot dinâmico seleciona os exemplos mais similares semanticamente a cada tweet, via SemanticSimilarityExampleSelector + Chroma. A cadeia prompt | llm | parse do LangChain encapsula todo o pipeline de classificação.
Introdução Definição do problema de negócio Soluções Estratégia analítica Decisões sobre a target Processamento dos Dados Dados Externos Feature Engineering Modelos Ensemble Post Processing Considerações Finais Introdução O TFUG - TensorFlow Users Group de São Paulo lançou uma nova competição no Kaggle onde o objetivo era desenvolver modelos para previsão de diagnóstico de síndromes respiratórias, que é um tema relacionado com um dos 17 tópicos de Desenvolvimento Sustentável das Nações Unidas - Boa saúde e bem-estar.
Modelo que decide sobre diagnóstico é modelo que pesa. O Fairness and Machine Learning é leitura obrigatória sempre que o algoritmo que a gente constrói toca em gente de verdade.
Como um cientista de dados, acredito que seja muito importante continuarmos aprimorando nossas habilidades e conhecimentos. Competições como essa são muito divertidas e possibilitam que testemos nossos limites em um ambiente competitivo e colaborativo, além de ser uma grande oportunidade para nos desafiarmos e aprender uns com os outros.
Tive o enorme prazer de conquistar o primeiro lugar, dessa vez com meu grande amigo Kaike, parceiro de competições de longa data que trouxe grande sinergia para a solução final com a contribuição de seu modelo (compartilhado abertamente no Kaggle).
Aqui estão alguns dos prêmios recebidos:
Como nesta competição havia bastante trabalho a ser feito e tivemos apenas 1 mês para trabalhar na solução, foi preciso fazer uma boa gestão do código e do tempo de desenvolvimento.
TL;DR
1º lugar na ML Olympiad (Kaggle), prevendo o agente causador de síndromes respiratórias. Modelos individuais por classe superaram um único modelo multiclasse, sobretudo nas classes mais desbalanceadas. O pós-processamento (threshold otimizado por classe) foi o maior diferencial do score final.
Introdução Definição do problema de negócio Análise Exploratória (em R) Estrutura da base Ano da base de dados Target Machine Learning (em Python) Importar dependencias Carregar dados Modelagem Submissão Considerações Finais Introdução No final de Janeiro desde ano (2022) o TFUG - TensorFlow Users Group de São Paulo lançou uma competição no Kaggle para prever as notas do enem que tem relação com um dos 17 tópicos de Desenvolvimento Sustentável das Nações Unidas - Educação de Qualidade.
Além de divertido, o desafio foi repleto de possibilidades e bastante desafiador! Todos os competidores que trabalharam duro em pleno mês de carnaval estão de parabéns! 😅 😂
Este resultado veio logo depois de outra competição em que cheguei ao 3º lugar no Porto Seguro Data Challenge, e mais tarde consegui repetir o desempenho conquistando o 1º lugar em outra edição da ML Olympiad.
Aqui estão alguns dos prêmios recebidos:
Como nesta competição havia bastante trabalho a ser feito e tivemos apenas 1 mês para trabalhar na solução, foi preciso fazer uma boa gestão do código e do tempo de desenvolvimento.
Nas seções abaixo apresento o racional por trás da minha solução bem como os 5 melhores modelos individuais (para cada nota) que utilizei em um ensemble para chegar ao segundo lugar.
TL;DR
Solução que alcançou o 2º lugar na ML Olympiad de qualidade da educação, prevendo 5 notas do ENEM (Ciências da Natureza, Ciências Humanas, Linguagens e Códigos, Matemática e Redação). Modelagem feita em Python com CatBoost e LightGBM, com feature engineering intensivo e dados externos como o Atlas do Desenvolvimento Humano e o Censo Escolar. A validação usou a métrica MCRMSE e o pós-processamento atribuiu nota zero aos alunos ausentes na prova, etapa decisiva para o resultado final.
Introdução Definição do problema de negócio Análise Exploratória (em R) Machine Learning (em Python) Importar dependências Stage 0: Feature Extraction com KNN Stage 1: Tuning XGBoost com Optuna Stage 2: Calcular Out-Of-Fold SHAP values Stage 3: Modelo Final com AutoGluon Conclusão Referências Introdução Em Agosto e 2021 a Porto Seguro lançou um desafio no Kaggle que consistia em estimar a propensão de aquisição de novos produtos. Tratava-se de um problema de classificação e foi bem desafiador principalmente por 2 motivos:
Todas as features da base de ddos eram anonimas; A métrica de avaliação foi a F1 Score (sensível à um ponto de corte) Via Giphy
O problema envolvendo dados desbalanceados Objetivo Dependências Preparar dados Breve análise exploratória Modelagem Baselines Preparar Pipeline de dados com workflowsets Benchmark Conclusão Referências O problema envolvendo dados desbalanceados A tarefa de classificação com dados desbalanceados é muito comum na vida real podendo variar desde um leve viés até um enorme desequilíbrio na distribuição da classe de interesse. Problemas mais comuns envolvem:
Detecção de fraude; Previsão de inadimplência; Identificador de spam; Busca por anomalias/outliers; Detecção de possíveis roubos/furtos/vulnerabilidades; Previsão de churn; etc Este tipo de tarefa representa um enorme desafio para modelagem preditiva pois a maioria dos algoritmos de machine learning foram projetados sob suposição de haver um número igual de exemplos para cada classe de interesse.
E isso é um grande problema pois normalmente estamos interessados em prever a classe minoritária e para isso é preciso tomar uma série de decisões, como por exemplo: métrica utilizada, método para validação cruzada, adoção (ou não) do uso de métodos de reamostragem, quais algoritmos utilizar, qual será o threshold, etc
Lidar com dados desbalanceados é um assunto longo portanto tentarei dar mais atenção apenas em um hack para encontrar a melhor forma de se aplicar o balanceamento dos dados. Não pretendo me aprofundar na teoria envolvida na escolha das métricas neste post, caso o leitor deseje se aprofundar sobre a teoria envolvida com classificação que envolve dados desbalanceados, sugiro a leitura do livro: Imbalanced Classification with Python - Choose Better Metrics, Balance Skewed Classes and Apply Cost-Sensitive Learning e consultar os links de referência no final do post).
TL;DR
O pacote workflowsets testa várias combinações de pré-processamento (oversampling, undersampling) x modelo de uma vez. Comparado a um modelo nulo e a um modelo base sem balanceamento, nem sempre o balanceamento melhora a métrica escolhida. Tomek Links e ADASYN se saíram melhor que o SMOTE neste dataset específico.
Até que um dia.. Agora em dezembro encerro um desafio pessoal de fazer pelo menos um post por mês durante o ano de 2018 e estou muito animado com o término deste ciclo! Espero ter contribuído um pouquinho com a comunidade de Estatística e Ciência de Dados que está maior a cada dia e cada vez mais importante.
A ideia de fazer um blog começou quando me deparei que tinha muitos scripts e rotinas guardados de alguns estudos sobre programação e estatística tanto sobre os assuntos da faculdade quanto sobre estudos avulsos de programação em R. Guardar os scripts de maneira organizada para relembrar e tentar fixar melhor alguns conceitos já vistos pode ser uma boa idéia acelerando o processo de busca por soluções para problemas computacionais do dia a dia.
Desde o início da graduação tomei o hábito de guardar todos meus arquivos no Dropbox (que é excelente ferramenta, inclusive porque é possível integrar com o R/Shiny). Até que um dia me dei conta de que estava acumulando cada vez mais scripts e relatórios em meu dropbox e além de não ser muito prático o acesso aos scripts, acaba não sendo muito dinâmico no compartilhamento com os membros da equipe, então passei a utilizar o Github para hospedar meus códigos, projetos, funções e estudos que poderiam tornar-se públicos e assim facilitar na hora de compartilhar algum código ou receber algum feedback.
Além do Github, o RPubs também foi útil para publicação de alguns trabalhos/projetos durante a graduação e alguns testes e contribuições nas competições e conjuntos de dados do Kaggle (além de bisbilhotar as resoluções dos top players) para aprender de uma maneira diferente um pouquinho mais a cada dia. Já no caso de trabalhos privados (solo ou em equipe), o Bitbucket também tem se mostrado uma ótima ferramenta.
Passei a receber feedback sobre meus códigos, sugestões de melhorias e isso me motivou a continuar e persistir nos posts independente de monografia, estágio, trabalho, ou qualquer outro compromisso super importante. Firmei esse desafio pessoal e abaixo será possível conferir um pouco de como foi minha evolução, algumas técnicas e curiosidades que aprendi e achei que valia a pena compartilhar com a comunidade.
Análise de sobrevivência com dados do jogo PUBG disponíveis no Kaggle
Calcular a probabilidade de um indivíduo sobreviver e também encontrar fatores de risco de morte em um intervalo de tempo. Foram realizadas estatísticas descritivas e o ajuste de modelos de sobrevivência como o de Kaplan-Meier e o Modelo de regressão de riscos proporcionais de Cox.
Seu app, RStudio e Shiny Server na nuvem do Google
Aprendemos como dar início à uma máquina virtual rodando Linux Ubuntu 16.04 no servidor do Google Cloud. Com nossa máquina virtual na configuração desejada somos capazes de dar início ao nosso próprio RStudio Server e também nosso Shiny Server para facilitar a entrega de nossas aplicações, como a que foi criada de exemplo no post para acompanhar as cotações e algumas ações de bolsas de valores americanas.
Com que frequência ocorrem acidentes na ponte Rio-Niterói?
Neste post utilizamos os dados públicos fornecidos pela polícia rodoviária federal para responder algumas perguntas relacionadas à ocorrência de acidentes. Será que o número de acidentes vem diminuindo? Será que a instalação de câmeras de segurança reduziu o número de acidentes? Uma breve análise de caráter descritivo irá ajudar a entender o comportamento dos dados e permitir novas reflexões.
Um estudo sobre modelos de aprendizagem baseados em árvores com desafio do Kaggle
Utilizamos a base de dados da competição do Kaggle House Prices: Advanced Regression Techniques para colocar em prática alguns dos conhecimentos adquiridos estudando sobre algoritmos como árvore de decisão, random forest, gradient boost machine e por fim uma regressão linear para comparar os resultados obtidos.
Ajustando um modelo de regressão linear bayesiano do zero
Neste post são realizados os cálculos das distribuições condicionais completas a posteriori (DCCP) para cada parâmetro do ajuste de um modelo de regressão linear bayesiano para poder implementar o algoritmo do amostrador de Gibbs em dados simulados (para conferir a qualidade do ajuste do modelo) e em dados reais. Este post é o resumo de uma das aplicações que fiz em um projeto de iniciação à pesquisa que deixei disponível no Github.
Brasil x Argentina, tidytext e machine learning
Nesta época eu estava estudando o livro da Julia Silge depois de uma palestra que assisti no SER 2018 e aproveitando o embalo da copa do mundo resolvi conferir os dados do twitter disponibilizados através da API do Twitter naquela época para uma aplicação de análise de sentimentos utilizando a abordagem tidytext. Além disso foram utilizados os modelos knn, random forest, naive bayes e um modelo de regressão logístico para um estudo sobre classificação em análises de texto com o pacote caret.
AED de forma rápida e um pouco de machine learning
Este post veio para lembrar como a análise exploratória em R não precisa sempre ser uma tarefa longa e trabalhosa. Com o pacote SmartEAD é possível gerar muitos gráficos com poucas linhas de código. Ao longo do post algumas tarefas de machine learning são executadas, como k-means (tarefa não-supervisionada de agrupamento), um modelo de regressão linear com stepwise (tarefa supervisionado de regressão) e um modelo random forest (tarefa supervisionada de classificação).
Séries temporais com Google Trends e R
Como é fácil obter dados do Google Trends para analisá-los no RStudio. Obtivemos algumas séries e duas delas chamaram mais a atenção: a popularidade do termo Big Data (que está aumentando) e a popularidade do termo Estatística que estava diminuindo. Realizamos a decomposição da série, realizamos alguns testes estatísticos para detectar significância dos componentes das séries e foram ajustados modelos de Holt Winters para tentar prever o comportamento destas séries no próximo ano.
Produzindo e formatando um documento Word direto em R
O bom de programar em R é que não precisamos nos limitar apenas à ferramenta, podemos importar e exportar arquivos em diferentes formatos e entregar nossos resultados de muitas maneiras. Neste post é mostrado como exportar seus relatórios em Word utilizando um template.
O que são cheatsheets, gamificação e por que aprender R é tão divertido?
A aprendizagem é um processo que nunca acaba e neste post mostro algumas maneiras de estudar R e estatística se divertindo! Falamos o que são as CheatSheets, cursos da DataCamp, onde é possível ter cursos altamente práticos com os desenvolvedores dos principais pacotes utilizando em Ciência de Dados e falamos sobre a plataforma Kaggle, um verdadeiro playground para Cientistas de dados que podem disputar por posições em um rank mundial e compartilhar códigos e análises para ter o feedback de outros cientistas de dados ao redor do mundo.
Carnaval e mapas interativos com R
Era fevereiro, véspera de carnaval e grande parte das pessoas no Rio de Janeiro gostariam de responder a seguinte pergunta: "Onde estão os blocos?". Neste post construímos mapas interativos com o uso do pacote leaflet e em poucas linhas de código foi possível mapear os blocos ao redor do Rio de Janeiro facilitando assim a vida do folião carioca.
O paradoxo dos aniversários com simulação e probabilidade
A probabilidade é contra intuitiva. Existem diversos exemplos clássicos de probabilidade que nos mostram como pode ser enganosa nossa intuição ao tratar com a incerteza. Neste post utilizamos de simulação e de teoria das probabilidades para mostrar como a probabilidade de duas pessoas fazerem aniversário no mesmo dia em uma sala de aula aumenta muito rápido conforme aumentamos o número de alunos nessa sala.
Tabelas incríveis com R
As saídas do console do R podem não ser a melhor forma de entregar suas valiosas análises. Quando estamos numa situação de negócios ou consultoria a apresentação dos dados também é muito importante e o R não fica para trás nisso! Neste post vimos como alguns pacotes como o DT, knitr, kableExtra, formattable, sparkline e rhandsontable podem tornar a apresentação de nossas tabelas muito mais elegantes.
Análise multivariada com R
Em tempos de Big Data esse campo da estatística torna-se cada vez mais importante. Saber lidar com grandes volumes e variedades de dados pode ser muito importante e neste post vimos um pouco sobre técnicas de estatística multivariada como PCA, Análise Fatorial, Clusterização com agrupamento hierárquico e com k-means.
Pacotes do R para avaliar o ajuste de modelos
O Modelo de regressão linear é uma ótima ferramenta para qualquer estatístico, ele é altamente interpretável e a avaliação de seu desempenho pode ser feita de forma meticulosa. Neste post utilizamos os pacotes GGally e o ggfortify para fazer diagnósticos bem elaborados sobre as premissas que sustentam o uso de tais modelos.
Análise de sobrevivência e PUBG Análise de sobrevivência é um termo que se refere a situações médicas e é caracterizada pela sua variável resposta, que pode ser apresentada de três formas: probabilidade de sobrevivência, taxa de incidêcia e taxa de incidência acumulada.
Na engenharia este termo também é conhecido como confiabilidade, no entanto, condições parecidas podem ocorrer em (inusitadas) outras áreas.
PUBG é um jogo online multiplayer de batalha em que 100 jogadores são lançados em uma ilha e tem como objetivo principal sobreviver, a área de jogo diminui progressivamente, confinando os sobreviventes a um espaço cada vez menor e forçando encontros e o vencedor é o último jogador (ou time) a permanecer vivo.
Um único jogo dura aproximadamente de 30-35 minutos e neste tempo o jogador coleta itens (arma, cura, boost), abate outros jogadores, comete e leva dano de seus adversários, pode dirigir veículos dentre outras ações enquanto tentam sobrevier ao mesmo tempo.
Assim como no post sobre gamificação e o ranking de competições do Kaggle, a dinâmica de sobrevivência do PUBG também tem seu apelo de disputa entre os jogadores. Questões que surgiram em mente após um período de estudos de análise de sobrevivência e confiabilidade e ouvindo pessoas falarem sobre esta modalidade de jogo:
O que interefere na probabilidade de um indivíduo sobreviver? O que tem efeito no risco de um jogador ser abatido em um intervalo de tempo? Faremos uma abordagem estatística aqui, após uma breve análise exploratória os dados serão avaliados utilizando o modelo de Kaplan-Meier, que é um estimador de forma não paramétrica para a função de sobrevivência e o modelo semiparamétrico de regressão de riscos proporcionais de Cox.
TL;DR
Tratamos cada morte no PUBG como um "evento" e o tempo de sobrevivência do jogador como a variável resposta. Kaplan-Meier estima a curva de sobrevivência; o teste log-rank compara curvas entre grupos. O modelo de Cox ajustado mostra que performance e distância percorrida reduzem o risco de morte, enquanto dirigir aumenta.
Kaggle Segundo o Wikipédia: “Kaggle é a maior comunidade mundial de cientistas de dados e machine learning.” Aprendo muito estudando as resoluções de alguns competidores pois lá é possível conferir tanto as metodologias utilizadas pelos competidores quando os códigos e é notável o cuidado dos participantes para que seja possível a reprodutibilidade dos resultados, o que pode impulsionar o aprendizado.
O Kaggle trabalha com a ideia de gamificação, que é um assunto do qual já escrevi em um post sobre gamificação e porque aprender R é tão divertido e gosto deste conceito de se criar jogos para motivar e engajar as pessoas em atividades profissionais e a ideia de se estar em um jogo possibilita doses de motivação especialmente a quem gosta de competir.
A plataforma é focada em competições que envolvem modelagem preditiva, que julgam apenas o seu desempenho preditivo, embora a inteligibilidade não deixe de ser importante. Neste post farei também a modelagem descritiva com modelos de aprendizagem baseados em árvores, na qual o principal objetivo será obter informações sobre os dados para o ajuste dos modelos preditivos que iremos submeter à competição do Kaggle House Prices: Advanced Regression Techniques.
TL;DR
O post usa o dataset Ames Housing (Kaggle) para prever o preço de venda de casas com 79 variáveis explicativas, comparando árvore de decisão, bagging, Random Forest, GBM e regressão linear. Entre os algoritmos testados, o GBM (Gradient Boosting) apresentou o melhor resultado, com Rsquared de 0,889 e RMSE de 0,1331 na validação cruzada de 5 folds. A variável OverallQual foi consistentemente a mais importante em todos os modelos baseados em árvore, seguida por GrLivArea e YearBuilt. A diferença entre modelos preditivos e descritivos não é tão rigorosa assim pois algumas das técnicas podem ser utilizadas para ambos e geralmente um modelo pode servir para ambos os propósitos (mesmo que de de forma insuficiente).
Além dos modelos de machine learning baseados em árvores, também será ajustado um modelo de regressão linear multivariado para compararmos os resultados dos ajustes e submeter nossas previsões no site do kaggle.
Os modelos baseados em árvores são um ótimo ponto de partida em machine learning, um dos pilares que apresento na introdução à ciência de dados para quem está começando.
Os pacotes que serão utilizados serão os seguintes:
library(purrr) # Programacao funciona library(broom) # Arrumar outputs library(dplyr) # Manipulacao de dados library(magrittr) # pipes library(funModeling) # df_status() library(plyr) # revalue() library(gridExtra) # Juntar ggplots library(reshape) # funcao melt() library(rpart) # Arvore de Decisoes library(rpart.plot) # Plot da Arvore de Decisoes library(data.table) # aux na manipulacao do heatmap library(readr) # Leitura da base de dados library(stringr) # Manipulacao de strings library(ggplot2) # Graficos elegantes library(caret) # Machine Learning library(GGally) # up ggplot library(ggfortify) # autoplot() Base de dados A base de dados deste post vem de uma competição ótima para estudantes de ciência de dados de dados com alguma experiência com R ou Python e noções básicas de machine learning e estatística.
Pode ser útil para aqueles que desejam expandir seu conjunto de habilidades em uma tarefa de regressão, quando a variável \(y\) que desejamos estimar é do tipo numérico (contínuo ou discreto).
Trata-se do conjunto de dados Ames Housing que foi compilado por Dean De Cock para uso em educação de ciência de dados.
train <- read_csv("train.csv") test <- read_csv("test.csv") full <- bind_rows(train, test) id <- test$Id full %<>% select(-Id) Descrição da Competição Traduzido do site oficial do kaggle:
"Peça a um comprador que descreva a casa dos seus sonhos, e eles provavelmente não começarão com a altura do teto do porão ou a proximidade de uma ferrovia leste-oeste. Mas o conjunto de dados desta competição de playground prova que muito mais influencia as negociações de preço do que o número de quartos ou uma cerca branca.
Com 79 variáveis explicativas descrevendo (quase) todos os aspectos de casas residenciais em Ames, Iowa, esta competição desafia você a prever o preço final de cada casa."
Portanto, primeiramente vamos entender o comportamento da variável resposta, depois buscar quais dessas 79 variáveis explicativas são mais importantes para representar a variação do preço de venda das casas através dos métodos baseados em árvores e por fim ajustar os modelos propostos e submeter nossas estimativas no site!
Você costuma ler o manual? Quando éramos crianças, geralmente não tínhamos o costume de ler o manual das coisas, não é mesmo? Particularmente eu sempre gostei de aprender como as coisas funcionavam diretamente com a prática para poder usá-las depois. Adorava buscar entender como as coisas se encaixavam ao montar os brinquedinhos do kinder-ovo sem ler as instruções ou criar diferentes combinações com lego customizados, por exemplo. Acredito que isso seja da natureza de toda criança!
TL;DR
CheatSheets da RStudio/Posit resumem pacotes inteiros numa página, para consulta rápida. DataCamp e Kaggle aplicam gamificação (pontos, medalhas, competição) para tornar o aprendizado mais engajante. Aprender R fica mais leve combinando prática direta com boas referências, sem abrir mão do manual quando travar. Acontece que com o passar dos anos vamos adquirindo conhecimento e começamos a perceber que quanto mais aprendemos maior a quantidade de coisas novas que ainda temos a aprender.
Especialmente ao ler noticias do tipo: “Einstein estava certo a cem anos atrás!” depois de ele já ter tomado nota das ondas gravitacionais a tantos anos.. Um dever de casa que durou 100 anos foi deixado por um gênio e isso serve para nos lembra como somos “pequenos”, o quanto é importante seguir boas referências nos apoiando em ombros de gigantes para enxergar mais longe!
(Quem ai aos 22 anos, desenvolveu o cálculo infinitesimal, as bases da teoria das cores, contribuiu com o estudo da ótica, formulou conceitos sobre as leis do movimento planetário e virou lenda com um famoso incidente da maçã que levou a formular a teoria da gravidade? Será que Isaac Newton conhece alguem?)
Isso faz pensar em como é importante ouvir (ou ler) quem entende do assunto para darmos nossos próximos passos