https://gomesfellipe.github.io/tags/catboost/Recent content in Catboost on Fellipe GomesHugo -- gohugo.iopt-BR© 2026 Fellipe GomesThu, 06 Aug 2026 00:00:00 +0000https://gomesfellipe.github.io/post/2026-08-06-tabfm-vs-gbm/Thu, 06 Aug 2026 00:00:00 +0000https://gomesfellipe.github.io/post/2026-08-06-tabfm-vs-gbm/<p>O Google liberou o <a href="https://github.com/google-research/tabfm" target="_blank" rel="noreferrer">TabFM</a> em 30 de junho de 2026, um modelo fundacional para dados tabulares que promete classificação e regressão sem treino. A primeira coisa que fiz foi desconfiar. Modelo fundacional em dados tabulares é a promessa que a área persegue desde sempre: substituir o gradient boosting, que domina competição e produção há mais de uma década. Em vez de aceitar os números do anúncio, montei um benchmark próprio em 10 datasets contra CatBoost, XGBoost e LightGBM, com validação estatística em cada etapa.</p>https://gomesfellipe.github.io/post/2023-05-30-solucao-final-ensure-healthy-lives-kaggle-competition/Tue, 30 May 2023 00:00:00 +0000https://gomesfellipe.github.io/post/2023-05-30-solucao-final-ensure-healthy-lives-kaggle-competition/<link href="index_files/vembedr/css/vembedr.css" rel="stylesheet" /> <div id="TOC"> <ul> <li><a href="#introdu%C3%A7%C3%A3o" id="toc-introdução">Introdução</a></li> <li><a href="#defini%C3%A7%C3%A3o-do-problema-de-neg%C3%B3cio" id="toc-definição-do-problema-de-negócio">Definição do problema de negócio</a></li> <li><a href="#solu%C3%A7%C3%B5es" id="toc-soluções">Soluções</a></li> <li><a href="#estrat%C3%A9gia-anal%C3%ADtica" id="toc-estratégia-analítica">Estratégia analítica</a> <ul> <li><a href="#decis%C3%B5es-sobre-a-target" id="toc-decisões-sobre-a-target">Decisões sobre a target</a></li> <li><a href="#processamento-dos-dados" id="toc-processamento-dos-dados">Processamento dos Dados</a></li> <li><a href="#dados-externos" id="toc-dados-externos">Dados Externos</a></li> <li><a href="#feature-engineering" id="toc-feature-engineering">Feature Engineering</a></li> <li><a href="#modelos" id="toc-modelos">Modelos</a></li> <li><a href="#ensemble" id="toc-ensemble">Ensemble</a></li> <li><a href="#post-processing" id="toc-post-processing">Post Processing</a></li> </ul></li> <li><a href="#considera%C3%A7%C3%B5es-finais" id="toc-considerações-finais">Considerações Finais</a></li> </ul> </div> <div id="introdução" class="section level1"> <h1>Introdução</h1> <p>O <a href="https://www.meetup.com/TensorFlowSP/events/284607061/">TFUG - TensorFlow Users Group de São Paulo</a> lançou uma nova <a href="https://www.kaggle.com/competitions/ml-olympiad-ensure-healthy-lives">competição no Kaggle</a> onde o objetivo era desenvolver modelos para previsão de diagnóstico de síndromes respiratórias, que é um tema relacionado com um dos 17 tópicos de Desenvolvimento Sustentável das Nações Unidas - <em>Boa saúde e bem-estar</em>.</p>https://gomesfellipe.github.io/post/2022-04-20-solucao-final-education-quality-kaggle-competition/Tue, 19 Apr 2022 00:00:00 +0000https://gomesfellipe.github.io/post/2022-04-20-solucao-final-education-quality-kaggle-competition/<div id="TOC"> <ul> <li><a href="#introdu%C3%A7%C3%A3o" id="toc-introdução">Introdução</a></li> <li><a href="#defini%C3%A7%C3%A3o-do-problema-de-neg%C3%B3cio" id="toc-definição-do-problema-de-negócio">Definição do problema de negócio</a></li> <li><a href="#an%C3%A1lise-explorat%C3%B3ria-em-r" id="toc-análise-exploratória-em-r">Análise Exploratória (em R)</a> <ul> <li><a href="#estrutura-da-base" id="toc-estrutura-da-base">Estrutura da base</a></li> <li><a href="#ano-da-base-de-dados" id="toc-ano-da-base-de-dados">Ano da base de dados</a></li> <li><a href="#target" id="toc-target">Target</a></li> </ul></li> <li><a href="#machine-learning-em-python" id="toc-machine-learning-em-python">Machine Learning (em Python)</a> <ul> <li><a href="#importar-dependencias" id="toc-importar-dependencias">Importar dependencias</a></li> <li><a href="#carregar-dados" id="toc-carregar-dados">Carregar dados</a></li> <li><a href="#modelagem" id="toc-modelagem">Modelagem</a></li> </ul></li> <li><a href="#submiss%C3%A3o" id="toc-submissão">Submissão</a></li> <li><a href="#considera%C3%A7%C3%B5es-finais" id="toc-considerações-finais">Considerações Finais</a></li> </ul> </div> <div id="introdução" class="section level2"> <h1>Introdução</h1> <p>No final de Janeiro desde ano (2022) o <a href="https://www.meetup.com/TensorFlowSP/events/284607061/">TFUG - TensorFlow Users Group de São Paulo</a> lançou uma competição no Kaggle para prever as notas do enem que tem relação com um dos 17 tópicos de Desenvolvimento Sustentável das Nações Unidas - <em>Educação de Qualidade</em>.</p>https://gomesfellipe.github.io/post/2021-11-01-solucao-final-porto-seguro-data-challenge/Mon, 01 Nov 2021 00:00:00 +0000https://gomesfellipe.github.io/post/2021-11-01-solucao-final-porto-seguro-data-challenge/<div id="TOC"> <ul> <li><a href="#introdu%C3%A7%C3%A3o" id="toc-introdução">Introdução</a></li> <li><a href="#defini%C3%A7%C3%A3o-do-problema-de-neg%C3%B3cio" id="toc-definição-do-problema-de-negócio">Definição do problema de negócio</a></li> <li><a href="#an%C3%A1lise-explorat%C3%B3ria-em-r" id="toc-análise-exploratória-em-r">Análise Exploratória (em R)</a></li> <li><a href="#machine-learning-em-python" id="toc-machine-learning-em-python">Machine Learning (em Python)</a> <ul> <li><a href="#importar-depend%C3%AAncias" id="toc-importar-dependências">Importar dependências</a></li> <li><a href="#stage-0-feature-extraction-com-knn" id="toc-stage-0-feature-extraction-com-knn">Stage 0: Feature Extraction com KNN</a></li> <li><a href="#stage-1-tuning-xgboost-com-optuna" id="toc-stage-1-tuning-xgboost-com-optuna">Stage 1: Tuning XGBoost com Optuna</a></li> <li><a href="#stage-2-calcular-out-of-fold-shap-values" id="toc-stage-2-calcular-out-of-fold-shap-values">Stage 2: Calcular Out-Of-Fold SHAP values</a></li> <li><a href="#stage-3-modelo-final-com-autogluon" id="toc-stage-3-modelo-final-com-autogluon">Stage 3: Modelo Final com AutoGluon</a></li> </ul></li> <li><a href="#conclus%C3%A3o" id="toc-conclusão">Conclusão</a></li> <li><a href="#refer%C3%AAncias" id="toc-referências">Referências</a></li> </ul> </div> <style> .column { float: left; width: 50%; padding: 10px; } .column4 { float: left; width: 20%; padding: 10px; } .column8 { float: left; width: 80%; padding: 10px; } .row:after { content: ""; display: table; clear: both; } .center { display: flex; justify-content: center; align-items: center; height: 200px; } </style> <hr /> <div id="introdução" class="section level2"> <h1>Introdução</h1> <div class="row"> <div class="column8"> <p>Em Agosto e 2021 a Porto Seguro lançou um desafio no Kaggle que consistia em estimar a propensão de aquisição de novos produtos. Tratava-se de um problema de classificação e foi bem desafiador principalmente por 2 motivos:</p>