Decisões sobre a target

A primeira decisão importante era definir como enquadrar o problema; se utilizaríamos 1 modelo multiclasse ou diferentes modelos para cada classe.

Em todos os testes que fizemos, os modelos individuais superaram o F1-Score Macro de um modelo único. Como 3 das classes eram bastante desbalanceadas, acredito que modelos especializados nesses casos conseguiram captar melhor suas nuances.

Processamento dos Dados

Como optamos por unificar os resultados apenas na reta final, meu pré-processamento foi muito diferente do feito pelo Kaike e isso foi fundamental para que as estimativas dos nossos modelos tivessem baixa correlação. Não focarei aqui no meu pré-processamento, pois não acho que foi o diferencial para atingir um score superior a 0.6 (quem tiver curiosidade está tudo bem documentado nos notebooks compartilhados).

Dados Externos

O fato de não termos as informações do ano em que esses dados foram coletados dificultou na busca de bases externas, pois indicadores socioeconômicos e de saúde variam bastante ao longo do tempo.

Fizemos alguns testes utilizando o Atlas do Desenvolvimento Humano (ADH), mas não tivemos muito sucesso, pois esses dados estão muito defasados (1991-2010). Também tentamos acrescentar a informação de latitude e longitude de cada município, mas isso não trouxe uma melhora substancial no nosso score.

Feature Engineering

Outra etapa em que investimos bastante tempo foi para criar novas variáveis.

Novamente, nossa engenharia de recursos foi feita de maneira separada para que nossos modelos aprendessem aspectos diferentes dos dados. Abaixo, compartilho algumas das features que desenvolvi apenas para o meu modelo:

• Presença de sintomas relacionados à Target;
• Se tomografia era típica do COVID;
• Intervalo de idade com mais casos;
• Idade discretizada;
• Diferença entre a semana de notificação e primeiros sintomas;
• Novas features baseadas nas contagens de algumas features categóricas;
• etc.

Modelos

Além de pré-processamentos e feature engineering diferentes, também utilizamos modelos e mecanismos de tunning diferentes, o que ajudou para que nossas estimativas tivessem baixa correlação. Eu usei o Catboost como modelo final, já o Kaike optou por um LightGBM com tuning de hiperparametros.

Ensemble

Calculamos a média das probabilidades previstas de cada modelo para cada classe antes de selecionar a classe que tivesse a maior probabilidade.

Como nossas previsões tinham baixa correlação, conseguimos ser bem sucedidos no ensemble combinando nossas submissões com score ~0.6 alcançando ~0.61 na tabela pública.

Post Processing

Acredito que o diferencial dessa competição estava no pós processamento.

Quando avaliamos o score do modelo de cada classe, também calculamos um threshold que maximizava os respectivos F1.

Observamos que nosso modelo para a classe 5 apresentava um F1 muito superior às demais classes com esse threshold otimizado, então fizemos o seguinte:

1. Calculamos as probabilidades individuais para cada classe;
2. Selecionamos a classe que tinha maior probabilidade estimada em cada instância;
3. Pegamos a classificação binária da classe 5 com o threshold otimizado e aplicamos a seguinte condição: Se o modelo da classe 5 estimou que y5[i]==1, então yfinal[i] é 5, caso contrário, use a classe de maior probabilidade entre as outras 4. (Em outras palavras: np.where(y5_test_class==1, 5, sub.CLASSI_FIN))