Série: LangChain — Agentes com Python — ver índice
Análise de Sentimentos com Llama2 → Detecção de Linguagem Tóxica com Gemma Equipe Multiagente para Bitcoin Agente para Ligações de Telemarketing LLM Local com Qwen sem APIs Caso de Uso de IA Generativa: Detecção de Linguagem Tóxica em Mídias Sociais Neste post, realizaremos a tarefa de detecção de linguagem tóxica em mídias sociais usando o modelo Gemma de IA generativa do Google com o framework LangChain. Vamos explorar como o texto de entrada afeta a saída do modelo e faremos alguma engenharia de prompts para direcioná-lo à tarefa necessária.
TL;DR
Classificamos tweets em português como tóxicos ou não usando o Gemma-7b-it quantizado, sem nenhum fine-tuning. Um prompt few-shot dinâmico seleciona os exemplos mais similares semanticamente a cada tweet, via SemanticSimilarityExampleSelector + Chroma. A cadeia prompt | llm | parse do LangChain encapsula todo o pipeline de classificação.
Introdução Definição do problema de negócio Soluções Estratégia analítica Decisões sobre a target Processamento dos Dados Dados Externos Feature Engineering Modelos Ensemble Post Processing Considerações Finais Introdução O TFUG - TensorFlow Users Group de São Paulo lançou uma nova competição no Kaggle onde o objetivo era desenvolver modelos para previsão de diagnóstico de síndromes respiratórias, que é um tema relacionado com um dos 17 tópicos de Desenvolvimento Sustentável das Nações Unidas - Boa saúde e bem-estar.
Modelo que decide sobre diagnóstico é modelo que pesa. O Fairness and Machine Learning é leitura obrigatória sempre que o algoritmo que a gente constrói toca em gente de verdade.
Como um cientista de dados, acredito que seja muito importante continuarmos aprimorando nossas habilidades e conhecimentos. Competições como essa são muito divertidas e possibilitam que testemos nossos limites em um ambiente competitivo e colaborativo, além de ser uma grande oportunidade para nos desafiarmos e aprender uns com os outros.
Tive o enorme prazer de conquistar o primeiro lugar, dessa vez com meu grande amigo Kaike, parceiro de competições de longa data que trouxe grande sinergia para a solução final com a contribuição de seu modelo (compartilhado abertamente no Kaggle).
Aqui estão alguns dos prêmios recebidos:
Como nesta competição havia bastante trabalho a ser feito e tivemos apenas 1 mês para trabalhar na solução, foi preciso fazer uma boa gestão do código e do tempo de desenvolvimento.
TL;DR
1º lugar na ML Olympiad (Kaggle), prevendo o agente causador de síndromes respiratórias. Modelos individuais por classe superaram um único modelo multiclasse, sobretudo nas classes mais desbalanceadas. O pós-processamento (threshold otimizado por classe) foi o maior diferencial do score final.