↓ Ir para o conteúdo principal

Chatgpt

Extração de informações de imagens com IA Generativa

Extração de informações de imagens com IA Generativa

Caso de Uso de IA Generativa: Extração de Informações de Imagens com o Modelo Llava GenAI refere-se a modelos de inteligência artificial capazes de gerar conteúdo novo e criativo a partir de dados de entrada. Seu uso está revolucionando a maneira como processamos dados não estruturados, como imagens, áudios, textos, vídeos, etc. Trabalhar com modelos pré-treinados (i.e., que já foram treinados com grandes conjuntos de dados) e adaptá-los para necessidades específicas tem sido um divisor de águas. Neste post, vamos explorar a utilização do modelo Llava (Large Language and Vision Assistant) para extrair rótulos descritivos de imagens e também discutir como comparar a qualidade das previsões geradas com métricas específicas para avaliar a performance desse tipo de modelo. TL;DR O modelo Llava (Large Language and Vision Assistant) é uma alternativa de código aberto ao GPT-4 Vision, treinada para gerar descrições textuais a partir de imagens. O teste usou uma amostra de 10 imagens do dataset COCO-2017 e a versão de 7 bilhões de parâmetros do LLaVA 1.5, avaliada com as métricas BLEU, ROUGE-L, METEOR e BERTScore. As métricas baseadas em n-gramas subestimaram a qualidade das legendas geradas, enquanto o BERTScore (baseado em embeddings semânticos) mostrou resultados significativamente superiores. Para contexto sobre outros casos de uso de IA generativa multimodal, veja também conversão de PDF para audiobook com edge-tts e como rodar um LLM local no Mac sem APIs. Por que o Modelo Llava? O modelo Llava é uma alternativa de código aberto ao GPT-4 Vision da OpenAI (que se destaca neste domínio, mas sua aplicação é restrita devido sua natureza proprietária e comercial) que foi treinado em grandes conjuntos de dados multimodais, sendo capaz de compreender e gerar descrições textuais para imagens. Essa capacidade de “conversar com imagens” tendo o mesmo “poder” de um LLM, possibilita seu uso em muitas soluções desenvolvidas por cientistas de dados no mundo real, como: Classificação de produtos em e-commerce: geração de descrições detalhadas de roupas, acessórios, eletrônicos, etc. Detecção de defeitos em linhas de produção: identificação de falhas em produtos para automação e controle de qualidade. Diagnóstico médico por imagens: auxiliar na detecção precoce de doenças a partir de descrições detalhadas de imagens médicas. Reconhecimento de placas de carros: transcrição automática de textos de placas e características de veículos. Identificação de sinais de trânsito: aplicação em veículos autônomos para navegação e identificação de sinais. Análise de alimentos para calcular nutrição: extração automática de informações nutricionais de fotos ou rótulos de alimentos. Identificação de animais em câmeras de vida selvagem: gerar descrições detalhadas de animais detectados, ajudando pesquisadores a automatizar o monitoramento da vida selvagem. Detecção de aglomerações em eventos: analisar imagens de câmeras de segurança para identificar a presença de grandes grupos de pessoas em eventos ou lugares públicos, útil em gestão de multidões ou para questões de segurança. Dataset COCO-2017 O COCO (Common Objects in Context) é um dataset amplamente utilizado em visão computacional. Ele é um dos maiores conjuntos de imagens do dia a dia com objetos em diferentes contextos, com anotações detalhadas fornecidas por humanos como tags, caixa delimitadora, polígono que segmenta a imagem detectando objetos bem como sua descrição. Isso o torna ideal para testar o desempenho desse tipo de modelo para geração de legendas. Imagem do COCO Dataset com e sem anotação obtida na seção exploratória das imagens
Detecção de Linguagem Tóxica com o LLM Gemma e LangChain

Detecção de Linguagem Tóxica com o LLM Gemma e LangChain

Série: LangChain — Agentes com Python — ver índice Análise de Sentimentos com Llama2 → Detecção de Linguagem Tóxica com Gemma Equipe Multiagente para Bitcoin Agente para Ligações de Telemarketing LLM Local com Qwen sem APIs Caso de Uso de IA Generativa: Detecção de Linguagem Tóxica em Mídias Sociais Neste post, realizaremos a tarefa de detecção de linguagem tóxica em mídias sociais usando o modelo Gemma de IA generativa do Google com o framework LangChain. Vamos explorar como o texto de entrada afeta a saída do modelo e faremos alguma engenharia de prompts para direcioná-lo à tarefa necessária. TL;DR Classificamos tweets em português como tóxicos ou não usando o Gemma-7b-it quantizado, sem nenhum fine-tuning. Um prompt few-shot dinâmico seleciona os exemplos mais similares semanticamente a cada tweet, via SemanticSimilarityExampleSelector + Chroma. A cadeia prompt | llm | parse do LangChain encapsula todo o pipeline de classificação.
Análise de Sentimentos com um "ChatGPT" de Código Aberto

Análise de Sentimentos com um "ChatGPT" de Código Aberto

TL;DR O modelo Llama2-7b-chat-hf foi executado localmente via Hugging Face Transformers para classificar textos como positivos, negativos ou neutros, sem custo de API. A abordagem foi avaliada contra o VADER (léxico clássico de análise de sentimentos) em um conjunto de avaliações de filmes em inglês, usando acurácia como métrica. O Llama2 superou o VADER na captura de ironia e contexto, mas com latência significativamente maior — evidenciando o trade-off entre profundidade semântica e velocidade de inferência. Série: LangChain — Agentes com Python — ver índice → Análise de Sentimentos com Llama2 Detecção de Linguagem Tóxica com Gemma Equipe Multiagente para Bitcoin Agente para Ligações de Telemarketing LLM Local com Qwen sem APIs