
Extração de informações de imagens com IA Generativa
··13 minutos
Caso de Uso de IA Generativa: Extração de Informações de Imagens com o Modelo Llava GenAI refere-se a modelos de inteligência artificial capazes de gerar conteúdo novo e criativo a partir de dados de entrada. Seu uso está revolucionando a maneira como processamos dados não estruturados, como imagens, áudios, textos, vídeos, etc. Trabalhar com modelos pré-treinados (i.e., que já foram treinados com grandes conjuntos de dados) e adaptá-los para necessidades específicas tem sido um divisor de águas.
Neste post, vamos explorar a utilização do modelo Llava (Large Language and Vision Assistant) para extrair rótulos descritivos de imagens e também discutir como comparar a qualidade das previsões geradas com métricas específicas para avaliar a performance desse tipo de modelo.
TL;DR
O modelo Llava (Large Language and Vision Assistant) é uma alternativa de código aberto ao GPT-4 Vision, treinada para gerar descrições textuais a partir de imagens. O teste usou uma amostra de 10 imagens do dataset COCO-2017 e a versão de 7 bilhões de parâmetros do LLaVA 1.5, avaliada com as métricas BLEU, ROUGE-L, METEOR e BERTScore. As métricas baseadas em n-gramas subestimaram a qualidade das legendas geradas, enquanto o BERTScore (baseado em embeddings semânticos) mostrou resultados significativamente superiores. Para contexto sobre outros casos de uso de IA generativa multimodal, veja também conversão de PDF para audiobook com edge-tts e como rodar um LLM local no Mac sem APIs.
Por que o Modelo Llava? O modelo Llava é uma alternativa de código aberto ao GPT-4 Vision da OpenAI (que se destaca neste domínio, mas sua aplicação é restrita devido sua natureza proprietária e comercial) que foi treinado em grandes conjuntos de dados multimodais, sendo capaz de compreender e gerar descrições textuais para imagens.
Essa capacidade de “conversar com imagens” tendo o mesmo “poder” de um LLM, possibilita seu uso em muitas soluções desenvolvidas por cientistas de dados no mundo real, como:
Classificação de produtos em e-commerce: geração de descrições detalhadas de roupas, acessórios, eletrônicos, etc. Detecção de defeitos em linhas de produção: identificação de falhas em produtos para automação e controle de qualidade. Diagnóstico médico por imagens: auxiliar na detecção precoce de doenças a partir de descrições detalhadas de imagens médicas. Reconhecimento de placas de carros: transcrição automática de textos de placas e características de veículos. Identificação de sinais de trânsito: aplicação em veículos autônomos para navegação e identificação de sinais. Análise de alimentos para calcular nutrição: extração automática de informações nutricionais de fotos ou rótulos de alimentos. Identificação de animais em câmeras de vida selvagem: gerar descrições detalhadas de animais detectados, ajudando pesquisadores a automatizar o monitoramento da vida selvagem. Detecção de aglomerações em eventos: analisar imagens de câmeras de segurança para identificar a presença de grandes grupos de pessoas em eventos ou lugares públicos, útil em gestão de multidões ou para questões de segurança. Dataset COCO-2017 O COCO (Common Objects in Context) é um dataset amplamente utilizado em visão computacional. Ele é um dos maiores conjuntos de imagens do dia a dia com objetos em diferentes contextos, com anotações detalhadas fornecidas por humanos como tags, caixa delimitadora, polígono que segmenta a imagem detectando objetos bem como sua descrição. Isso o torna ideal para testar o desempenho desse tipo de modelo para geração de legendas.
Imagem do COCO Dataset com e sem anotação obtida na seção exploratória das imagens



