Pinterest está inovando com o desenvolvimento de um processo próprio de geração de imagens por IA, que se diferencia das abordagens de outros aplicativos. Conforme detalhado em um novo resumo da equipe de engenharia do Pinterest, o modelo “Canvas” foi criado para fornecer opções de fundos gerados para fotos de produtos, mantendo a imagem do produto como foco principal.

Abordagem e Treinamento Específicos

O modelo Canvas requer um treinamento mais intensivo. A maioria dos modelos de linguagem grandes são projetados para criar imagens com base em descrições textuais, combinando anotações de texto de outras imagens com saídas visuais. No entanto, as fotos de produtos frequentemente não incluem descrições dos fundos nas legendas, o que levou a equipe do Pinterest a desenvolver uma nova maneira de isolar fundo e primeiro plano, facilitando o uso da ferramenta com comandos simples.

De acordo com o Pinterest:

“Treinar o Pinterest Canvas nos dá um modelo base robusto que entende como são os objetos, seus nomes e como são geralmente compostos em cenas. Nosso objetivo é treinar modelos que possam visualizar ou reimaginar ideias ou produtos reais em novos contextos.”

Processo de Segmentação e Fine-Tuning

Pinterest criou um sistema altamente preciso, utilizando um modelo de segmentação para gerar máscaras de produtos, separando o primeiro plano do fundo. As legendas textuais atuais geralmente descrevem apenas o produto, ignorando o fundo, que é essencial para orientar o processo de preenchimento. Assim, são incorporadas legendas mais completas e detalhadas de um modelo LLM visual.

Na etapa final, um LoRA é treinado em todas as camadas UNet para permitir uma fine-tuning rápida e eficiente. Finalmente, o modelo é brevemente ajustado com um conjunto selecionado de imagens de produtos promovidos e altamente engajados, alinhando o modelo a estéticas que ressoam com os usuários do Pinterest.

Implementação e Utilidade

Este sistema permite gerar fundos para imagens de produtos com base em fotos existentes no Pinterest, simplificando a criação ao alinhar o modelo com certos estilos visuais. Marcas poderão digitar o estilo desejado com base em descrições comuns, e o sistema do Pinterest fornecerá opções para fotos de produtos nesse estilo.

Tradução livre de Social Media Today.