Com 620 milhões de usuários mensais, definir um modelo de fronteira para cada recomendação de imagem não é uma estratégia – é uma conta. O CTO do Pinterest, Matt Madrigal, resolveu o problema destruindo a camada de visão do Qwen3-VL e reconstruindo-a com incorporações proprietárias, reduzindo custos em 90% e aumentando a precisão em 30%.
A equipe de Madrigal tem investido pesadamente na personalização de modelos de código aberto “fundamentalmente internos”.
“Se você tiver dados realmente únicos com os quais possa ajustar um modelo de código aberto, a qualidade dos dados irá, francamente, superar ou superar o tamanho do modelo”, explicou Madrigal em um recente Podcast VB além do piloto.
Como o Pinterest personalizou o Qwen para descoberta visible
O Pinterest, que tem cerca de 620 milhões de usuários ativos mensais, há muito aplica modelos de código aberto para pesquisa e descoberta visible, remontando ao BERT do Google e ao CLIP da OpenAI. A empresa ajustou seu próprio Pin CLIP neste último, incorporando incorporações visuais proprietárias e metadados de imagem.
O assistente de compras conversacional do Pinterest, Navigator 1, foi desenvolvido no Qwen3-VL e personalizado de maneiras “bastante significativas”. A equipe de Madrigal basicamente “arrancou” a camada do codificador de visão de Qwen e ajustou o modelo em incorporações multimodais proprietárias. Isso permitiu que eles capturassem metadados em torno de pins e imagens que podem então ser pré-computados off-line e retreinados regularmente com novas informações para fornecer experiências personalizadas.
“Modelos de código aberto, especialmente com licenças Apache abertas, onde você pode realmente ajustar muitos pesos abertos e personalizar para casos de uso exclusivos – é aí que descobrimos que o código aberto é tão poderoso para nós”, disse Madrigal.
Trazer seus próprios embeddings permite que sua equipe obtenha contexto em torno de metadados, pins e imagens; Além disso, notavelmente, o modelo tem melhor desempenho em tempo de execução e inferência. Sem essas incorporações, os desenvolvedores teriam que chamar e codificar cada imagem retornada em tempo de execução, uma de cada vez. Isso resulta em uma latência “20 vezes pior” do ponto de vista da inferência, disse Madrigal.
“Se for algo que será crítico para nossos usuários finais, que impulsionará o engajamento, que terá que escalar para mais de 600 milhões de usuários ativos mensais, provavelmente iremos construí-lo ou aproveitaremos o código aberto e personalizaremos totalmente”, disse ele.
VB Rework · 14 a 15 de julho · Menlo Park · Orquestração agente
A Intuit reconstruiu seu sistema multiagente em 60 dias. O que eles mudaram – e por quê?
Na Rework, os líderes de engenharia da Intuit, Goal e Instacart detalham como redesenharam suas arquiteturas de orquestração para confiabilidade, escala e clientes reais.
Veja a agenda completa →
Como um gráfico de gosto captura interesses em evolução
Para orientar os usuários desde a inspiração até a compra, a equipe de Madrigal construiu um “gráfico de gostos”: uma representação dinâmica do que os usuários individuais realmente gostam, e não apenas daquilo em que clicam. “É esta representação da evolução dos gostos de bilhões de pessoas”, disse ele.
As pessoas acessam o Google ou outros mecanismos de busca quando têm uma ideia clara do que desejam; O Pinterest é para quando eles ainda estão na fase de descoberta, disse Madrigal. O objetivo do Pinterest é incentivar a “exploração lateral” e transformar a descoberta em intenção (ou seja, clicar em anúncios ou fazer compras).
Nos bastidores, a arquitetura combina uma estrutura gráfica com aprendizagem representacional. Os embeddings do usuário capturam a evolução dos gostos do usuário. Eles são constantemente atualizados com base na atividade e em novos conteúdos e sinais. “Não é um gráfico social”, disse Madrigal. “É muito mais um gráfico de preferências: o que vai inspirar você? O que você está tentando fazer a seguir?”
Por exemplo, um usuário pode gostar de designs modernos de meados do século; outro pode preferir uma estética de Nantucket. Essas preferências serão capturadas em incorporações do usuário e, como resultado, o gráfico de sabor fornecerá produtos específicos e relevantes.
“Você vai do funil superior, da descoberta da inspiração, até a intenção do funil inferior”, disse Madrigal.
Ouça o podcast completo para saber mais sobre:
-
Como o Pinterest usa sandboxes para incentivar a criatividade de uma forma segura e contida;
-
Por que um ciclo de suggestions contínuo pode evitar falhas visuais de IA;
-
A importância do benchmarking constante para avaliar o envolvimento do usuário, desempenho, latência e outros fatores.
Você também pode ouvir e assinar Além do piloto sobre Spotify, Maçã ou onde quer que você obtenha seus podcasts.
