Embedding

Eles medem a similaridade semântica entre textos. Duas frases com o mesmo significado terão vetores próximos. É a base do RAG.

Não. Um token é um pedaço de texto bruto. Um embedding é a sua tradução em um vetor numérico dentro de um espaço matemático.

Um embedding transforma um texto, uma imagem ou outros dados em uma lista de números (um vetor) que captura o seu significado. Itens com significado parecido ficam próximos nesse espaço vetorial, de modo que uma máquina pode compará-los matematicamente. É assim que uma IA entende que "carro" e "automóvel" estão relacionados, mesmo com palavras diferentes.

Um word embedding é um vetor que representa o significado de uma única palavra, aprendido a partir de como ela aparece em grandes quantidades de texto. Modelos antigos como Word2Vec e GloVe produziam um vetor fixo por palavra. Os sistemas modernos usam embeddings contextuais: a mesma palavra recebe um vetor diferente conforme a frase ao seu redor.

A busca semântica é o exemplo clássico. Transforma-se uma consulta como "como redefinir minha senha" e um artigo de ajuda em vetores, e então recupera-se o artigo cujo vetor é o mais próximo. O mesmo mecanismo alimenta os pipelines de RAG, as recomendações de produtos e a detecção de duplicatas. Ferramentas como Perplexity e NotebookLM se apoiam em embeddings para encontrar trechos relevantes antes de responder.

Uma rede neural treinada com grandes datasets converte cada entrada em um vetor, geralmente de algumas centenas a alguns milhares de números. Na prática, você chama um modelo de embedding, como o text-embedding-3 da OpenAI, o Cohere Embed ou um modelo open source do Hugging Face, e ele retorna o vetor de qualquer texto enviado. Não é preciso engenharia de features manual.

Os embeddings normalmente são mantidos em um banco de dados vetorial como Pinecone, Weaviate, Qdrant ou pgvector. Esses sistemas indexam milhões de vetores e realizam buscas rápidas de vizinho mais próximo para retornar os itens mais similares em milissegundos. Um banco vetorial é a camada de armazenamento padrão por trás da busca semântica e das aplicações RAG.

Sim. O mesmo princípio se aplica a imagens, áudio e vídeo. Modelos multimodais como o CLIP colocam imagens e texto em um espaço vetorial compartilhado, de modo que uma consulta de texto pode recuperar as imagens correspondentes. É isso que torna possíveis os recursos de "busca por descrição" e as ferramentas de similaridade de imagens nos produtos de IA modernos.

A métrica mais comum é a similaridade de cosseno, que mede o ângulo entre dois vetores independentemente do seu comprimento. Uma pontuação próxima de 1 indica itens quase idênticos em significado, enquanto uma próxima de 0 indica que não têm relação. A distância euclidiana e o produto escalar também são usados, conforme o modelo e o banco vetorial.