Inbäddning

Vad är Inbäddning?

Embeddings omvandlar komplex data, som text, bilder eller ljud, till numeriska representationer (vektorer). Tänk dig att varje ord eller bild får en unik plats i ett digitalt rum, där liknande objekt hamnar nära varandra. Placeringen har modellen lärt sig av enorma mängder exempel: ord som brukar dyka upp i liknande sammanhang får platser nära varandra, och likadant bilder med liknande innehåll. Det gör det lättare för AI-modeller att förstå relationer och mönster i datan.

Det som blir möjligt är att söka på betydelse i stället för på ord. En vanlig nyckelordssökning hittar bara dokument där just ditt sökord står. Med inbäddningar hamnar "ledighet" och "semester" nära varandra i rummet, så en sökning på det ena hittar också texter som bara använder det andra. Det är så en chattbot som svarar utifrån ett företags egna dokument (RAG) hittar de textstycken som passar frågan, och så en tjänst kan föreslå artiklar eller produkter som liknar dem du redan tittat på.

Ursprung och källa

Bengio et al., 2003 (word embeddings)

Se även

• LLM
• Transformer
• RAG

Läs mer

• Simon Willison: Embeddings: What they are and why they matter
• Google: Embeddings (Machine Learning Crash Course)