Strategiska ramverk och perspektiv
Den bittra läxan (the bitter lesson)
Vad är Den bittra läxan (the bitter lesson)?
Den bittra läxan är en princip formulerad av AI-forskaren Rich Sutton 2019: enkla, generella metoder som drar nytta av mer beräkningskraft slår nästan alltid smarta, handbyggda lösningar i längden. Sutton beskriver ett mönster som upprepats gång på gång i AI-historien: forskare bygger in mänsklig expertkunskap i ett system, det fungerar bra ett tag, utvecklingen planar ut, och till slut kommer en enklare metod med mer data och mer compute och kör om alltihop. Vi har sett det i schack (djupare sökning slog inbyggd stormästarkunskap), i Go (AlphaGo Zero lärde sig själv via självspel och blev starkare än versionen som tränats på mänskliga partier), i taligenkänning och i bildigenkänning. Lärdomen kallas 'bitter' eftersom den är obekväm för oss människor: vi vill gärna tro att framsteg kommer från vår smarthet och vår domänkunskap, men historiskt har 'mer data plus mer beräkning plus generell algoritm' vunnit.
Dagens stora språkmodeller är ofta exempel A på principen. Istället för att bygga in grammatik, logik och regler tränades GPT, Claude och Gemini på enorma mängder text med massiv beräkningskraft, och resultaten blev bättre än många trodde var möjligt. För dig som bygger med AI är det en användbar varningslampa: var försiktig med att hårdkoda hundratals regler, kedjor och specialfall i en agent, för en enklare lösning som följer med modellförbättringarna kan komma ifatt och köra om dig. Samtidigt pågår en debatt om huruvida dagens trend (LLM:er kompletterade med verktyg, minne, RAG och agentorkestrering) är ett brott mot Suttons princip, eller bara nästa nivå den ska skalas på.
Ursprung och källa
Richard Sutton, 2019