TF-IDF

TF-IDF är en metod för att räkna ut hur viktigt ett ord är i en text, genom att väga hur ofta ordet förekommer mot hur sällsynt det är i en större samling texter. Tänk dig tusen artiklar och frågan vilka ord som faktiskt säger något om en enskild artikel. Ordet “och” finns i alla tusen och berättar ingenting. Ordet “vektorisering” (att göra om text till siffror en dator kan räkna på) finns i tre av dem och pekar rakt mot ämnet. Det är den intuitionen TF-IDF sätter en siffra på.

Förkortningen står för term frequency-inverse document frequency. Den kommer från information retrieval, alltså forskningsfältet om hur man hittar rätt dokument i stora textmängder. Metoden är gammal i sammanhanget, men seglivad. Den dyker fortfarande upp i söksystem, i keyword extraction (att automatiskt plocka ut de viktigaste orden ur en text) och i enklare maskininlärning.

Utanför SEO används samma mått också för att mäta hur lika två dokument är, till exempel för att hitta dubbletter i ett arkiv. För dig som skriver webbtext är TF-IDF framför allt ett sätt att se vilka begrepp en sida saknar, och den insikten hör hemma i din innehållsstrategi långt innan den blir en formel. Först måste sidan förstås ha kommit med i Googles index. En sida som aldrig blivit indexerad syns inte i sökresultatet hur välviktade orden än är, så den kontrollen gör du innan du lägger tid på ordanalys.

Vad TF-IDF faktiskt mäter: från stoppord till termvikt

TF-IDF ger varje ord i en text en poäng. Poängen är hög när ordet är betydelsebärande för just den texten och låg när ordet är ett vanligt bindeord utan eget innehåll. Sådana ord kallas stoppord och filtreras i regel bort helt innan räkningen börjar. Det som blir kvar efter filtreringen är sidans termvikter, alltså en siffra per ord som säger hur mycket just det ordet bidrar med. Filtreringen är inget litet ingrepp: rensar du bort stopporden handlar toppen av listan om ämnet, låter du dem ligga kvar fylls den i stället av bindeord. Termvikterna finns till för att kunna ställas mot varandra, och det är den inbördes ordningen du läser av när du letar efter vad en sida saknar.

Tanken är enkel om du bryter ner den. En text består av ord. Vissa ord är generiska och finns i nästan allt som skrivs. Andra är specifika och finns bara i ett fåtal texter. TF-IDF lyfter fram de specifika och tonar ner de generiska. Resultatet blir ett slags fingeravtryck av vad texten handlar om – och det fingeravtrycket är dessutom betydligt ärligare än ditt eget nyckelord i en rubrik.

Ta en takläggare som exempel. På en sida om takbyten väger ord som “tegelpannor” och “underlagspapp” tungt, eftersom de knappast förekommer i texter om annat. Ord som “tjänst”, “kvalitet” och “erfarenhet” finns i varenda företagstext i landet och väger därför nästan ingenting. Det är precis den sortens skillnad ett söksystem vill fästa sig vid, och den ligger nära hur Google resonerar kring en entitet, alltså ett ting eller begrepp som sökmotorn känner igen och kan koppla ihop med andra.

Måttet vilar på två halvor som behöver varandra. Så här hänger de ihop, och så här ser du varför ingen av dem duger ensam:

• Term frequency (TF) mäter hur ofta ett ord finns i en enskild text, i förhållande till textens längd.
• Inverse document frequency (IDF) mäter hur sällsynt samma ord är i hela samlingen av texter.
• TF ensamt räcker inte, eftersom ord som “en” och “att” får skyhöga värden utan att betyda något.
• IDF ensamt räcker inte heller, eftersom det inte säger något om just den text du skriver.
• Multiplicerade balanserar de varandra och ger en poäng du faktiskt kan använda.
• Kort sagt: ett ord måste vara både vanligt hos dig och ovanligt hos alla andra.

Term frequency: hur ofta ordet finns i din text

TF är den enkla halvan. Du räknar hur många gånger ordet står i texten och delar med totalt antal ord. Delningen finns där för att en lång text annars alltid skulle vinna. Just därför är ordantal i sig aldrig ett mått på kvalitet. En text på 3 000 ord kan ha lägre TF för sitt viktigaste begrepp än en text på 800.

Inverse document frequency: hur sällsynt ordet är i samlingen

IDF är den intressanta halvan. Här jämförs ordet mot hela samlingen: finns det i vartenda dokument blir värdet nära noll, finns det bara i några få blir värdet högt. Det är också därför långa, specifika sökfraser beter sig annorlunda än breda. Det påminner om varför long tail-sökord brukar vara lättare att ranka på, även om den saken framför allt handlar om lägre konkurrens och tydligare avsikt. I praktiken betyder det att en precis formulering oftast ger dig mer att arbeta med än en bred, både när du skriver och när du analyserar.

Så räknar du ut TF-IDF steg för steg

Formeln ser ut så här: TF-IDF = TF × IDF, där TF = (antal gånger ordet finns i texten) / (totalt antal ord i texten) och IDF = log(totalt antal dokument / antal dokument som innehåller ordet).

Ta ett räkneexempel med påhittade men rimliga siffror. Säg att ordet “tegelpannor” står 10 gånger i en text på 1 000 ord. Då blir TF = 10 / 1 000 = 0,01. Säg vidare att ordet finns i 50 av 1 000 jämförda dokument. Då blir IDF = log(1 000 / 50) = log(20) ≈ 1,3. Slutpoängen blir alltså 0,01 × 1,3 ≈ 0,013.

En sak är värd att veta innan du kör samma räkning i kod. Exemplet ovan använder logaritm med bas 10. Verktygen räknar ofta lite annorlunda: scikit-learns TfidfVectorizer utgår från råa ordräkningar i stället för andelar och lägger på naturlig logaritm, utjämning och L2-normalisering (justeringar som håller talen jämna och jämförbara). Samma ord landar därför inte på 0,013 där. Rangordningen mellan orden brukar ändå hålla sig, även när de absoluta talen skiljer sig en hel del.

Jämför det med ordet “och”. Med formeln ovan gäller det varje ord som råkar finnas i samtliga jämförda dokument, och “och” är bara det tydligaste fallet: det finns i alla 1 000, så IDF = log(1 000 / 1 000) = log(1) = 0. Hur ofta du än upprepar det blir slutpoängen noll, eftersom allt multipliceras med nollan. Exemplet visar samtidigt vad som händer när ett sådant småord inte har filtrerats bort som stoppord innan räkningen börjar. Nollan hör dock till läroboksformeln: med scikit-learns utjämning får ord som finns i varenda dokument i stället vikten 1. Ett ord som alla använder kan hur som helst aldrig skilja din sida från de andra, och det är precis den skillnaden IDF-halvan är byggd för att fånga.

1. Räkna ut TF för ordet i ditt eget dokument.
2. Räkna ut IDF för samma ord över hela samlingen du jämför mot.
3. Multiplicera TF med IDF och få ordets poäng.
4. Upprepa per ord och per sida, eller låt ett program göra det åt dig.
5. Rangordna orden efter poäng och läs listan uppifrån.

Varför TF-IDF spelar roll för SEO

Du ser aldrig TF-IDF som ett reglage i Search Console. Google har inte presenterat det som en egen rankingfaktor, och dagens system bygger på språkmodeller som förstår betydelse på ett djupare plan. Googles egen dokumentation för sökning, Google Search Central, beskriver relevans som att innehållet svarar mot vad någon söker efter. Vår läsning av den dokumentationen är att ordvikter i regel inte hör till det språk Google använder om saken. Tankesättet är ändå värdefullt, av en konkret anledning.

En text du har skrivit själv känns alltid färdig, eftersom du vet vad du menade med den. Hur vet du då vad som faktiskt saknas? De sidor som redan rankar högt för ett ämne täcker oftast en återkommande uppsättning begrepp. Saknar din text flera av dem ser den tunn ut, både för läsare och för sökmotor.

Här ger TF-IDF ett sätt att upptäcka luckan: du jämför din sida mot de bästa konkurrenterna och får en konkret lista på relevanta ord och teman som saknas hos dig. Vi utgår själva från tio till tjugo jämförelsesidor snarare än tre eller fyra, eftersom en enda avvikande sida annars kan styra hela rangordningen. Först rensar du bort de sidor som rankar av andra skäl än ämnet, som forumtrådar och breda kategorisidor. Det är samma resonemang som ligger bakom innehållsdjup, och det hänger tätt ihop med vilken sökintention sidan ska svara mot.

• Du ser vilka begrepp som hör till ämnet men saknas i din text.
• Jämförelsen motverkar att du stirrar dig blind på ett enda sökord.
• I stället för att bygga ut tunt innehåll på känsla får du ett underlag att utgå från.
• Har du hundra sidor och tid för tio hjälper listan dig att välja vilka tio.
• Säg att du driver en cykelverkstad och att varenda sida som rankar för “cykelservice” nämner växeljustering, kedjebyte och hjulriktning, medan din egen text stannar vid “vi lagar cyklar”. Då vet du precis vad nästa stycke ska handla om.
• Jämförelsen sker mot dem som faktiskt rankar i SERP, och den är billig nog att köra på många sidor.

Vad ett tunt TF-IDF-resultat avslöjar om innehållet

En sida om sidhastighet som aldrig nämner laddningstid, cache eller bildkomprimering känns ofullständig. Det spelar ingen roll hur många gånger den upprepar huvudordet. Den sortens brist syns direkt i en analys, och den är oftast enklare att åtgärda än man tror.

Därför passar TF-IDF särskilt bra i en innehållsrevision, där du går igenom befintliga sidor i stället för att skriva nya. Det snabbaste lyftet är för det mesta att uppdatera gammalt innehåll som redan har lite trafik. Sidan finns, den är indexerad – och den saknar bara ett par begrepp för att kännas komplett.

Hur du hittar luckorna med en konkurrentanalys

Metodiken känns igen från en strukturerad konkurrentanalys: du tittar på vad de bästa sidorna faktiskt innehåller i stället för att gissa. Skillnaden är att TF-IDF gör jämförelsen mekanisk och ordnad efter tyngd. Kombinerar du det med en vanlig sökordsanalys får du både vad folk söker på och vilka begrepp texterna som vinner faktiskt använder.

Så använder du TF-IDF i praktiken – utan att koda

Det krävs ingen dataforskare. Om du inte skriver kod börjar du enklast i ett webbaserat verktyg som gör jämförelsen åt dig, och det finns gott om gratis SEO-verktyg att titta på innan du bestämmer dig. Du klistrar in din URL och ditt sökord, verktyget hämtar de sidor som rankar och listar begrepp de använder som du inte gör. Sedan är det din uppgift att avgöra vilka av begreppen som hör hemma på sidan och var de gör mest nytta, vilket är exakt samma bedömning som allt annat on page-arbete kräver.

Arbetsgång i sex steg från sökresultat till färdig text

1. Välj en sida och ett sökord i taget. Blanda aldrig ihop flera ämnen i samma analys.
2. Samla in de tio till tjugo sidor som rankar högst för sökordet.
3. Kör texterna genom ett verktyg eller ett bibliotek som scikit-learn.
4. Jämför listan med högt viktade begrepp mot din egen sida.
5. Sortera bort de begrepp som inte hör hemma hos dig, till exempel produkter du inte säljer.
6. Skriv in de kvarvarande orden där de faktiskt tillför något för läsaren.

Tidsmässigt brukar en första analys av en enda sida ta ungefär 15–30 minuter i ett webbverktyg, medan samma jämförelse för hand i ett kalkylark oftast landar på två till fyra timmar. Vill du ha ännu mer att gå på kan du komplettera med frågorna i People also ask, som visar vad folk undrar runt samma ämne. En återkommande fråga som din sida inte besvarar är i praktiken en underrubrik du saknar.

När orden väl är på plats handlar resten om samma saker som all annan innehållsoptimering: rubriker som stämmer med innehållet, stycken som går att skumma och en text som besvarar frågan innan läsaren hinner tröttna.

En sak som engelska genomgångar sällan tar upp är att svenskan böjer och sätter ihop ord i en helt annan utsträckning. En metod som räknar ord ser “cykelservice”, “cykelreparation” och “service av cykel” som tre skilda termer, och “takläggare” och “takläggning” slås aldrig ihop till ett gemensamt begrepp. Stemming och lemmatisering, alltså att föra tillbaka böjda former till en grundform, fungerar dessutom i allmänhet sämre för svenska än för engelska. Detsamma gäller de färdiga stopplistor som de flesta verktyg levereras med. Räkna därför med att du får se flera varianter av samma sak i listan, och slå ihop dem själv innan du drar slutsatser om vad sidan saknar.

Välj verktyg för TF-IDF: krav, kod och kalkylark

Vilket verktyg du väljer spelar mindre roll än att du jämför mot rätt sidor. Döm ett verktyg efter hur det hanterar urvalet. Ett snyggt gränssnitt säger ingenting om kvaliteten på jämförelsen bakom. Flera SEO-verktyg klarar den här sortens jämförelse, och för större sajter går det att exportera texterna först med en crawler som Screaming Frog.

• Det ska jämföra mot sidor som verkligen rankar för ditt sökord, alltså mot ett urval du kan motivera.
• Du ska kunna plocka bort jämförelsesidor som handlar om något helt annat.
• Det ska visa vilka begrepp du saknar, begrepp för begrepp, med poängen som ligger bakom.
• Det ska hantera svenska rimligt: känna igen böjningsformer och ha en stopplista på svenska, eftersom engelska standardinställningar släpper igenom småord som “och” och “som”.

De två avsnitten som följer är för dig som gillar att titta under huven. Skriver du hellre text än kod kan du hoppa vidare till missförstånden längre ner utan att missa något du behöver.

CountVectorizer, TfidfTransformer och TfidfVectorizer i scikit-learn

För den som gillar kod är scikit-learn standardvalet. I bibliotekets dokumentation finns tre delar som hör ihop. CountVectorizer omvandlar rå text till ren ordräkning. TfidfTransformer tar den räkningen och gör om den till TF-IDF-poäng. TfidfVectorizer är genvägen som gör båda stegen i ett svep, direkt från rå text, och det är den de flesta använder. Ut kommer en matris, alltså en tabell med siffror, där varje rad är ett dokument och varje kolumn ett ord. En sådan tabell hanteras vanligtvis som en dataframe, ett kalkylarksliknande objekt i Python.

Kalkylark och färdiga content-verktyg

Du kommer förvånansvärt långt med ett kalkylark, om du bara har en handfull texter.

1. Klistra in varje text i sin egen kolumn och räkna orden.
2. Räkna ut TF för de tjugo vanligaste orden i din egen text.
3. Räkna manuellt hur många av texterna varje ord förekommer i och beräkna IDF.
4. Multiplicera TF med IDF för varje ord, så att du får en egen poäng per rad.
5. Sortera listan fallande och jämför de högsta begreppen mot vad din egen sida faktiskt tar upp.

Flera av de webbaserade verktygen har gratisnivåer som räcker gott för enstaka sidor. Driver du sajten på WordPress går en del av granskningen dessutom att göra direkt i editorn med ett tillägg som varnar för tunn text, och uppsättningen går vi igenom i guiden om SEO för WordPress.

Vanliga missförstånd om TF-IDF och nyckelordstäthet

Det största missförståndet är att måttet skulle vara en hemlig ratt hos Google att optimera mot. Det stämmer inte. TF-IDF är ett analysverktyg du kör på din egen text, och det påverkar ingenting inuti sökmotorn. Måttet ger dig inte heller någon målfrekvens att sikta mot: det finns inget antal förekomster som analysen ber dig träffa. Den som lovar garanterade placeringar genom att “optimera din TF-IDF” säljer luft. Det löftet hamnar i samma sällskap som de SEO-myter som aldrig riktigt vill dö. Långsiktig synlighet bygger i stället på sådant som erfarenhet, expertis och trovärdighet.

Är TF-IDF samma sak som nyckelordstäthet?

Nej, och skillnaden är värd att hålla isär. Nyckelordstäthet räknar bara andelen av ett ord i din text, isolerat från omvärlden. TF-IDF jämför alltid mot en större mängd dokument.

• Täthet mäter volym, TF-IDF mäter särskiljning.
• Täthet räknar bara ordets andel av din text, medan TF-IDF väger samma räkning mot hur sällsynt ordet är i den samling du jämför mot.
• Båda går att blåsa upp. Upprepar du ett ovanligt ord tillräckligt många gånger stiger även TF-IDF-poängen, eftersom TF-halvan stiger med varje ny förekomst.
• Täthet säger inget om vilka ord du saknar, och det är just de orden en jämförelse ska leta fram.
• Höga tätheter på breda short tail-sökord är ofta ett tecken på tunn text.
• Väljer du bort ett föreslaget begrepp gör du klokt i att skriva ner varför, så att nästa granskning av samma sida slipper göra om bedömningen.

Hur TF-IDF förhåller sig till BM25, embeddings och moderna språkmodeller

Är måttet samma sak som de språkmodeller Google använder i dag? Nej. TF-IDF är klassiskt men trubbigt. Det förstår inte att “bil” och “fordon” hör ihop, eftersom det bara räknar ord och inte betydelse. Moderna system bygger i stället på språkmodeller som fångar mening och sammanhang. RankBrain var ett tidigt och tydligt exempel, BERT ett annat. Liknande teknik ligger bakom både generativ sökning och de AI Overviews som numera ofta möter dig högst upp i resultatet.

Vad gör BM25 och embeddings annorlunda?

BM25 är en vidareutveckling av samma grundidé. Den dämpar effekten av att ett ord upprepas många gånger och tar hänsyn till hur lång texten är. Embeddings gör något annat: de placerar varje ord eller stycke som en punkt i ett stort koordinatsystem, så att ord med liknande betydelse hamnar nära varandra. Sedan går det att mäta hur lika två texter är genom att jämföra avståndet mellan punkterna. Där löser embeddings just det svenska problem som ren ordräkning går bet på, eftersom “takläggare” och “takläggning” hamnar nära varandra i koordinatsystemet.

Vad har du för nytta av det som skribent? Framför allt en insikt: eftersom maskinerna numera läser betydelse behöver du inte upprepa exakta fraser. Däremot vinner du på att vara tydlig med vad sidan handlar om. Orden bär betydelsen, medan strukturerad data märker upp fakta som pris, öppettider och betyg i ett format maskinen kan läsa utan att tolka prosan. Samma tydlighet avgör om en sida går att citera som ett direkt svar, vilket är hela idén bakom AEO: en fråga som besvaras rakt och kort någonstans i texten är helt enkelt lättare att plocka ut.

Är TF-IDF fortfarande värt din tid när du bygger ämnesauktoritet?

Ibland ja, ibland nej. Frågan är egentligen en annan: hur mycket har just den här sidan att vinna? Är sidan redan välskriven och täcker ämnet ordentligt ger en analys sällan mer än marginella justeringar. Har du däremot en tunn tjänstesida som legat orörd i två år brukar en genomgång vara en av de snabbare vägarna till konkret förbättring.

Störst nytta gör metoden när du bygger ut ett helt ämnesområde. Att systematiskt täcka de begrepp ett ämne kräver är själva grunden i ämnesauktoritet, och TF-IDF blir då ett sätt att kontrollera att du inte glömt något. Bygger du ämneskluster kan du köra samma analys på varje sida i klustret. Dyker samma saknade begrepp upp på flera sidor är det som regel en egen sida som fattas, och när du väl skapar den får du samtidigt en naturlig plats att länka från och till. Så blir analysen också ett underlag för din interna länkstruktur.

Har du en tydlig huvudsida i ämnet, en cornerstone-sida, är den värd att börja med. Följ sedan upp i Search Console och se om sidan börjar synas på fler sökfrågor än tidigare. Ge det gärna några veckor innan du drar slutsatser, eftersom både omindexering och trafikdata tar sin tid. Det som till slut avgör om arbetet var värt tiden är ändå om de sökfrågorna leder till förfrågningar och kunder.

Och nej, du behöver inte den mest avancerade tekniken. Ett språkmodellsverktyg skriver gärna ett utkast som låter komplett utan att vara det – och då är en enkel ordjämförelse en nyttig kontroll av vad utkastet verkligen täcker. Det gäller i högsta grad när du experimenterar med AI i SEO-arbetet. En sådan jämförelse tar några minuter och visar vilka begrepp utkastet hoppade över.

Resten löser du genom att skriva tydligt, ärligt och för rätt läsare. Vill du göra en enda sak efter att ha läst det här: ta din viktigaste tjänstesida, plocka fram de tio sidor som rankar för samma sökord och skriv ner tre begrepp de tar upp men du inte gör. Skriv sedan ett stycke om vart och ett. Det är hela metoden i praktiken.