N-grammer fra Nasjonalbiblioteket 2026

Dette datasettet inneholder n-grammer – uni-, bi- og trigrammer – fra alle bøker og aviser som var blitt digitalisert ved Nasjonalbiblioteket per mars 2026. N-grammene er laget på basis av et materiale bestående av om lag 685.000 bøker og 4.720.000 avishefter, til sammen ca. 160 milliarder «tokens» (ord og tegnsetting). Filformatet er UTF-8-kodert JSONL, komprimert med den effektive Zstandard-algoritmen.

Innhold Nøklene i JSONL-filene med n-grammer er som følger: – first – det første ordet i n-grammet (i uni-, bi- og trigram) – second – det andre ordet i n-grammet (i bi- og trigram) – third – det tredje ordet i n-grammet (i trigram) – lang – språkkode for n-grammet (gjelder kun bøker, avisene har ingen språkklassifikasjon per nå) – freq – den totale frekvensen for n-grammet i samlingen av bøker eller aviser – counts – et dictionary med råfrekvens per år

totals.json inneholder totalfrekvenser innenfor årganger i hhv. bok- og avismaterialet. Med disse kan man lett regne ut relativfrekvenser for sammenligning på tvers av år som i NB N-gram. ngram-2026-digibok-metadata.jsonl og ngram-2026-digavis-metadata.jsonl inneholder enkle metadata for alle bøkene og avisene som inngår i bok- og aviskorpuset. Hvis du er interessert i mer utførlige metadata, henviser vi til Oria eller NBs APIer under https://api.nb.no/.

Tilrettelegging N-grammene ble ekstrahert fra fulltekstbasene til DH-labben ved Nasjonalbiblioteket (https://www.nb.no/dh-lab/). Følgende frekvenskutt ble gjennomført:

• unigram (bøker): totalfrekvens på mindre enn fem i delkorpuset for norsk bokmål, mindre enn to i alle andre språk. I tillegg må n-grammet være brukt i mer enn ett år.
• unigram (aviser): totalfrekvens på mindre enn fem. I tillegg må n-grammet være brukt i mer enn ett år.
• bigram (bøker og aviser): tilsvarende kuttregler som for unigram. I tillegg ble alle hapax-bigrammer innenfor ett år fjernet.
• trigram (bøker og aviser): tilsvarende kuttregler som for bigram. Alle hapax-trigrammer innenfor ett år ble fjernet.

Lisens Dataene stilles til disposisjon som CC-0 (fritt tilgjengelig).