Målfrid 2021 - Fritt tilgjengelege tekster frå norske statlege nettsider
- Datasett
- Allmenn tilgang
Tilgjengeleg for alle. Tilgang kan likevel krevje registrering og førespurnad om API-nøklar, så lenge kven som helst kan be om slik registrering og/eller API-nøklar.
Skildring
Dette korpuset inneheld dokument frå 339 internettdomene tilknytta norske, statlege institusjonar. Totalt består materialet av omlag 4,1 milliardar "tokens" (ord og teiknsetjing), noko som gjer korpuset til eit av dei største fritt tilgjengelege tekstkorpusa for bokmål og nynorsk. Korpuset inneheld òg tekster på nordsamisk, sørsamisk, lulesamisk og engelsk.
Dataa vart samla inn som ein lekk i Målfrid-prosjektet, der Nasjonalbiblioteket på vegner av Kulturdepartementet og i samarbeid med Språkrådet haustar og aggregerer tekstdata for å dokumentere bruken av bokmål og nynorsk hjå statlege institusjonar.
Språkbanken føretok ei fokusert hausting av nettsidene til dei aktuelle institusjonane mellom 11. desember 2020 og 18. januar 2021. Tekstdokument (HTML, DOC(X)/ODT og PDF) vart lasta ned rekursivt frå dei ulike domena, 12 nivå ned på nettsidene. Me tok ålmenne høflegheitsomsyn og respekterte robots.txt.
Dei nedlasta dokumenta vart prosessert vidare. Bolkar med tekst vart ekstrahert frå HTML med Justext, eit system for "boilerplate removal" (http://corpus.tools/wiki/Justext). Textract (https://textract.readthedocs.io/en/stable/) vart brukt for å ekstrahere tekst frå Word/ODT-dokument, mens Cloud Vision OCR frå Google (https://textract.readthedocs.io/en/stable/) vart brukt til å ekstrahere tekst frå pdf-filer.
Dei ekstraherte tekstene vart klassifiserte ved bruk av TextCat språkidentifikasjon (https://www.let.rug.nl/~vannoord/TextCat/) på dokumentnivå. Eksakte duplikat av same dokument (innanfor same domene) vart fjerna.
Korpuset er lagt til rette som gzippa JSON-liner (jsonl), eitt dokument per line. Det er ei JSONL-fil for kvar kombinasjon av domene, språk og innhaldstype. Filene er på UTF-8 tekstformat, med ASCII lineskift. Kvart dokument inneheld dei følgande nyklane:
- lang: språk i dokumentet (identifisert med TextCat)
- url: url-en til dokumentet då det vart hausta
- date: dato for innhausting av dokumentet
- mimetype: (forenkla) mediatype for dokumentet: HTML, DOC eller PDF
- fulltext: ei rekkje av strenger, der kvar streng representerer eitt avsnitt - ein tom streng angir ei ny side i PDF-dokumenta
Distribusjonar1
Namnlaus distribusjon- gtar
- gtar
- Skildring:
- Ikkje oppgitt
- Tilgjengeleg URL:
- https://hdl.handle.net/21.11146/69
- Status:
- Ikkje oppgitt
- Direkte nedlasting:
- API:
- Ikkje oppgitt
- Dokumentasjon:
- Ikkje oppgitt
- Lisens:
- I samsvar med:
- Ikkje oppgitt
- Rettigheter for bruk:
- Ikkje oppgitt
API-ar som tilbyr dette datasettet0
Liknande datasett
| Stortingskorpuset 2.0 | Allmenn tilgang | |
| NB Samtale | Allmenn tilgang | |
| Omsetjingsminne frå Nynorsk pressekontor 2022 | Allmenn tilgang | |
| Norsk koreferansekorpus | Allmenn tilgang | |
| bokselskap.no 2023 | Allmenn tilgang |
Distribusjonar1
Namnlaus distribusjon- gtar
- gtar
- Skildring:
- Ikkje oppgitt
- Tilgjengeleg URL:
- https://hdl.handle.net/21.11146/69
- Status:
- Ikkje oppgitt
- Direkte nedlasting:
- API:
- Ikkje oppgitt
- Dokumentasjon:
- Ikkje oppgitt
- Lisens:
- I samsvar med:
- Ikkje oppgitt
- Rettigheter for bruk:
- Ikkje oppgitt
API-ar som tilbyr dette datasettet0
Kontaktinformasjon
- Kontaktpunkt:
- Ikkje oppgitt
- Nettside:
- https://www.nb.no/sprakbanken/
- E-post:
- sprakbanken@nb.no
- Telefon:
- Ikkje oppgitt
Om dataane
- Språk:
- nordsamisk, , lulesamisk, , , sørsamisk
- Innhaldsleverandørar:
- Ikkje oppgitt
- Opphav:
- Ikkje oppgitt
- Oppdateringsfrekvens:
- Ikkje oppgitt
- Først utgjeve:
Denne datoen seier når dataa i dette datasettet først blei utgitt. Det kan ha skjedd før datasettet blei publisert på data.norge.no.
- 1. desember 2020
- Sist oppdatert:
- 30. april 2021
- Geografisk område:
- Ikkje oppgitt
- Tidsrom:
- Ikkje oppgitt
- I samsvar med:
Referanse til ei implementeringsregel eller anna spesifikasjon som ligg til grunn for datasettet.
- Ikkje oppgitt
- Kvalitetsmerknader:
- Ikkje oppgitt
Gjeldande lovgiving
Omgrep brukte i datasettet
Referansar
Gebyr
Om datasettet
- Utgjevar:
- Nasjonalbiblioteket
- Publisert:
Denne datoen viser når datasettet vart henta inn av data.norge.no. Det kan ha vore tilgjengeleg tidlegare andre stader.
- 2. mai 2022
- Sist oppdatert:
- 13. mars 2026
- Landingsside:
- Ikkje oppgitt
- Dokumentasjon:
- Ikkje oppgitt
- Datasettype:
- Ikkje oppgitt
- Metadatakvalitet:
Metadatakvalitet er ein indikator på kor godt datasettene er beskrive ved hjelp av metadata.
- God (59%)
- URI:
Tema
Nøkkelord
Diskusjonar på Datalandsbyen0
Kva er Datalandsbyen?
Datalandsbyen er vårt nettforum der du kan be om data, dele erfaringar og spørje om råd som gjeld deling av data og informasjonsforvalting.
Resource Description Framework (RDF)Alle URL-ar til ressursar på data.norge.no kan levere RDF-metadata i fleire ulike format, avhengig av kva for ein Accept-header som blir sendt med.
Alle URL-ar til ressursar på data.norge.no kan levere RDF-metadata i fleire ulike format, avhengig av kva for ein Accept-header som blir sendt med.