task: Importscript og seed-script

[lindeav]

Hent data fra Kassalapp én gang og lagre dem i vår egen database.

Oppgaver

• scripts/import.ts: hent kategoritreet fra /categories
• Bla gjennom /products med 100 per side og en pause på over ett sekund mellom kallene (håndter HTTP 429 med retry)
• Grupper på EAN: én rad i products, én rad per kjede i prices
• Hopp over produkter uten EAN, og samle produkter uten kategori under «Ukategorisert»
• Lagre rådata til en JSON-dump som gruppa deler
• scripts/seed.ts: fyll databasen fra JSON-dumpen, så man ikke trenger egen API-nøkkel
• Skriv ut statistikk når scriptet er ferdig (antall produkter, antall uten kategori)

Ferdig når

• Databasen inneholder minst 20 000 produkter
• En på gruppa har seedet sin lokale database fra dumpen uten API-nøkkel

[annisaam]

Har gjennomgått databaseskjema, databasekobling og eksisterende Kassalapp-utforsking.
Lokal .env er opprettet. Videre testing av importen avventer tilgang til gruppens KASSALAPP_API_KEY.

[annisaam]

Jeg har opprettet en lokal API-nøkkel og testet eksisterende explore-kassalapp.ts mot Kassalapp-API-et.

Kall mot blant annet /categories, /labels, /products og /products/ean/{ean} returnerer status 200.

I et utvalg på 500 produkter manglet 23 EAN (4,6 %) og 59 kategori (11,8 %). Testen bekreftet også at samme EAN forekommer hos flere butikkjeder med forskjellige priser.
Dette samsvarer med databaseskjemaet, hvor produktet lagres én gang i products og pris per butikk lagres i prices.

Neste steg er å implementere import-scriptet som henter produktdata sidevis, håndterer rate limit/429 og lager JSON-dumpen som seed-scriptet skal bruke.

[annisaam]

Import- og seed-flyten er nå implementert og testet lokalt.

import.ts henter kategorier og produkter fra Kassalapp, håndterer paginering/rate limit, hopper over produkter uten EAN, grupperer samme EAN på tvers av butikker og bruker «Ukategorisert» som fallback for produkter uten kategori. Dataene lagres i en JSON-dump som kan brukes uten Kassalapp API-nøkkel.

seed.ts leser dumpen og fyller categories, products og prices i PostgreSQL. Seedingen kjøres i en transaksjon med rollback ved feil og kan kjøres flere ganger uten å opprette duplikater.

Testet lokalt med testdump:

• 63 kategorier
• 199 unike produkter
• 297 prisoppføringer
• npm run seed fullfører uten feil
• npm run build fullfører uten TypeScript-feil
• innholdet er kontrollert direkte i PostgreSQL med SELECT COUNT(*)

Full import for å nå kravet om minst 20 000 produkter gjenstår, siden denne tar betydelig lengre tid på grunn av API-ets rate limit.

[annisaam]

Fullimporten er nå kjørt og seedet lokalt.

Resultat:

• 1 299 kategorier
• 46 853 unike produkter
• 67 132 prisoppføringer
  Dette er verifisert direkte i PostgreSQL med SELECT COUNT(*), og kravet om minst 20 000 produkter er dermed oppfylt.

Full JSON-dump er ca. 200 MB, så den er foreløpig ikke lagt til i Git. PR #20 inneholder fortsatt testdumpen og implementasjonen av import-/seed-flyten.