Anvendt mappe

Installering

For å starte må man aktivere venv-en. Dette gjøres på følgende måte:
1. Skriv en av disse i terminalen, dette kan variere fra pc og operativsystem:
- python3 -m venv venv
- python -m venv venv
1. Aktiver vevn, det gjøres på en av følgende måter: Mac/linux: source venv/bin/activate Windows: ./venv/Scripts/activate
2. Installere nødvendige biblioteker, med en av disse:
- pip3 install -r requirements.txt
- pip install -r requirements.txt
For å hente data er det kritisk med en API-KEY, i resources/README.md står det forklart hvordan denne kan lages, og lagres.
I samme README.md fil finnes informasjon om de ulike notebookene og deres funksjon.

Struktur

Her kommer oversikt over strukturen i prosjektet:

data denne mappen inneholder output data, skiller mellom json, figures og test data.
docs denne mappen inneholder dokumentasjon, blant annet refleksjonsnotat og KI-deklarasjon.
notebooks denne mappen inneholder alle notebookene med all funksjonalitet.
resources denne mappen inneholder informasjon om kildene våre.
src denne mappen inneholder alle python filene.
tests denne mappen inneholder alle unit-testene våre.

Det kan leses mer om disse i deres tilhørende README.md filer.

Vår visjon av oppgaven

Vår visjon, og ønske om sluttprodukt, er en værapplikasjon med mange muligheter som:

Velge ønsket sted, å få relevant værdata for akkurat nå.
Velge ønsket tidsperiode, på inntil 7-dager for det siste året, og sted for å få hisoriske værdata.
Velge ønsket tidsperiode, og 2 steder for å sammenligne værdata innenfor samme tidsperiode.
Velge ønsket sted, å få en prediktert temperatur ved input av andre værforhold.

Oppgave 1 - Sett opp utviklingsmiljø

I oppsettet av utviklingmsiljøet har vi fokusert på å innstallere relevante biblioteker, feks:

Numpy
Matplotlib
Pandas
Jupyper Notebook

Hvordan utviklingsmiljøet kan aktiveres står forklart under Installering.

Oppgave 2 - Datainnsamling

For å finne data, startet vi å lete på Kaggle, og fant et interessant datasett, men som ikke passet helt til prosjektets behov.

Da begynte vi å lete etter API-er, først på Metrologisk Institutt:

Airqualityforecast
- Vanskelig å kunne hente data fra ønsket sted, komplisert request med masse data.
Frost
- Vanskelig å kunne hente data fra ønsket sted, stasjonsbasert.
Locationforecast
- Enkel å finne data fra ønsket sted, men bare en forecast, så finner ikke historiske data.
Vaer og klima
- Mye historisk data, men hadde kun for regioner og ikke for steder slik vi ønsket.

Ettersom ingen av de fra MET funket etter vårt ønske, søkte vi videre på nettet, og kom over:

OpenWeatherMap API
- Denne inneholder forecast data, men det er også mulig å hente historiske data.
- Med en student profil, får vi gratis tilgang på masse data. Dermed vil vi kunne requeste historiske data fra API-en.
- Det finnes også flere ulike API-er, som vil hjelpe oss å oppnå vår visjon. Blant annet:
  - Current Data: for å hente ut data fra ønsket sted på nåværende tidspunkt.
  - History API: for å hente data fra ønsket sted og tidsperiode (inntil 7 dager).
  - Statistic Historical Data: for å hente statistisk historisk data som kan brukes til regresjon. Den tar utganspunkt i all historisk data og oppsummerer det for hver dag i året.

Henting av data

For å hente data fra OpenWeatherMap API-en har vi skrevet en funskjon som tar inn stedsnavn, startdato og sluttdato, den legger da ønskede verdier inn i url-en og henter data for ønsket sted og tidsperiode, sammen med API-key som er lagret i en env-fil og importert.

Funksjonen er lagt inn i Juputer notebook filen, som spør brukeren etter input. Når funksjonen er kjørt og vi får tilbake respons-koden '200', som betyr ok, vil det printes at dataen er hentet. Om koden ikke er '200' vil vi få en feilmelding, og koden printes.

Skriving av data til fil

Når dataen er hentet velger vi å skrive den over på en json-fil, som gjør det lettere å hente ut ønsket data senere.

Funksjonen tar inn data og ønsket filnavn, og sjekker om vi har mappen 'data', med en annen mappe json/output_{notebook}. Dersom vi ikke skulle ha de mappene, som er tilfellet da vi har lagt denne mappen i .gitignore for å unngå kopiering av individuelle test-data ol., vil funksjonen lage mappene og deretter skrive dataen til en json-fil med navnet data_{filnavn}.json.

Funksjonen returnerer en print setning når dataen er skrevet, og legger ved filepath.

Hente data fra fil

For å hente data fra json-fil, bruker vi pandas sin innebygde funksjon read_json, for deretter å lagra dataene i en pandas dataframe.

Oppgave 3 - Databehandling

Vi har hele tiden fokusert på å forstå dataen vi har, derfor har vi lagret den i en json fil for å lettere kunne lese ut hvilke verdier vi har, og hvilke vi kanskje ikke trenger. De kolonnene vi mener vi ikke trenger har vi da fjernet. Så har vi sjekket etter feil og mangler i dataen, både med "NaN" (Not a Number) verdier, manglende kolonner eller ekstremverdier.

Metoder for å identifisere og håndtere manglende data

Metoder vi har brukt er for eksempel pd.json_normalize, df.drop_duplicates og df.drop(columns = «name»). Ved json.normalize har vi fått konvertert dataene våre til en tabell, DataFrame, fordi det er lettere å manipulere. df.drop_duplicates bruker vi for å enkelt håndtere duplikatene i datasettet. Vi har også kolonner som inneholder informasjon som ikke er relevant til det vi ønsker å finne og da bruker vi df.drop(column= «name») og setter inn kolonnenavnet i parentes bak, eksempel: df = df.drop(columns = «base») eller df = df.drop(columns = «visability»). Denne metoden er nyttig for å rydde opp i datasettet og håndtere fjerning av kolonner som ikke er relevant, og dermed blir det mer oversiktlig og ryddig å jobbe med.

Vi har også brukt missingno.matrix for å visualisere hvilke kolonner som mangler data, før vi har brukt enten fillna(0) for å endre "NaN" verdier til 0, eller interpolate(method='linear', limit_direction='both') som "gjetter" en verdi basert på verdien før og etter, limit_direction='both' bidrar til at den ikke trenger verdier både foran og bak for å gjette, men baserer seg bare på den ene verdien den eventuelt måtte ha.

List comprehensions

I den ene koden til statistic_data_notebook.ipynb er et eksempel på hvor vi har brukt list comprehension for å manipulere data. Vi bruker den til å manipulere temperaturene til celsius og lagre det resultatet i en ny kolonne, temp.mean_celsius. Vi har gjort dette fordi den metoden er mer effektiv å bruke enn for eksempel en direkte for-løkke.

Dette er også brukt i statistic_data_notebook.ipynb for å lage en kolonne bestående av måned og dag.

Pandas SQL vs tradisjonell Pandas

Pandas-syntaks kan være noe kompleks og da kan man for eksempel med sqldf, bruke SQL-spørringer på Pandas DataFrames. Dette kan gi en enkel måte å filtrere, transformere og gruppere data på, på en mindre kompleks måte. SQL-spørringer kan også være enklere å lese og vedlikeholde enn Pandas-operasjoner, når man jobber med komplekse datasett.

Vi har brukt Pandas SQL spesielt i de ulike compare-notebookene, hvor det er lettere å hente ut data basert på de ulike stedene. Vi har også lagret SELECT-setningene i variabler, eks. for statistisk data som gjennomsnitt, max og min temperatur. Når vi senere plotter gjennomsnittene, kan vi bare hente ut de lagrede variablene tilhørende hvert sted.

Uregelmessigheter i dataene

Uregelmessigheter vi kan forvente å møte på er blant annet manglende verdier. For å håndtere disse kan vi bruke metoder som for eksempel fillna(0), som fyller manglende verdier med en verdien 0. Eller så kan vi bruke dropna(), som fjerner radene med manglende verdi. Vi kan også møte på ufullstendige datoer eller datoer i ukjent format. Da kan vi bruke pd.to_datetime() for å sikre at datoene blir riktig konvertert til datetime format.

Vi kan også møte ekstremverdier, som vi kan fjerne ved å sjekke om de er "uteliggere" ved å ligge mer enn tre standardavvik i fra gjennomsnittet. Da kan vi bruke .interpolate linear metoden for å få den mest "smoothe" overgangen mellom manglende verdier. Da den "gjetter" seg frem til manglende verdier.

Oppgave 4 - Dataanalyse

Numpy og Pandas til beregninger

For eksempel i notebook_statistic_data.ipynb har vi brukt Pandas til å beregne gjennomsnittstemperaturen for å få oversikt over den typiske temperaturen i den perioden. Så har vi temp.median også som gir den midterste verdien og er viktig for når det er skjevheter i dataene. For eksempel hvis det er dager med ekstremt høy eller ekstremt lav temperatur vil medianen hjelpe oss med å gi en mer riktig representativ temperatur. Disse statistiske målene hjelper med å få innsikt i datasettet. Gjennomsnittet gir en generell indikasjon på temperaturen, medianen beskytter mot ekstreme verdier, og standardavviket forteller oss om variasjonen i dataene.

Kan du gi et eksempel på hvordan du vil implementere en enkel statistisk analyse for å undersøke sammenhengen mellom to variabler i datasettet?

Et eksempel på hvordan vi har implementert en enkel statistisk analyse for å undersøke sammenhengen mellom to variabler i datasettet er blant annet scatterdiagram. Vi har en linje som viser gjennomsnittstemperaturen og punkter som viser den faktiske temperaturene den dagen. Dette viser godt sammenheng og visualiserer sammenhengen mellom de to variablene på en oversiktelig måte. Scatterdiagramet gir innsikt i detaljene bak linjen til gjennomsnittet.

Vi har også lagd korrelasjonsmatriser ved hjelp av seaborn heatmaps. Den viser korrelasjonen koeffisienten mellom to variabler, altså sammenhengen, mellom de ulike variablene.

Sammenhengene kan tolkes slik:

+1 - sterk positiv sammenheng.
0 - ingen sammenheng.
-1 - sterk negativ sammengen

For å lese sammenhengen, kan man i korrelasjonsmatrisen, finne en variabel vertikalt og en variabel horisontalt. I ruten som treffer begge disse variablene, finner vi korrelasjons koeffisienten. Som da indikerer sammenhengen.

Håndtering av skjevheter

Vi har møtt på noen skjevheter som for eksempel at temperaturen har vært urealistisk i perioder, for å rydde opp i dette har vi sjekket uteliggere, altså sjekket om verdiene ligger mer enn 3 standardavvik fra gjennomsnittet. Om en verdi ligger mer enn 3 standardavvik over eller under gjennomsnittet, har vi brukt interpolate(method='linear', limit_direction='both'), som "gjetter" verdien basert på veriden før og etter.

Visualiseringer av funnene våre

I dette prosjektet har vi valgt å bruke ulike typer diagrammer for å visualisere værdata, spesielt temperatur og nedbør. Notebooksene våre inneholder ulike egenskaper, blant annet værdata for ulike tidsperioder. Vi har time for time av en valgt dag og sted, periode over flere dager (dager og sted blir valgt av bruker) og for et år (her velger bruker kun sted). Målet har vært å gjøre dataene forståelige og lett sammenlignbare for brukeren, samtidig som det gir en nøyaktig og tydelig fremstilling.

Ettersom temperatur er en kontinuerlig variabel som endrer seg gradvis over tid har vi valgt å bruke linjediagram for å visualisere temperaturdataen. Vi gikk for dette type diagrammet for temperatur fordi det viser utviklingen på en jevn og oversiktelig måte og gjør det lett å følge temperaturens stigning og fall. I tillegg, spesielt på diagrammet for et års periode, kan det gi brukeren en god forståelse av trender og sesongvariasjoner da x-aksen vår er månedene i året. Linjediagrammet gjør det også lettere enn for eksempel søylediagram, å lese mønstre og identifisere tidsperioder med veldig høy eller lav temperatur.

Søylediagram derimot følte vi var det beste alternative for visualisering av nedbør av snø og regn. Siden nedbør måles i mengde per tidsenhet (millimeter) gjør søylediagrammet det lett å sammenligne hvor mye nedbør som har falt i ulike perioder. Vi har også ulike farger på snø og regn for å enkelt kunne skille de. Søylediagrammet gjør det også lett å identifisere perioder med mye nedbør eller ingen nedbør basert på om søylen er høy eller lav/ikke eksisterende.

Scatterplot er et annet diagram vi har brukt. Dette mente vi var best egnet blant annet til når vi skulle visualisere temperaturverdiene for en dag opp mot gjennomsnittstemperaturen den dagen. Den gir en tydelig og enkel oversikt med punkter for temperaturen per time for en dag og bruker kan lett lese av diagrammet om punktene er over eller under gjennomsnittsstreken. Diagrammet gir en tydelig fremstilling av variasjonen i temperaturen i løpet av dagen og hvordan enkelttimer skiller seg fra resten og gjennomsnittet. Scatterplot egner seg godt her fordi det viser detaljene i hver enkelt måling, samtidig som det gir rom for å indikere trender på en presis måte uten å koble punktene sammen.

Vi har også lagt til en notebook med interaktive visualiseringer. Denne notebooken har nokså lik kode som notebook_one_day_data, men på den er det ikke interaktivt, noe som notebook_interactive_data tilbyr. Dette for at brukeren selv kan få bestemme visualiseringen de selv synes er best og kan få endre litt på effekter som for eksempel farge, scatterplotsstørrelse, om rutenett og gjennomsnitt er med eller ikke.

I tillegg bruker vi Seaborn heatmaps for å lage en korrelasjonsmatrise, og indikere sammenhengene mellom ulike variabler. Her har vi valgt en fargepalett som fungerer slik:

+1 - Sterk positiv sammenheng. Rød farge.
0 - Ingen sammenheng. Hvit farge.
-0 - Sterk negativ sammenheng. Blå farge.

Oppgave 5 - Visualisering

Hvilke spesifikke typer visualiseringer planlegger du å lage for å representere eksempelvis endringer i luftkvalitet og temperaturdata, og hvorfor valgte du disse?

Vi har laget visualiseringer for temperatur og andre værforhold både for dagens dato, alle timene i en dag og sted brukeren selv velger, en kort periode og sted som brukeren selv velger og årlig for et sted brukeren selv velger. Det årlige dataene er basert på alle tidligere år sammenlagt. Vi valgte akkurat disse fordi det gir brukeren flere muligheter å sjekke ulike perioder og steder. Vi valgte nedbør, vind og temperatur fordi det er de værforholdene vi mener er mest interessante å vite. I notebook_current_data.ipynb som viser data fra dagen i dag har vi ikke tatt en graf, men heller en kolonne med informasjon. Her har vi i tillegg til værdataene lagt til solnedgang og soloppgang fordi vi tenker at det kan være noe brukeren synes er relevant når spør om dagens data.

Hvordan kan Matplotlib brukes til å forbedre forståelsen av de analyserte dataene?

Vi har blant annet brukt matplotlib.dates as mdates og matplotlib.pyplot as plt for å få et mer oversiktelig diagram av de analyserte dataene. Funksjoner vi har brukt er for eksempel plt.gca for å formatere aksene sin datetime til månedlig. Denne har vært fin å bruke til oversiktelig tilpassing av aksene. Vi har også flere steder brukt plt.title, plt.grid() og plt.legend for å få mer forklaringer og oversiktelighet på diagrammene våre og for å få de til å se like ut slik at det er enkelt for brukeren å sette seg inn i grafene uansett hvilken notebook. Andre eksempler på matplotlib vi har brukt er plt.savefig for å lagre til en fil som PNG, slik man enkelt kan finne tilbake til det.

Hvordan vil du håndtere og visualisere manglende data i grafene dine for å sikre at de fortsatt er informative?

Da vil vi at den manglende dataen blir byttet ut med data som er hentet fra tidspunktene rundt slik den manglende dataen får en verdi som passer med de andre. Vi har også for eksempel laget søylediagram som viser manglende data for feks. snø og regn ettersom det ikke alltid snør og regner også videre laget et nytt diagram hvor de manglende dataene for snø og regn er byttet med 0.

Kan du beskrive prosessen for å lage interaktive visualiseringer med Widgets, Plotly eller Bokeh, og hvilke fordeler dette kan gi i forhold til statiske visualiseringer?

Man må ha et datasett klart, for eksempel et DataFrame i Python. Deretter velge en type graf, her kan man gjerne bruke plotly som støtter mange ulike visualiseringer som for eksempel linjediagram eller stolpediagram. Videre bestemmer man x og y aksen. Dersom man bruker plotly vil det gi noen automatiske funksjoner som blant annet zooming og hover-effekten. Widgets er interaktive kontroller som dropdown-menyer, sliders og tekstfelt. Når du kombinerer disse med visualiseringene (f.eks. i Jupyter Notebooks), kan du lage dashbord hvor brukeren selv styrer hvilke data som vises, uten å måtte endre koden. Bokeh funker på samme måte som plotly men er mer rettet mot web-applikasjoner og er litt mer teknisk å sette opp enn plotly. I forhold til statistiske visualiseringer vil disse visualiseringene ha mer effekter som for eksempel zooming, dynamiske menyer (dropdowns, sliders) og enkelt å dele i web (HTML eksport).

Hvordan vil du evaluere effektiviteten av visualiseringene dine i å formidle de viktigste funnene fra dataanalysen til et bredere publikum?

Vi mener effektiviteten i visualiseringene våre er svært god fordi grafene og søylediagramene er lett lesbare og vi har kodet ut kolonner vi ikke mener har data med viktig informasjon. Grafene har også fargekoder og kombinasjoner for de ulike værforholdene noe som gir en god visuell oversikt.

Oppgave 6 - Prediktiv analyse

Lag minst tre forskjellige typer visualiseringer (f.eks. linjediagrammer, søylediagrammer og scatterplots) for å representere endringer i eksempelvis luftkvalitet og temperaturdata over tid. Forklar valget av visualiseringstype for hver graf.

Vi har laget linjediagrammer, søylediagrammer, scatterplots og heatmaps. Alle fire typer kan man finne i notebook_one_day_data.ipynb, i notebook_one_week.ipynb kan man finne søylediagram og linjediagram. I notebook_statistic_data.ipynb kan man finne linjediagram og søylediagram.

Linjediagram ble brukt i de fleste notebooks fordi det passer godt til å vise utvikling over tid, spesielt for temperaturen. Søylediagram ble brukt fordi det gjør det enkelt å visuelt se hvor mye feks. regn eller snø det var i den perioden. Scatterplots ble brukt for å visuelt vise hvor mye temperaturen hver time er over eller under gjennomsnittet for dagens temperatur.

Heatmaps blir brukt for å lage en korrelasjonsmatrise. Det gjør det enkelt å se sammenheng og styrken i det ulike rutene. Ved at vi har valgt en fargepalett som også gir mening, der rød er positiv, blå er negativ og hvit er null.

Implementer visualiseringer ved hjelp av Matplotlib og Seaborn. Inkluder tilpassede akser, titler, og fargepaletter for å forbedre lesbarheten og estetikk.

Vi har stort sett brukt matplotlib i alle notebook-ene. Vi har også brukt Seaborn til heatmaps for å lage en korrelasjonsmatrise.

Demonstrer hvordan manglende data håndteres i visualiseringene. Lag en graf som viser hvordan manglende verdier påvirker datatrender, og diskuter hvordan dette kan påvirke tolkningen av dataene.

Visualiseringen finner man i notebook-ene. Vi har identifisert manglende data og fylt 'NaN' med 0 der det er nødvendig og gitt en ny visualisering der dette er fylt inn. Manglende verdier kan påvirke datatrender og tolkning blant annet ved at dersom dataen interpoleres automatisk kan man tolke trender som ikke finnes. Eller så kan manglende verdier føre til at viktige mønstre blir skjult. Det kan også hende at dette da fører til at en analytiker har en modell eller beslutning basert på trender som ikke har virkelig data.

Skriv en kort evaluering av de utviklede visualiseringene. Diskuter hvilke visualiseringer som var mest effektive for å formidle informasjon, og hvorfor. Reflekter over tilbakemeldinger fra medstudenter eller veileder.

Linjegrafene viste seg å være de mest effektive når det gjaldt å formidle utvikling over tid, spesielt for å identifisere trender og mønstre i dataene. Kombinasjonen av tydelige akser, fargebruk og merking av nøkkelpunkter gjorde det enkelt å tolke informasjonen raskt. I tillegg fungerte kombinasjonsgrafene (linjediagram og stolpediagram) godt for å sammenligne flere dataserier parallelt, som f.eks. temperatur og nedbør. Korrelasjonsmatrisene er også en effektiv visualisering for å vise sammenhengen mellom de ulike variablene. Det er lettere å forstå fargene, enn å bare skulle lese tallene.

torave/anvendt_mappe

About

Resources

Stars

Watchers

Forks

Releases 4

Packages 0

Contributors 2

Languages

Packages