Formulere spørsmål og skrive prosjektplan
Publisert
Det er viktig innledningsvis å avklare hvilke(t) spørsmål som vi skal besvare. Vi drøfter både avgrensning av tema(er) og formulering av spørsmål med intern og eventuelt ekstern arbeidsgruppe.
Om denne fasen
| Inntil denne fasen | Oppdrag/mandat. |
| Beskrivelse | Formulere oppdraget i form av presise spørsmål som forskning potensielt kan svare på. Etablere seleksjonskriterier. |
| Hvorfor denne fasen? | Det er nesten alltid hensiktsmessig å gå noen runder med oppdragsgiver for at begge parter skal bli fornøyde med presiseringen av et oppdrag. Vi trenger også for vår egen del å bli tydelige på hva det er vi skal gjøre. For å utføre en kunnskapsoppsummering av høy metodisk kvalitet er det nødvendig å bestrebe seg på å unngå systematiske skjevheter i alle deler av utarbeidingen. En godt spesifisert prosjektplan er en forutsetning for å oppfylle vårt eget ideal om å være metodisk grundige, systematiske og transparente i vårt arbeid. |
| Ansvar | Prosjektleder. Bibliotekar bør delta, og helseøkonom når økonomisk evaluering er aktuelt. |
| Oppgaver | Spørsmålene som stilles skal være presise og oppdragsgiver skal oppfatte den som en dekkende presisering av det opprinnelige forslaget. Prosjektplanen skal dekke alle faser i arbeidet. Avhengig av type kunnskapsoppsummering sendes prosjektplanen til intern og ekstern fagfellevurdering. |
| Verktøy | Denne metodeboka, Cochrane handbook. |
| Leveranse | Tydelig spesifisert oppdrag. Prosjektplan (protokoll). Beslutning om hvorvidt helseøkonom skal delta videre i prosessen. |
Formulere spørsmål
Det er viktig innledningsvis å avklare hvilke(t) spørsmål som vi skal besvare. Vi drøfter både avgrensning av tema(er) og formulering av spørsmål med intern og eventuelt ekstern arbeidsgruppe. Bestiller eller oppdragsgiver bør alltid få mulighet til å respondere på våre forslag til presisering og eventuelt omformulering av det opprinnelige forskningsspørsmålet. Det er viktig med tett samarbeid med bestiller/oppdragsgiver i startfasen for å få en felles forståelse av hva prosjektet skal gi svar på, og hva svarene i kunnskapsoppsummeringen skal brukes til. I denne fasen hvor man strukturerer og presiserer spørsmål er det viktig å involvere bibliotekaren slik at litteratursøkingen blir mer effektiv.
Vi ønsker å være tydelige på hvilke deler av et tema vi tar for oss og hva vi ikke undersøker, f.eks. at en kunnskapsoppsummering handler om diagnostikk, forebygging og behandling, men ikke om årsaksforhold eller organisering av tjenester. I et annet tilfelle kan nettopp spørsmålet være hva den beste måten å organisere en tjeneste på er, mens vi lar spørsmål om effekt av ulike former for behandling ligge.
PICO
For å skape klarhet i hvilket spørsmål vi skal besvare slik at vi kan utvikle en søkestrategi og velge ut relevante studier, er det viktig å strukturere, eller dele opp, spørsmålet. En vanlig måte å klargjøre et forskningsspørsmål som omhandler effekten av tiltak er å formulere spørsmålet i en såkalt PICO. Akronymet PICO står for Population-Intervention-Comparison-Outcome, og er:
- Populasjon / problem (Hvilke personer handler det om? Hva er problemet?)
- Intervensjon/tiltak eller eksponering (Hvilke tiltak handler det om? Hva blir de utsatt eller eksponert for?)
- Comparison (Hvilken sammenligning handler det om? Hva sammenligner vi intervensjonen/tiltaket med?)
- Outcome/endepunkter (Hvilke utfall er av interesse? Hvilke virkninger er det man ønsker kunnskap om? (Omfatter også negative virkninger, dvs. uønskede hendelser, bivirkninger)
- Se Helsebibliotekets opplæringsvideo om PICO.
Vi kan bruke varianter av PICO også for andre typer spørsmål enn spørsmål om effekt av tiltak.
For å definere PICO kan det hjelpe å fylle ut en tabell som vist under. Her står P for populasjon (population), I for tiltak (intervention), C for sammenlikning (comparison) og O for utfall/endepunkt (outcome).
| Spørsmål om EFFEKT | Hvem (P) | Tiltak (I) | Alternativt tiltak (C) | Utfall (O) |
| Overvektige barn | Trening | Råd om kosthold | Vektutvikling |
| Spørsmål om EFFEKT | Hvem (P) | Tiltak (I) | Alternativt tiltak (C) | Utfall (O) |
| Pasienter med førstegangsinfarkt | Perkutan koronar intervensjon (PCI) | Trombolyse | Kostnads-effektivitet |
| Spørsmål om DIAGNOSE |
Hvem (P) |
Diagnostisk test (I) |
Referansetest (C) |
Utfall (O) |
|
Pasienter med mistenkt nyrestein |
CT med kontrast |
Urografi |
Testens nøyaktighet |
| Spørsmål om PROGNOSE |
Hvem (P) |
Risikofaktor (I) |
Sammenlikning (C) |
Utfall (O) |
|
Barn i skolealder |
Født for tidlig |
Født ved termin |
Lærevansker |
|
Spørsmål om OPPLEVELSE |
Hvem / Perspektiv (P) |
Interesse (I) |
Kontekst (K) |
|
Barn og ungdom som bor i institusjon |
Kontinuitetsfremmende tiltak |
Vestlige land |
Å strukturere spørsmålene på denne måten tydeliggjør hva kunnskapsoppsummeringen faktisk skal handle om, og det tvinger oss vekk fra overordnede og vage temabeskrivelser til konkrete og mer presise spørsmål. Før vi kan utforme en søkestrategi, må vi imidlertid gjøre begrepene tydeligere. F.eks. må vi gi begrepene «født for tidlig» og «overvektige barn» en form som vi kan behandle vitenskapelig (operasjonalisere) før vi kan bruke uttrykkene til å søke etter litteratur. Det er viktig med et tett samarbeid med bibliotekaren i denne tidlige fasen når vi diskuterer og operasjonaliserer spørsmålet fordi vokabularet er viktig i søket.
I denne fasen er det også viktig å tydeliggjøre hvilke sammenlikninger vi skal gjøre. F.eks. bør vi presisere om trening bare skal sammenliknes med råd om kosthold eller om vi også skal sammenlikne trening med ingen tiltak, eventuelt kombinasjonen av trening og kostholdsråd versus ingen tiltak. Vi må også beskrive hvilke utfall vi er mest opptatt av. En slik sortering medfører at én og samme studie kan bidra i flere sammenlikninger i den endelige oversikten.
Spørsmålet avgjør hva slags forskning vi leter etter
Vi skiller mellom ulike typer spørsmål. Vi kaller dem gjerne kjernespørsmål (1-5). Hvilke former for forskningsbasert kunnskap eller framgangsmåter i forskningen, også kalt studiedesign, som gir gyldig kunnskap om et fenomen, avhenger av spørsmålet. Hvis spørsmålet handler om effekt av forebygging, er det foretrukne design et annet enn om vi er opptatt av hvor nøyaktig en ny diagnostisk metode er eller hvordan brukere opplever et spesielt tiltak. Tabell 1 viser hva som er foretrukket design for de ulike kjernespørsmålene.
|
Kjernespørsmål |
Mest velegnet design |
|
Hvor mange har en sykdom eller et problem? (spørsmål om forekomst) |
Tverrsnittsstudie
|
|
Hvorfor blir noen syke, mens andre holder seg friske? (spørsmål om årsak) |
Kohortstudie eller |
|
Hvordan avgjøre om en person er syk eller har et bestemt problem? (spørsmål om diagnostikk) |
Tverrsnittsstudie (med en referansestandard) |
|
Hva er positive og negative effekter av forebygging, behandling, organisering av tjenester eller andre tiltak? (spørsmål om effekt) |
Randomisert studie |
|
Hvordan vil det sannsynligvis gå med en pasient med en bestemt lidelse? (spørsmål om prognose) |
Kohortstudie
|
|
Hvordan oppleves det å ha dette problemet / være i denne situasjonen? (spørsmål om erfaringer, opplevelser) |
Kvalitativ studie |
Systematisk innhentet erfaring versus usystematisk praksiserfaring
Av og til trenger man ikke forskning for å komme til klarhet i hvordan ting henger sammen. Det gjelder særlig når tiltaket har umiddelbar og dramatisk effekt i en situasjon der det tidligere viste seg alltid å gå på en bestemt måte. Et enkelt eksempel er tilførsel av insulin ved altfor høyt sukkerinnhold i blodet. Da er forskning overflødig; det er nok å lære av den umiddelbare erfaringen. Gang på gang i vitenskapshistorien har det imidlertid vist seg at faren for å ta feil når man forsøker å avgjøre om «noe» har ført til «noe annet», generelt er stor. Systematisk innhentet erfaring (dvs. forskning) er derfor som regel bedre enn usystematisk praksiserfaring for å bedømme sammenhenger, og forskning der andre forskjeller (enn at noen mottok et tiltak) er jevnet ut, er bedre enn forskning der sammenlikningsgrunnlaget er svakere.
Samlet sett er det grunn til å utvise ydmykhet når vi forsøker å forstå hva som «er i verden», for det er lett å ta feil. Forskning og ulike forskningsdesign, inkludert det å lage systematiske oversikter, er forsøk på sette denne ydmykheten i system og minske faren for at man tar feil.
Endelig er det grunn til å understreke at innsikt i et bestemt felt, f.eks. gjennom lang praksiserfaring, er viktig for å tolke forskningsresultater. Det kan f.eks. hende at forskningen er gjennomført på så atypiske pasienter at man egentlig ikke har lært noe om situasjoner som oppstår i «det virkelige liv». I tillegg til å bedømme forskningens gyldighet er det altså viktig også å bedømme læringsverdien eller overførbarheten.
Effekt av tiltak
Det kan oppstå misforståelser om synet på hva som er pålitelig empiri når det gjelder effekten av tiltak. I prinsippet er det opplagt slik at all erfaring med virkemiddelet (fra den første pasient, klient eller bruker som mottar tiltaket) er noe man kan lære av. Prøver man tiltaket på flere, lærer man mer. Man sammenlikner f.eks. med «hvordan det gikk med liknende pasienter før». Har forskeren en parallell gruppe som får et annet tiltak, lærer man enda mer. Eller mer presist: Man prøver på ulike måter å beskytte seg stadig bedre mot å ta feil når man fastslår at det er en årsakssammenheng mellom bestemte tiltak og bestemte virkninger. Ofte er det så mye annet som kan ha skapt virkningen, at det er behov for å gjøre forskningen på måter som best sikrer at man trekker slutninger på basis av «rettferdige sammenlikninger». Det å fordele personer tilfeldig til å få et tiltak mens andre ikke får det, er en rask og effektiv måte å lage en rettferdig sammenlikning på. Ulike kjennetegn ved personene (kjente og ukjente faktorer som kan virke inn på utfallet) vil da være likt fordelt i de to gruppene, og det er mulig i ettertid å trekke slutninger om at det faktisk var tiltaket som ga en eventuell effekt.
Ikke-randomiserte studier
Vi følger anbefalingene for valg av studiedesign i Tabell 3 når vi oppsummerer forskning. Disse anbefalingene må imidlertid brukes med skjønn. F.eks. er det for årsaksspørsmål også slik at en randomisert studie ofte kunne ha gitt mer pålitelige sammenlikninger (f.eks. mellom røykere og ikke-røykere med hensyn til kreftutvikling). Men et eksperimentelt design er ofte uetisk når det man undersøker er sammenhengen mellom en mistenkt påvirkbar risikofaktor og utvikling av sykdom. Også når det gjelder spørsmål om effekt av tiltak, kan det være uetisk eller praktisk vanskelig å gjennomføre forsøk. Da er det aktuelt å bruke andre design i forskningen og i de studiene vi inkluderer i oppsummering av forskning. Andre design enn dem som er nevnt over kan også være aktuelle, som f.eks. avbrutt tidsserieanalyse, kontrollert før-og-etter studie og såkalt regression discontinuity design. Det finnes flere slike ikke-randomiserte design (6).
Kvalitativ forskning
Kvalitativ forskning har en viktig plass i helsefaglig og samfunnsvitenskapelig forskning. Det gjelder når målet er å skape innsikt i et fenomen der det ikke finnes noen «sannhet»; f.eks. hvordan foreldre opplever å miste et nyfødt barn. Og det gjelder når man forsøker å forklare «hvorfor det gikk som det gikk» i andre typer forskning; f.eks. når man lurer på hvorfor et tiltak viste seg ikke å ha effekt. Kvalitative og kvantitative design kan derfor ofte supplere hverandre. Et eksempel kan være når man bruker dybdeintervjuer for å karakterisere noen former for reaksjoner på å miste et barn, spørreundersøkelser for å finne ut om disse reaksjonene er utbredte, fokusgrupper for å komme på sporet av mulige virkemidler som kan gjøre det lettere for foreldrene å mestre sorgen, kontrollerte forsøk for å vurdere effekten av f.eks. sorggrupper og igjen kvalitative design for å forsøke å forstå hvorfor slike tiltak har eller ikke har effekt (eller hvorfor de virker for noen og ikke for andre).
Inklusjons- og eksklusjonskriterier
I utvelging av studier er det viktig å unngå systematiske. Derfor er det viktig at avgjørelsene om inklusjon og eksklusjon er basert på forhåndsbestemte kriterier som er spesifisert i prosjektplanen.
Inklusjons- og eksklusjonskriterier skal logisk følge av spørsmålet oversikten skal besvare. Vi definerer dem ved å være tydelige på hvilke personer, intervensjoner (tiltak), sammenlikninger, utfall og studiedesign vi ønsker å dekke i oversikten (og hvilke vi ikke er interesserte i).
Det er ofte diskusjon om hvor brede eller smale disse kriteriene skal være. Tar vi med få studier, reduseres ofte nytten av oppsummeringen. Tar vi med mange ulike typer studier, får vi ofte med informasjon det er vanskelig å sammenlikne og oppsummere.
Studiedesign er et kriterium fordi vi ønsker å basere oppsummeringen på «den beste tilgjengelige kunnskapen». Når vi arbeider på et område der det ikke foreligger mange godt utførte studier med adekvat design som har undersøkt spørsmålet, må vi avveie fordeler og ulemper ved å ta med studiedesign der vi vet at faren for feilslutninger er større.
|
Spørsmålet: |
||
|
|
Inklusjonskriterier |
Eksklusjonskriterier |
|
Populasjon |
Pasienter som hofteopereres (primært eller ved reoperasjon) |
Andre operasjoner |
|
Intervensjoner |
Antibiotikaprofylakse |
Annen antibiotikabruk enn profylakse |
|
Sammenlikning |
Placebo eller ingen profylakse |
|
|
Utfall |
Infeksjon i operasjonssåret bekreftet med adekvate mikrobiologiske teknikker |
Infeksjon som ikke er bekreftet |
|
Studiedesign |
Randomiserte studier |
Ikke-randomiserte studier |
Restriksjoner på grunnlag av språk, publiseringsår, kontekst og publikasjonstype
Å begrense inklusjon av studier på grunn av språket publikasjonen er skrevet på, kan introdusere systematiske skjevheter. Det er imidlertid ofte begrenset kapasitet og kompetanse til å oversette artikler, rapporter osv. Flere søkekilder / databaser indekserer artikler på andre språk med engelsk sammendrag. Oversettelsesprogrammene på nettet, slik som Google translate, kan hjelpe til med å vurdere relevans for ikke-engelske sammendrag ved behov.
Tilsvarende kan det noen ganger være aktuelt å avgrense søket eller inklusjon av studier på grunnlag av land eller konteksten som studiene er utført i, dersom vi vurderer at studier som er utført i sammenhenger som ikke er aktuelle for oss, ikke vil gi relevant kunnskap. Vi kan også avgrense søk på publikasjonsår dersom kun studier publisert etter en bestemt dato er relevante.
Eksisterende og pågående kunnskapsoppsummeringer
Systematiske oversikter om effekt av tiltak identifiserer, vurderer og oppsummerer resultater fra store mengder forskning. Dette er arbeidskrevende prosesser som pågår verden over. Flere av våre søsterinstitusjoner i andre land og internasjonale nettverk som Cochrane, INAHTA (International Network of Agencies for Health Technology Assessment) og Campbell Collaboration arbeider kontinuerlig for å skape oversikt over eksisterende og ny kunnskap. Vi har bidratt aktivt i disse nettverkene. Det er viktig å unngå dobbeltarbeid, og derfor undersøker vi om det finnes gode systematiske oversikter før vi går i gang med en ny. Dersom det fins gode oversikter som trenger oppdatering, er det fornuftig å bygge videre på arbeid andre har gjort, i stedet for å starte prosessen fra grunnen av.
Scopingsøk
I starten av et prosjekt søker vi etter eventuelle systematiske oversikter på området (scopingsøk). Det kan også være aktuelt å gjøre testsøk for å bedømme sannsynlig volum av primærstudier. Det er også nyttig å søke etter protokoller for pågående systematiske oversikter og metodevurderinger for å unngå dobbeltarbeid. Innledende søk, eller scopingsøk, vil gi innsikt og erfaring som er nyttig for å utvikle en søkestrategi.
Hva slags kunnskapsoppsummering skal vi utarbeide?
I Folkehelseinstituttet lager vi flere typer kunnskapsoppsummeringer. Av og til er formatet gitt, som når oppdragsgiver trenger en kunnskapsoppsummering i løpet av få uker. For øvrig påvirkes formatet av hva som finnes av oppsummert kunnskap fra før og hva kunnskapsoppsummeringen skal brukes til. Dersom andre nylig har laget kunnskapsoppsummeringer på et bestemt område for spørsmål vi er opptatt av å utrede, bygger vi på dem eller formidler dem. Dersom det ikke finnes systematiske oversikter for det aktuelle spørsmålet er det aktuelt for oss å igangsette og registrere en systematisk oversikt eller metodevurdering i de internasjonale nettverkene. Vi avgjør i dialog med bestiller/oppdragsgiver hvilken type kunnskapsoppsummering vi skal utarbeide.
Prosjektplan
Etter at problemstillingen er godt utredet og formulert lager vi en prosjektplan. En prosjektplan beskriver hva oppsummeringen skal omhandle og hvordan vi skal utarbeide den. Planen beskriver relevant bakgrunnsinformasjon, spørsmålet (eventuelt spørsmålene) som vi skal utrede og framgangsmåten (metoden) for oppsummeringen, samt de viktigste aktivitetene og ressursene som kreves for omfanget som prosjektet har, og planen angir en tidslinje for prosjektet. Prosjektplanen utvikles i dialog med bestiller/oppdragsgiver slik at både forskerne og oppdragsgiverne blir fornøyde med presiseringen av oppdraget. Planen blir brukt av prosjektleder for å planlegge og måle fremdriften av prosjektet. Hva slags prosjektplan som lages, avhenger av hva slags type oversikt som planlegges. Omfanget av problemstillingen og tidsrammen til rådighet er avgjørende faktorer for hvordan arbeidet legges opp, i tillegg til hva som eventuelt allerede finnes av oppsummert forskning for den aktuelle problemstillingen. Når vi benytter en ekstern utredningsgruppe, er gruppa medansvarlig for utformingen av prosjektplanen.
Prosjektplanmaler
For å få en felles form på prosjektplanene våre, har vi utarbeidet egne maler for de ulike produkttypene:
- Prosjektplanmal Systematisk oversikt
- Prosjektplanmal Karleggingsoversikt
- Prosjektplanmal Forskningskart
Malene sørger for et visuelt enhetlig uttrykk i bruk av fonter, overskrifter og avsnitt som gjør det tydelig at dette er en publikasjon fra Folkehelseinstituttet. Malene inneholder overskrifter, standardformuleringer og formateringer. Disse skal brukes så langt det passer, og vi bør unngå å lage egne varianter. Vi oppdaterer malene fortløpende. Det er derfor viktig å laste ned riktig mal for hver ny prosjektplan som vi skal utarbeide, i stedet for å lagre en kopi av malen og gjenbruke den.
Standarder for prosjektplaner
Vi har også utarbeidet standarder for prosjektplanene våre:
- Standard for prosjektplan systematisk oversikt
- Standard for prosjektplan forskningskartlegging
- Standard for prosjektplan forskningskart
Standardene er tilpasset produkttype og er basert på internasjonale standarder som PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) (8), Cochrane Handbook (8), MECIR (Methodological Expectations of Cochrane Intervention Reviews) (9) og Campbell Collaborations retningslinjer for utarbeidelse av forskningskart (10).
Lagleders administrative håndbok
Lagleders administrative håndbok inneholder retningslinjer for teknisk og praktisk gjennomføring av kunnskapsoppsummeringsprosjekter (f.eks. hvor og hvordan prosjektplaner skal registreres).
-
Bakgrunn
-
Spørsmål oversikten skal besvare
-
Søkestrategi; søkeord, ressurser det skal søkes i og angitt tidsrom
-
Inklusjonskriterier for studier (eventuelt oversikter)
-
Hvordan vurdere risiko for systematiske skjevheter i studiene
-
Hvordan data skal trekkes ut og hvilke data som skal trekkes ut
-
Hvordan informasjonen skal oppsummeres (inklusive analyseplan)
-
Tidsplanlegging
Godkjenne og publisere prosjektplan
Alle prosjektplaner gjennomgår fagfellevurdering. Hvem og hvor mange fagfeller som vurderer prosjektplanen avhenger av hvilken type kunnskapsoppsummering som vi skal utarbeide. Vi legger deretter prosjektplanene ut på fhi.no, og vi lager i noen tilfeller en kort nettomtale av prosjektene.
Det kan være aktuelt å åpne for kommentarer til prosjektplanen i en avgrenset tid for å sjekke om utfallsmålene er relevante. I så fall skal vi nevne det i prosjektplanen, og vi må drøfte eventuelle innspill og eventuelt revidere prosjektplanen.