Ét spørgsmål, flere AI-svar: sådan sammenligner læger det væsentlige

Giv alle modeller det samme problem

Det er svært at sammenligne AI-svar, hvis hver model får et forskelligt spørgsmål. En lille ændring i populationen, konteksten eller det ønskede resultat kan med god grund give et andet svar. Begynd med ét klart afgrænset spørgsmål, og brug de samme oplysninger i alle modeller.

MedSafeAIs Ask All AI sender ét spørgsmål til flere modeller parallelt. Agentsammenligningen og Consensus samler svarene og fremhæver vigtige forskelle. På den måde kan du gå fra at indsamle separate svar til at undersøge, hvor deres ræsonnementer, evidens og antagelser adskiller sig.

Bed om en struktur, du kan sammenligne

Til en journal club eller en litteraturgennemgang skal du angive den relevante population, intervention eller det relevante emne, sammenligningsgrundlaget, effektmålene og tidsperioden. Angiv også selve opgaven: at kortlægge evidensen, sammenligne formuleringer i retningslinjer eller forberede spørgsmål til videre læsning. Disse opgaver kræver forskellige typer svar.

Prøv denne prompt: »Jeg forbereder en journal club om [emne] hos [population]. Sammenlign de vigtigste resultater fra relevant forskning og relevante retningslinjer. Angiv kilden, studiepopulationen, effektmålet og en væsentlig begrænsning for hver påstand. Adskil evidens fra fortolkning. Oplist uafklarede spørgsmål i stedet for at udfylde hullerne med antagelser.«

Brug præcis den samme prompt i alle modeller. Hvis du senere ændrer afgrænsningen, skal du behandle det som en ny sammenligning i stedet for at blande svarene med den første serie.

Se ud over, om konklusionerne er ens

To svar kan nå frem til lignende konklusioner på baggrund af forskelligt materiale. Det ene kan henvise til en retningslinje, mens det andet bygger på et lille studie. Omvendt kan tilsyneladende modstridende svar omhandle forskellige populationer eller udgivelsesdatoer. Det nyttige spørgsmål er, hvad der forklarer forskellen.

Brug agentsammenligningen til at finde uenigheder, og læs derefter de relevante passager i de enkelte svar. Denne tjekliste hjælper med at skelne mellem reel uenighed om evidensen og forskelle i formuleringen:

• Afgrænsning: Er populationen, konteksten og effektmålet faktisk de samme?
• Kilder: Bygger påstandene på de samme studier, forskellige studier eller ingen identificerbar kilde?
• Tid: Bygger et af svarene på en ældre retningslinje eller evidensgennemgang?
• Sikkerhed: Skelner svaret mellem veletablerede fund og uafklarede spørgsmål?
• Mangler: Hvilke begrænsninger eller alternative fortolkninger optræder kun i ét svar?

Brug Consensus til at vælge, hvad du vil undersøge nærmere

Læs sammenfatningen fra Consensus for at finde fælles fund og afgørende forskelle. Ved hver væsentlig uenighed skal du vende tilbage til de enkelte svar og finde kilden eller antagelsen bag den. Hav svarene ved hånden, mens du gennemgår sammenfatningen, så du kan spore en opsummeret pointe tilbage til dens oprindelige sammenhæng.

Planlæg din videre læsning med tre spørgsmål: »Hvilken forskel kan ændre min fortolkning? Hvilken evidens eller antagelse forklarer hvert synspunkt? Hvilken kilde skal jeg åbne som den næste?« Det gør sammenligningen til en målrettet undersøgelse. Antallet af enige modeller kan ikke erstatte denne undersøgelse.

Næste skridt er at læse kilderne. Åbn de afgørende artikler eller retningslinjer, og kontrollér, om de understøtter de påstande, der tilskrives dem. Modeller kan begå den samme fejl eller bygge på overlappende kilder; enighed alene dokumenterer ikke klinisk validitet.

Afslut med et kort evidensnotat

Notér spørgsmålet, enighedspunkterne, de uafklarede forskelle og de kilder, du har kontrolleret. Det er mere nyttigt til din næste faglige drøftelse end at gemme flere lange svar uden sammenhæng. Begynd i MedSafeAI med ét spørgsmål fra det, du læser lige nu, brug Ask All AI, og undersøg én væsentlig forskel, før du udvider opgaven. Arbejdsgangen understøtter forskningsarbejde og fagligt skøn; den erstatter ingen af delene.