Sture Eriksson
Docent

Tyvärr kännetecknas situationen nu av en olycklig låsning och den fortsatta utvärderingen står inför ett utomordentligt viktigt vägval beträffande huruvida den fortsatta utvärderingen skall ske med hjälp av moderna, objektiva metoder eller med hjälp av fakultetsgruppens subjektiva metoder inklusive subjektiva saneringsdata baserade på ett äldre formulär.
Enligt direktiven skulle utvärderingen utformas i samråd mellan Amalgamenheten och en av Medicinska fakulteten utsedd fakultetsgrupp under ordförandeskap av Prof. Lars Holmberg. I stället för öppenhet och rationell diskussion rörande uppläggningen och databehandlingen ställdes emellertid Amalgamenheten på ett tidigt stadium inför ett ur vetenskaplig synpunkt oacceptabelt metod-diktat.
I syfte att utarbeta en utvärderingsplan kallades Amalgamenheten till ett sammanträde med fakultetsgruppen på Arlanda, men efter ett kort möte, där endast några allmänna frågor för utvärderingen diskuterades, sändes Amalgamenhetens ledamöter hem med beskedet att fakultetsgruppen skulle ha ett enskilt sammanträde för att fastställa utvärderingsplanen. Amalgamenhetens forskare fick således inte deltaga i denna slutliga och synnerligen viktiga diskussion. Några dagar senare erhöll Amalgamenheten fakultetsgruppens färdigställda utvärderingsplan. Vi kunde då konstatera att den innehöll oacceptabla brister och att fakultetsgruppen på intet sätt beaktat våra tidigare framförda invändningar. Om vi hade fått deltaga i mötet, kunde felen ha tillrättalagts på ett tidigt stadium. Trots våra fortsatta påpekanden om felaktigheterna i utvärderingsplanen har fakultetsgruppen inte velat ta del av våra synpunkter, varför dessa metodfel kvarstått och således utgör huvudanledningen till det nuvarande läget. Det är främst två metodfrågor som inte fått en tillfredsställande lösning.

 
OBJEKTIVA KONTRA SUBJEKTIVA GRUPPERINGAR AV SYMTOMSKALOR.

Enligt fakultetsgruppen bör man upprätta två skalor, som fått benämningen specifika symtom och ospecifika symtom. De specifika symtomen (en sammanslagning av 15 symtomvariabler enligt en viss formel) betecknar fakultetsgruppen som verkliga, amalgamrelaterade symtom, medan de ospecifika symtomen (15 symtomvariabler) av gruppen väsentligen klassas som inbillade symtom. När man granskar de 30 symtomen är det emellertid i många fall ytterst oklart varför de förs till den ena och inte till den andra gruppen. Någon hållbar, objektiv metod för kategoriseringen har fakultetsgruppen inte heller presenterat.
Vid ett av sammanträdena med fakultetsgruppen påpekade jag att en dylik sammanslagning av data inte är acceptabel, eftersom data inte är homogena. Vid ett sammanträffande med Holmberg vid Amalgamenheten förevisades han ett histogram över interkorrelationer mellan de 30 symtomvariablerna som framtagits enligt fakultetsgruppens beräkningsmetod. Eftersom många korrelationer var högt positiva, ett flertal korrelationer var nära noll och många var negativa, framhöll jag att data inte var homogena och att man därför inte kunde slå samman variablerna till de två skalorna över specifika och inbillade symtom på det sätt som fakultetsgruppen föreslagit. Vid ett senare möte meddelade Holmberg att han kontaktat en framstående statistiker i USA och att denne hade bekräftat det berättigade i min kritik. Holmberg menade uppenbarligen då att min invändning måste beaktas vid den fortsatta analysen. Mot denna bakgrund är det utomordentligt märkligt att fakultetsgruppen i de senaste protokollen över huvud taget inte låtsats om homogenitetsfrågan utan menar att utvärderingen skall ske enligt den ursprungliga planen. Genom att slå samman en grupp av variabler som visar förbättringar med en grupp av variabler som visar försämringar trollar man effektivt bort två signifikanta effekter och resultatet blir en nolleffekt. Trots att detta metodfel påpekats flera gånger för fakultetsgruppen är den tydligen beredd att blunda för det uppenbara felet i fakultetsgruppens utvärderingsplan.

I syfte att empiriskt kontrollera giltigheten i fakultetsgruppens kategorisering har ett flertal analyser med multivariata metoder (bl.a. faktoranalys och flerdimensionell skalning) utförts vid Amalgamenheten. Dessa analyser visar entydigt att de trettio symtomen inte alls faller ut i de två symtomgrupper som fakultetsgruppen postulerat. Symtomen bildar däremot flera kluster som är möjliga att återföra på minst tre grunddimensioner (faktorer). I och med dessa analyser föreligger objektiva fakta som otvetydigt visar att fakultetsgruppens tämligen godtyckliga, subjektiva indelning i två symtomgrupper saknar vetenskaplig grund och därför självfallet inte skall accepteras. Det måste tyvärr konstateras att fakultetsgruppens plan för databehandlingen i detta avseende är amatörmässig.
Lösningen på nämnda metodproblem är skäligen enkel. Om man skall utföra en gruppering av symtomvariablerna, bör man självfallet använda någon av de objektiva metoder, till exempel faktoranalys, som utvecklats just för detta ändamål.

 
OBJEKTIVA KONTRA SUBJEKTIVA MÅTT PÅ SANERING.

Amalgamenheten har i sina analyser visat att totalgruppen (513 patienter) kan delas upp i tre relativt homogena undergrupper. En klar majoritet uppvisar en systematisk förbättring av såväl livskvalitet som symtom efter sanering. En andra grupp (ett sjuttiotal patienter) uppvisar knappast någon förändring och en tredje grupp (ett sextiotal patienter) uppvisar systematiska försämringar i livskvalitet och symtom efter sanering. Med andra ord är totalgruppen inte homogen. Det är ett oavvisligt krav att analyserna i fortsättningen utföres parallellt på de tre undergrupperna och inte på den sammanslagna totalgruppen, eftersom en sammanslagning riskerar att dölja existerande och signifikanta skillnader.

En huvudfråga i utvärderingen är huruvida sanering har effekt eller inte. Denna fråga kan angripas på två sätt. Det ena är att utnyttja tidigare insamlade data, där patienterna själva får bedöma huruvida de är osanerade, har avbrutit saneringen eller slutfört saneringen. Naturligtvis kan detta vara en intressant analys under förutsättning att kategorierna är väl definierade och att individerna är tillräckligt många i de olika kategorierna. Det andra sättet består i att basera utvärderingen på objektiva data (röntgenbilder) beträffande saneringen.

Det är något förvånande att intresset nu kommit att dirigeras till tabellerna över subjektiva saneringsdata, i synnerhet som dessa tabeller har så många brister att de inte kan läggas till grund för seriösa analyser - ett förhållande som jag påtalat vid flera tillfällen. Man bör först notera att dessa subjektiva bedömningar härrör från ett av de äldre frågeformulären som var avsedda som en administrativ hjälp, inte som grund för en vetenskaplig utvärdering. Erhållna data har samlats i två tabeller. Huvudtabellen är emellertid inte helt adekvat. Tabellen innehåller tre kategorier: osanerade, avbrutit sanering, slutfört sanering. Ett flertal patienter har exempelvis svarat ja på alla tre frågorna, förmodligen därför att sanering fortfarande pågått. En korrekt tabell borde ha haft minst fyra alternativ, där det fjärde borde ha varit "sanering pågår". I uppdateringstabellen 97/98 finns endast två alternativ: påbörjat sanering respektive slutfört sanering. Hur de patienter som avbrutit saneringen svarat vet man inte och därigenom har ett betydande mått av osäkerhet lagts till tolkningen av tabellerna. Man vet inte heller hur de patienter som fortfarande genomgår sanering har svarat, eftersom denna viktiga kategori saknas i båda tabellerna. Uppenbarligen lider de subjektiva tabellerna av stora brister och kan knappast slås ihop direkt. Däremot kan de naturligtvis kombineras genom användande av olika logiska filter. Så har också skett och en prövning med olika logiska filter har lett fram till vissa intressanta resultat.
Gruppen som slutfört sanering är mycket stor ( 408 individer) medan gruppen som möjligen kan falla inom kategorin "sanering pågår" består av 45 individer (patienterna har här svarat ja på påbörjat sanering och har därefter olika kombinationer som gör att de inte kan ingå i andra kategorier). Tjugofem individer har avbrutit saneringen..

Den kritiska jämförelsen i utvärderingen är naturligtvis huruvida gruppen som slutfört sanering signifikant skiljer sig i exempelvis livskvalitet från gruppen som är osanerad. Den sistnämnda gruppen har således en funktion som kan jämföras med en kontrollgrupp. Det är därför viktigt att dessa kontrollgrupper innehåller tillräckligt många individer, så att gruppernas medelvärden och standardavvikelser blir stabila och pålitliga. Men när dessa tabeller över subjektivt bedömd sanering indelades efter fakultetsgruppens fem ålderskategorier och tre livskvalitetsgrupper (totalt 15 kategorier) framkom emellertid resultat som visade att meningsfulla statistiska analyser inte kunde utföras på materialet.
Gruppen som är osanerad visade sig bestå av 14 individer. När dessa individer fördelas på de 15 kontrollgrupperna får vi i genomsnitt knappt en individ i varje kontrollgrupp. Flera kontrollgrupper består av noll individer. Även om man inkluderar individer med ett eller flera saknade värden (vilket är en tveksam procedur men ändå kan ge en viss indikation på det maximala antalet) blir totala antalet individer inte mer än 35, d.v.s. i genomsnitt drygt två individer per kontrollgrupp.
Det säger sig självt att dylika kontrollgrupper inte kan läggas till grund för seriösa statistiska analyser. Trots att fakultetsgruppen har haft tillgång till alla data och att den underställts sammanställningar baserade på olika logiska filter som visar det oberättigade i att utföra signifikanstesterna, vidhåller fakultetsgruppen märkligt nog sin uppfattning att analyserna skall genomföras enligt den ursprungliga planen.

Enligt min mening är den enda rimliga strategin i detta fall att avstå från nämnda analyser och att i stället koncentrera arbetet på att inhämta objektiva data rörande graden av sanering (mätt via inscannade röntgenbilder) och lägga denna variabel till grund för stratifieringar och analyser för att testa utvärderingens huvudfråga, nämligen huruvida graden av sanering är relaterad till förändringar i livskvalitet och symtom.

I sammanhanget förtjänar det att påpekas att det för närvarande inte är möjligt att på objektiva grunder hävda något om saneringens kausala effekter beträffande den nu aktuella undersökningsgruppen. Vi vet således ännu inte om saneringen som sådan har lett fram till de upplevda förändringar som framkommit i den första fasen av Amalgamenhetens utvärdering. Det är naturligtvis fullt möjligt att sanering leder till en positiv effekt på exempelvis livskvalitet och symtom. Men det är också fullt möjligt att saneringen inte ger dylika effekter. Det är faktiskt också möjligt att saneringen, åtminstone hos vissa individer, leder till en försämring av symtom och livskvalitet. Utvärderingens uppgift måste självklart vara att på bästa möjliga sätt ge ett objektivt svar på frågan om saneringens effekter.
Detta kräver emellertid att man vid utvärderingen använder moderna statistiska metoder och inte de subjektiva, godtyckliga metoder som fakultetsgruppen förordat.

 
VETENSKAP OCH POLITIK.

Den 5 oktober avhölls ett möte med respresentanter för sjukhuset, medicinska fakulteten, landstinget och Amalgamenheten. Ordföranden Mats O. Karlsson betonade inledningsvis vikten av att man i utvärderingen levererar pålitliga data till landstinget för att därigenom möjliggöra korrekta politiska beslut.
Beträffande analysen av data rörande de subjektiva saneringstabellerna vidhöll jag min kritik och hävdade bestämt att det bl.a. på grund av bortfallet och snedfördelningen av data inte var möjligt att utföra meningsfulla analyser och leverera pålitliga data baserade på dessa tabeller. I denna diskussion uttryckte statistikern A. Taube att det var chockerande att jag vidhöll min uppfattning. Han menade uppenbarligen att beräkningarna borde utföras och att data tydligen skulle kunna läggas till grund för de planerade signifikansanalyserna (regressionsanalyserna) trots att han vid mötets början modest påtalat att han inkallats till mötet med kort varsel och inte hunnit sätta sig in i tabellmaterialet.
Prof. Ulf Haglund menade att utvärderingen skulle ske enligt fakultetsgruppens fastlagda designen, eftersom denna var väl etablerad. Jag fann mig då föranlåten att påpeka att min invändning inte rörde designen som sådan utan de data som skulle analyseras i designen.
Jag påtalade ånyo att data var extremt snedfördelade och att konsekvensen blev att signifikansanalyserna skulle komma att baseras på "kontrollgrupper" som inbegrep enstaka individer - i genomsnitt cirka 1-2 individer per kontrollgrupp! Taube blev här svaret skyldig och kom inte med en enda kommentar som motsade min uppfattning.

Som upplysning kan meddelas att skälet till att data är snedfördelade är att vi har att göra med en retrospektiv studie, där den stora majoriteten av patienter antingen har sanering pågående, har slutfört saneringen eller har avbrutit saneringen. Endast ett fåtal individer är osanerade. En statistiker torde behöva besitta ett osedvanligt stort mått av samarbetsvilja för att kunna hävda att man under dylika förutsättningar på ett meningsfullt sätt kan utföra signifikansprövningar och leverera pålitliga data till beslutsfattarna!
I den avslutande sammanfattningen tackade emellertid ordföranden Mats O. Karlsson statistikern Taube för kloka synpunkter (trots att han i stort sett inte sagt något) och menade att vi nu var enade och att utvärderingen kunde fortsätta enligt planen - utan onödigt "tjafs", som ordföranden definierade sin bild av situationen. Uppenbarligen har Mats O. Karlsson inte förstått något av poängen i den vetenskapliga sakfrågan, eftersom han nu som pålitligt beslutsunderlag är beredd att acceptera data baserade på kontrollgrupper som i snitt endast innehåller enstaka individer! Mötet var emellertid ur politisk synvinkel väl regisserat. Som en vetenskaplig diskussion av metodfrågan var emellertid mötet ett genant fiasko. Någon vägledning för den fortsatta utvärderingen framkom inte. Det är betänkligt att man i en viktig utvärdering på detta sätt försöker smussla undan viktiga metodfrågor och att en välgrundad metodkritik uppenbarligen måste undanröjas.
Dagen efter mötet beslöt sjukhusdirektören att Amalgamenheten inte kunde påräkna ekonomiska medel för att bekosta mitt fortsatta deltagande i utvärderingen! Det vetenskapliga priset var tydligen för högt!

Amalgamets eventuella farlighet och saneringens effekter är för många människor alltför viktiga frågor för att avgöras av en utvärdering som inte lever upp till en modern standard beträffande databehandlingen. Det bästa för alla parter vore därför att fakultetsgruppen accepterar de erhållna undersökningsresultaten (presenterade i Amalgamenhetens rapport nr. 1) och Amalgamenhetens därpå grundade förslag till en reviderad plan för den fortsatta utvärderingen. Metodfrågan kan i själva verket lösas utomordentligt enkelt. Till följd av bristerna i tabellerna över subjektiva saneringsdata bör dessa läggas åt sidan och ansträngningarna inriktas på objektiva saneringsdata. Vidare bör utvärderingsplanen ändras så att symtomvariablerna analyseras med faktoranalytiska metoder, varigenom de erhållna gemensamma nämnarna (faktorerna) kan användas som sammanfattande mått på sambanden och eventuella förändringar efter sanering. Med en dylik, modifierad utvärderingsplan blir det möjligt att sakligt undersöka huruvida sanering har någon effekt eller inte.