Bare fordi det kommer fra et universitet, behøver det ikke være videnskab

Henrik Dahl og Morten Messerschmidt sendte i Berlingske en bredside mod danske universiteter for at lade antividenskab vinde indpas på humaniora og samfundsvidenskab (Dahl and Messerschmidt, 2021). Rune Selsing fulgte op med en ”lavpraktisk” kommentar til en enkelt publikation, hvor han skriver, at feministisk aktivisme naturligvis ikke er forskning og at feministerne selv indrømmer det (Selsing, 2021).

Svarene har som vanligt gået på, at universiteterne har deres forskningsfrihed, som politikerne ikke skal pille ved (University Post, 2021). Uffe Elbæk bloggede at Dahl og Messerschmidt selv kunne være antividenskabelige, og meddelte, at ville han kaste sig over læsning af Judith Butler (Elbæk, 2021).

Dahl og Messerschmidt maler med den brede pensel, når de sætter hele humaniora og samfundsfag under anklage, og det forstår man godt, for det batter ikke rigtigt at påpege problemer med kvaliteten af enkelte forskeres arbejde, når uvidenskabeligheden breder sig epidemisk. Men at skyde med spredehagl mod store dele af universitetsverdenen er heller ikke hverken effektivt eller berettiget. Selsing siger godt nok at han går lavpraktisk til værks og påviser at Skewes og kolleger har begået et ideologisk kampskrift (Skewes et al., 2021), men kampskriftet selv er ærlig talt så tandløst, at det er svært at hidse sig op over.

Forsvarerne i Uniavisen er lige så tandløse. Thomas Brudholm ved ikke bedre end at bruge det-man-siger-er-man-selv metoden lige som Uffe Elbæk. Heine Andersen slår på, at Folketinget ikke skal gøre sig til dommer over ”forskningsprojekters videnskabelige lødighed”, og det lyder som et rimeligt standpunkt, men problemet er naturligvis, at hvis universiteterne ikke selv gør sig til dommere over forskningsprojekters videnskabelige lødighed, hvem skal så gøre det?

Det ulyksalige er, at de ideologiske højre-venstre-positioner, som folk rutinemæssigt indtager, spærrer for overhovedet at komme i gang med at overveje, om Dahl og Messerschmidt kunne have en pointe. Selsing klandrer Skewes og kolleger for at være ideologiske, hvorved diskussionen kommer til at ligne brydninger af politiske uenigheder, som jo er helt legitime i et demokrati, og som der skal være plads til på universiteterne. Dermed glemmes det afgørende, nemlig om det, Skewes og kolleger producerer, har den videnskabelige kvalitet, man må forvente fra et universitet. Det er der naturligvis ikke mange uden for universitetsverdenen, der har kvalifikationer til at diskutere, og inden for universitetsverdenen er forskerne fredede, så det er vanskeligt. Men lad os kigge på f.eks. Skewes rapport om holdninger til sexisme på Aarhus Universitet som rapporteret i (Skewes et al., 2019). Undersøgelsen er delvist finansieret af universitetet, og man har ikke hørt universitetet klage over, at det ikke fik, hvad det forventede.

Der er imidlertid adskillige store problemer med denne undersøgelse. Jeg vil nævne to.

Den første er responsraten. Forfatterne konkluderer at der findes en høj grad af sexisme på universitetet og angiver en gennemsnitlig score på Modern Sexism Scale på 4,18 som evidens for, at det skulle være sådan. Jeg vender tilbage til Modern Sexism Scale nedenfor, men hvis vi antager, at scoren på 4,18 faktisk tydede på udbredt sexisme blandt dem, der har svaret på spørgeskemaet, melder spørgsmålet sig, hvad det siger om hele staben på Aarhus Universitet. Det er her responsraten er vigtig. 15.493 ansatte blev inviteret til at være med, 1.805 besvarede spørgeskemaet, hvilket giver en responsrate på 12%. Der er ingen analyse af bortfaldet i publikationen. Det er indlysende, at når næsten 9 ud af 10 har undladt at medvirke, kan den sande værdi af scoren på Modern Sexism Scale ligge langt fra den, der er målt hos de 12%. Det finder forfatterne ingen anledning til at diskutere nærmere. Det ville også tvinge dem til at erkende, at dette alene på grund af responsraten, er en mislykket undersøgelse.

Min anden hovedanke mod undersøgelsen er selve spørgeskemaet. De 8 spørgsmål i Modern Sexism Scale handler om to ting, respondenternes mening om lige muligheder for mænd og kvinder i Danmark, og respondenternes holdning til feminister.

Et udvalg af spørgsmålene, her præsenteret i min oversættelser idet forfatterne ikke afslører, hvordan de har oversat spørgeskemaet, viser princippet:

  • Kvinder går ofte glip af gode jobs på grund af kønsdiskrimination
  • Det er sjældent at se kvinder blive behandlet sexistisk på TV
  • Samfundet er nået dertil, hvor kvinder og mænd har lige muligheder for at blive til noget
  • Det er nemt at forstå danske feministers vrede

Hvert spørgsmål scores på en 7-punkts Likert skala. Publikationen anfører kun de to ekstremer, 1=completely disagree and 7=completely agree, men da det er en Likert skala må den se nogenlunde sådan ud:

  • 1 = helt uenig
  • 2 = overvejende uenig
  • 3 = noget uenig
  • 4 = hverken enig eller uenig
  • 5 = noget enig
  • 6 = overvejende enig
  • 7 = helt enig

Her skal man gøre sig klart, at jo mere respondenterne er enige i, at det danske samfund er nået dertil, hvor der er lige muligheder for mænd og kvinder, jo mere sexistiske er de ifølge den anvendte metode. Spørgsmålet om feminisme kodes omvendt, så jo mindre man forstår danske feministers vrede, jo mere sexist er man.

Publikationen fremhæver at ”scores over 3,5 indikerer enighed med sexistiske udsagn”, hvilket må betyde, at respondenter, der ligger mellem ”noget uenig” og ”hverken enig eller uenig” i, at der er lige muligheder for kønnene, allerede er sexister. Det er åbenlyst forkert, og skyldes formentlig, at forfatterne opfatter 3,5 som midtpunkt af en 7-punktsskala. (Det har Lea Skewes forklaret mig i en personlig korrespondance). Men som det ses af punktopstillingen ovenfor er midtpunktet på skalaen 4, ikke 3,5, og desuden er det åbenlyst, at kun svarene 5, 6 og 7 udtrykker enighed. Hvis man vil vide, hvor stor en andel af populationen, der udtrykker enighed med spørgsmålene, skulle man vise andelen, der svarer 5 eller højere. Sådanne tabelleringer findes dog ikke i publikationen.

I stedet præsenteres den vanskeligt fortolkelige middelværdi (4,18) af den beregnede Modern Sexism Scale på alle 8 spørgsmål. Forfatterne konkluderer, at denne værdi ”afslører at mange ansatte ikke kun er blinde for udfordringerne med kønsuligheder, men også modsætter sig initiativer til at opnå lighed mellem kønnene”. Bortset fra at 4,18 ligger tæt på skalaens neutralpunkt, strider forsøget på at give skalascore en absolut fortolkning imod hele ideen med Likert skaler. Selv hvis man havde vist, at en stor andel af populationen scorede 5 eller derover på væsentlige spørgsmål, kunne tallet ikke fortolkes som modstand mod initiativer til opnå lighed. Modern Sexism Scale spørger om opfattelse af opnået ligestilling og feminisme, ikke om modstand mod ligestilling.

Spørgeskemaet har sine egne problemer. Lad os for argumentets skyld antage, at vi lever i et absolut lige samfund, et samfund hvor diskrimination er noget, der hører fortiden til. Går kvinder glip af gode jobs på grund af diskrimination i dette samfund? Nej, vi må være helt uenige, hvilket giver os 7 point på skalaen. Er det sjældent at se kvinder blive behandlet sexistisk på TV. Ja, det forekommer jo ikke, da samfundet er helt egalitært, så vi scorer endnu engang 7. Er der lige muligheder? Ja, endnu et 7-tal. Og så videre med de andre spørgsmål. Alle respondenter må score max point i dette samfund, hvilket vil sige at de er maksimalt sexister, til trods for at diskrimination og sexisme overhovedet ikke forekommer i samfundet.

Vi kan også gå til det andet ekstrem og forestille os et samfund, hvor der er diskrimination af kvinder alle vegne, og alle ved det. Går kvinder glip af gode jobs på grund af diskrimination. Ja, helt enig – 1 point. Er det sjældent at se kvinder behandlet sexistisk på TV? Nej, der sker hele tiden – 1 point. Er samfundet nået dertil, hvor der er lige muligheder for mænd og kvinder. Nej, helt uenig – 1 point. Etc. I dette samfund scorer alle respondenter minimum på Modern Sexism Scale, hvilket vil sige, at folk ikke er sexister, til trods for at sexisme og diskrimination er alle vegne.

Hvordan går det til, at alting bliver omvendt med Modern Sexism Scale? Spørgeskemaet måler respondenternes antagelser om lige muligheder for mænd og kvinder, og deres holdning til feminisme. Det er lige ud ad landevejen. Problemet ligger i fortolkningen, at hvis respondenter mener, der er lige muligheder og/eller ikke er store tilhængere af feminisme, så er de sexister. Det fungerer kun hvis 1. der er diskrimination, og 2. folk ikke vil indrømme det. Hvis disse betingelser er opfyldt kan det give mening at opfatte en høj score som udtryk for sexisme.

Men det betyder jo, at den der vil bruge skemaet, kun kan gøre det, hvis de to ovennævnte betingelser vides at være opfyldt. Men hvis dét kan godtgøres inden undersøgelsen, er der jo ingen grund til at bruge spørgeskemaet, så ved man allerede det, man ønsker at undersøge. Har man omvendt ikke allerede påvist, at de to betingelser er opfyldt, kan man ikke bruge skemaet. Så uanset hvad, er der ingen grund til at bruge det.

Spørgeskemaets problemer kan også illustreres med et mindre ekstremt scenarie: vi kan forestille os, at der foretages en måling med Modern Sexism Scale i Danmark i dag og om 10 år. For argumentets skyld antager vi, at der ikke er fuldstændigt lige muligheder for kønnene i dagens Danmark, og at der om 10 år er mere lighed i muligheder. Så vil der om 10 år være flere, der mener, at der er lige muligheder for kønnene, end der er nu, af den simple grund at der er mere lige muligheder. Men Modern Sexism Scale vil på basis heraf konkludere, at der er mere sexisme i samfundet om 10 år.

Dette er et åbenlyst ubrugelig instrument til at måle sexisme. Og det bruges altså af Skewes og kolleger som det vigtigste måleinstrument i deres undersøgelse.

Hermed har jeg så vist, at én artikel er ikke-videnskab. Eksistensen af én uvidenskabelig artikel beviser ikke, at det generelt står skidt til inden for feministisk forskning. Her må man tage mig på ordet, og, hvis man er særligt interesseret, se på, hvad jeg har skrevet om ubevidst bias mod kvinder, specielt i akademia (Skov, 2019, 2020). Det område har jeg været igennem systematisk og har konkluderet, at det er pseudoforskning. Det må tjene som illustration af, at universiteterne ikke generelt kan dække sig ind under forskningsfrihed og krav om arms-længdeprincip. En af de ringeste rapporter om ubevidst bias er udarbejdet af League of European Research Universities, en organisation, som Københavns Universitet er medlem af (Skov, 2019).

Det er værd at bemærke, at Lea Skewes selv er redaktør på det tidsskrift, som har offentliggjort hendes arbejde. Videre noteres at tidsskriftet, som angives at være peer-reviewed, udgives af Koordinationen for Kønsforskning under Sociologisk Institut, Københavns Universitet.

Universiteterne har ikke orden i butikken, der foregår ting på universiteterne som ikke har noget med forskning at gøre, og det er ikke bagateller. Præcis hvor udbredt det er, kunne universiteterne passende påtage sig at finde ud af, når de nu påberåber sig at ville have forskningsfrihed.

En note om videnskabelighed ifald nogen skulle tro, at jeg lægger formelle kriterier ned over, hvad der kan kaldes forskning: videnskabelighed er ikke noget, der kan defineres. Der er gjort forsøg, og et af de mere populære er kravet om falsificerbarhed, som siger, at teorier, der er så generelle, at man ikke kan forestille sig observationer, der ville forkaste dem, er uvidenskabelige. Dahl & Messerschmidt bruger det i deres kronik, men det er ikke et holdbart kriterium, for det første fordi forskere har det med at holde på deres teorier, selv om der er enkelte observationer (somme tider endda mange observationer), der taler imod dem, for det andet fordi nogle teorier, som vi anser for videnskabelige, har en sådan karakter, at det er svært at forestille sig enkeltobservationer, der ville falsificere dem, f.eks. evolutionsteorien.

Men selv om videnskabelighed ikke kan defineres, kan man godt kende ting, der ikke er videnskab. At definere en elefant er heller ikke muligt, men at afgøre, om man står over for en elefant, er nemt nok. En rapport, der refererer en anden publikation for noget, der ikke står i den refererede publikation, er ikke videnskabeligt set i orden. En rapport, der konkluderer noget andet på data end de viser, er ikke videnskabeligt i orden. En rapport, der forudsætter konklusionen, er ikke i orden. En rapport der konkluderer noget, der ikke er belæg for i data eller argumenter, er ikke i orden. En rapport, der overgeneraliserer, er ikke i orden.

At der ikke findes nogen entydig definition på videnskabelighed er ikke problemet. Problemet er, at man inden for nogle områder ikke bruger de kvalitetskriterier, som jeg i det mindste går ud fra, at universitetsledelserne er enige i, at der bør være. Ellers kunne de jo ikke forsvare sig med, at det er dem, ikke politikerne, der skal være garantere for kvaliteten.

Referencer:

Dahl H and Messerschmidt M (2021) Henrik Dahl og Morten Messerschmidt: Antividenskab vinder ind på universiteterne – det må og skal slås ned. Available at: https://www.berlingske.dk/content/item/1547158 (accessed 14 March 2021).

Elbæk U (2021) Dahl og Messerschmidts politiske dagsorden er noget antividenskabeligt sludder af værste skuffe. Available at: https://jyllands-posten.dk/debat/blogs/uffeelbaek/ECE12831489/dahl-og-messerschmidts-politiske-dagsorden-er-noget-antividenskabeligt-sludder-af-vaerste-skuffe/ (accessed 17 March 2021).

Selsing R (2021) Naturligvis er feministisk aktivisme ikke forskning. Og de indrømmer det selv. Available at: https://jyllands-posten.dk/debat/blogs/runeselsing/ECE12793588/naturligvis-er-feministisk-aktivisme-ikke-forskning-og-de-indroemmer-det-selv/ (accessed 17 March 2021).

Skewes L, Skewes JC and Ryan MK (2019) Attitudes to Sexism and Gender Equity at a Danish University. Kvinder, Køn & Forskning. 1-2: 71–85.

Skewes L, Occhino M and Agustín LR (2021) Making Ripples and Waves through Feminist Knowledge Production and Activism. Women, Gender & Research 30(1).

Skov T (2019) Review Artikel: Ubevidst bias i akademia – skabelsen af en myte. Økonomi og Politik 3: 100–108.

Skov T (2020) Unconscious Gender Bias in Academia: Scarcity of Empirical Evidence. Societies 10(2). DOI: 10.3390/soc10020031.

University Post (2021) Forskere: Den politiske offensiv mod »pseudoforskning« er fordomsfuld og farlig. Available at: http://uniavisen.dk/forskere-den-politiske-offensiv-mod-pseudoforskning-er-fordomsfuld-og-farlig/ (accessed 14 March 2021).

Torsten Skov

Læge, PhD i epidemiolog, batchelor i filosofi

5 thoughts on “Bare fordi det kommer fra et universitet, behøver det ikke være videnskab


  1. Jeg har læst flere forsvar fra de kritiserede forskere og i denne sag lykkedes det vel delvist for dem med hensyn til statistikken i deres eget arbejde, men ligesom i denne tekst slog det mig at den anvendte ‘facitliste’ jo har implicitte præmisser om at ‘der er noget galt i samfundet’ og det på linje med, hvad tidens feminisme og anden ‘woke’ tankegang har som dogmer – og at det er her anti-videnskabeligheden for alvor kommer ind.

    Jeg ville mene at der er tale om en del af eller et spin-off af den neomarxistiske Kritisk Teori, der énsidigt kritiserer ved at sammenligne med en utopi, et tænkt ideal, overfor hvilket alt eksisterende, som ‘undersøges’ vil dumpe med et brag. Denne ‘teori’ – reelt en arbejdsmetode/intellektuel svindel – er næsten enerådende i tidens ‘kritik’ og ‘analyse’ af vestlig civilisation.

    1. Jeg har kun set forskerne selv forsvare deres arbejde ét sted:

      https://videnskab.dk/forskerzonen/naturvidenskab/forskere-svarer-igen-kritikken-af-vores-forskning-er-pseudovidenskabelig

      og det synes jeg ikke de slap så godt afsted med, som det ses i mit svar

      https://videnskab.dk/forskerzonen/kultur-samfund/koensforskere-ignorerer-substansen-i-min-kritik-af-deres-studie

      De snakkede udenom, og det blev de ved med, da Forskerzonen lod Lea Skewes få det sidste ord. Hun henvist nemlig kun til deres tidligere svar. Men så tilføjede hun er uhyre interessant ting, nemlig at “Kernen af artiklen er ikke at måle sexisme i hele populationen”. Det er interessant fordi det ikke stemmer med, hvad man læser i artiklen, og heller ikke med hvad hun har skrevet til Politiken

      https://politiken.dk/debat/art7968674/Universitetsansatte-afviser-ligestillingstiltag

      hvor det bl.a. hedder

      “desværre dokumenterede undersøgelsen, at den gennemsnitlige universitetsansatte havde moderne sexistiske holdninger. Den gennemsnitlige ansatte scorede 4,18 på sexismeskalaen, hvilket er temmelig højt”

      Hun løber kort sagt fra det meste af, hvad hun tidligere har sagt om undersøgelsen. Dertil kommer, at det, hun nu påstår er hovedindholdet, “relationen mellem universitetsansattes moderne sexisme score og deres holdninger til ligestillingspolitik i egen organisation”, baserer sig på data, hvor bortfaldet af mulige respondenter er 97,5%, og en kodning af fritekst, som Lea Skewes har ændret undervejs. Endelig kan man om den analyse sige, at den nærmest undersøger en tautologi.

  2. Diskussionen er interessant.
    Måske ville det være gavnligt, at Skewes et al. tydeliggjorde, hvad artiklen i virkeligheden er tænkt som.
    1) Er det et videnskabeligt “bevis” på, at der er er en sammenhæng mellem sexistiske grundholdninger (som defineret gennem spørgsmålene) og ønsket om at løse ligestillingsproblemer?
    2) Er det “bevis” på, at der er en udtalt blindhed over for ligestillingsproblemer i samfundet, eller at der er en udtalt modstand mod ligestilling (på en konkret virksomhed)?
    3) Er det et rådgiverindlæg om, hvilke udfordringer en konkret virksomhed står over for, hvis den mener at have ligestillingsproblemer og ønsker at løse dem?

    Jeg skal springe statistikbehandlingen over, da jeg ikke er fagstatistikker. Vi er ude i en ganske kompliceret behandling af data med diskrete værdier (uden lineær eller anden matematisk sammenhæng) og kvalitative udsagn. Men jeg kan ikke lade være med at bemærke, at jeg selv er holdt op med at besvare den slags spørgeskemaer, der ganske ofte anvendes om samfundsfaglige og medicinske forhold.
    Det er der 2 grunde til: For det første er den statistiske behandling ofte mere end tvivlsom set fra mit (halv)amatørsynspunk. For det andet drages der ofte for vidtgående konklusioner om årsagssammenhænge. Ingen statistik kan vise en årsagssammenhæng – ja ikke engang bekræfte den, hvis man har en begrundet tese. Statistik kan, rigtigt brugt, sige noget om, hvor sandsynlig sammenhængen er. Hvis den er helt usandsynlig, er løbet kørt. Hvis den er sandsynlig, kan der stadig være en helt 3. grund til, at tingene hænger sammen, uden at årsagssammenhængen er direkte. Årsagssammenhænge skal altid begrundes fagligt.
    Tilbage er så spørgsmålet om, hvad meningen er. Hvis det er 1) eller 2), er det helt afgørende, om den grundlæggende præmis, at der rent faktisk er et betydende ligestillingsproblem, holder. Det siger undersøgelsen ikke noget om. Forfatterne henviser ganske vist til en overordnet score, der angiveligt viser, at det står dårligt til i Danmark som helhed, men det siger jo ikke noget om, hvorvidt det gælder den pågældende virksomhed. Hvis præmissen ikke er klart opfyldt, er resultatet intetsigende eller måske snarere indlysende.
    Er formålet derimod 3) kan analysen give virksomheden brikker til at løse problemerne ved at påpege nogle delproblemer og mulige sammenhænge. Men det er ikke undersøgelsen, der påpeger hovedproblemet – det er virksomhedens eget ansvar.

    Og så en en lidt flabet slutbemærkning: Der har altid og vil altid være politikere, der slår plat på andres -især, hvis det kan kaldes “eksperters”- uenigheder. Det må vi leve med.

  3. Hej Torsten
    Et par sene kommentarer
    1. Er du i dine to eksempler med ekstremerne ikke kommet til at bytte om på 1 og 7?
    2. Umiddelbart er det min vurdering at det ikke giver mening at lave gennemsnitsscore på denne test. Tag f.eks spørgsmål 1 og 3. Hvis man generelt mener det står sløjt til med ligestillingen, vil man vel svare helt enig til det det første og helt uenig til det tredje? Og modsat hvis man mener at der ikke er nogle problemer. I begge tilfælde vil gennemsnit være 4. Dvs. Analyser baseret på gennemsnit på disse spørgsmål ikke giver mening.
    3. Derudover ser jeg en del problemer i udformning af spørgsmålene. Uden at gå ind i en længere beskrivelse, svarer de til at skulle svare på ‘hvornår man er holdt op med at slå børnene’. Altså en kraftig bias.

    1. Hej Anders.
      1. Der er en del forvirring om, hvordan spørgsmålene egentlig er scoret, men jeg har checket eksemplerne et utal af gange, så jeg tror ikke der er fejl.
      2. Det er vistnok ikke helt forkert at lave gennemsnitsscore, idet Cronbach’s alfa er acceptabel. Den er dog et temmelig groft mål, og der burde være lavet mere avancerede analyser af skalaegenskaberne.
      3. Ja, det store problem er spørgsmålsformuleringerne – og så forsøgene på at fortolke et gennemsnit som udtryk for sexisme

Skriv et svar til Torsten Skov Annuller svar

Din e-mailadresse vil ikke blive publiceret.