Belbins dokumentation omfatter den niårige forskning ved Henley, den efterfølgende udvikling af Self-Perception Inventory, observatørvurderinger, internationale normdata og undersøgelser af reliabilitet og flere former for validitet. Forskningen og produktudviklingen fortsætter hos Belbin Ltd, hvor Victoria Brown er Head of Research & Development.
Den aktuelle metode er mere omfattende end det oprindelige, selvscorede spørgeskema, som stadig cirkulerer i kopier. En original Belbin-profil produceres i Interplace, anvender normering og kan sammenholde selvopfattelsen med kollegers observationer. Det er denne aktuelle løsning, dokumentationen skal bruges til at vurdere.
Først skal man vide, hvad Belbin måler
Belbin beskriver en Teamrolle som en tendens til at opføre sig, bidrage og samarbejde med andre på en bestemt måde. Fokus er den adfærd, som får betydning i arbejdet: at udvikle idéer, undersøge muligheder, koordinere, skabe fremdrift, analysere, støtte samarbejdet, organisere, afslutte eller tilføre specialviden.
Teamroller er ikke faste personlighedstyper. Personlighed kan påvirke adfærden, men det samme gør mentale evner, værdier, motivation, erfaring, omgivelser og de roller, man har lært at udfylde. En person har normalt flere foretrukne og håndterbare Teamroller, og mønstret kan ændre sig, når ansvar, relationer eller arbejdskontekst ændres.
Det har direkte betydning for vurderingen af reliabilitet. Hvis man forventer, at en adfærdsvurdering skal være uforanderlig gennem hele livet, vurderer man den efter et andet formål end det, den er udviklet til. Stabilitet er relevant, men en reel ændring i arbejdssituationen kan også give en reel ændring i den adfærd, personen viser.
Siden om adfærd frem for personlighed udfolder denne forskel og forklarer, hvorfor Teamroller ikke bør reduceres til farver eller identitetsmærkater.
Ni års forskning før den første bog
Teamrolleteorien blev ikke konstrueret ved et skrivebord og derefter afprøvet i et kort valideringsstudie. Fra 1969 fulgte Meredith Belbin og forskerholdet ved Henley deltagere i krævende ledelsessimulationer. Over ni år blev teamenes sammensætning, adfærd og resultater undersøgt, og de tilbagevendende bidrag blev gradvist identificeret.
Forskningsdesignet var usædvanligt ved at kombinere psykometriske målinger, observationer og resultater fra faktisk teamsamarbejde. Forskerne begyndte ikke med de ni Teamroller som facit. De udviklede forklaringen på baggrund af de mønstre, de kunne observere.
Den historiske forskning er fundamentet, men den står ikke alene. Efter Henley blev metoden anvendt i organisationer, Specialistrollen blev identificeret, vurderingen blev videreudviklet, og observatørfeedback blev integreret. Belbin Ltd vedligeholder fortsat den tekniske dokumentation og udvikler rapporterne. Læs hele fortællingen om forskningen bag Belbin.
Hvad betyder reliabilitet?
Reliabilitet handler om målingens konsistens. I klassiske personlighedstests undersøges ofte, om udsagn inden for en skala måler det samme underliggende træk. Et meget anvendt mål er Cronbachs alpha.
Belbins Teamroller består imidlertid af klynger af beslægtede adfærdselementer. En stærk Koordinator kan eksempelvis både afklare mål, fordele opmærksomhed og få forskellige bidrag i spil. Udsagnene behøver ikke være sproglige variationer over ét homogent træk for at beskrive den samme Teamrolle. Derfor skal intern konsistens fortolkes i relation til modellens konstruktion.
For den aktuelle BTRSPI med otte sektioner angiver Belbins tekniske manual Cronbachs alpha-værdier mellem 0,67 og 0,84 på tværs af de ni Teamroller. Beregningen anvender vægtet inter-item-korrelation og behandler ikke ubesvarede elementer som nulscore. Det sidste er vigtigt, fordi den ipsative svarform betyder, at respondenten fordeler et begrænset antal point og dermed ikke nødvendigvis giver point til alle relevante udsagn.
Tidlige studier fandt lavere og mere varierende værdier. Nogle anvendte tidligere versioner, små stikprøver eller beregningsmåder, som ikke tog højde for datatypen. Det gør ikke de tidlige resultater irrelevante, men det betyder, at de ikke uden videre kan bruges som beskrivelse af det nuværende Interplace-system.
Belbin Ltd har samlet den aktuelle metode og beregningerne i sin Technical Manual.
Reliabilitet er mere end ét tal
Cronbachs alpha er ét spørgsmål blandt flere. Man kan også undersøge test-retest-reliabilitet: om en person får et nogenlunde genkendeligt mønster ved en senere besvarelse. Her skal tidsinterval og ændringer i arbejdssituationen med i fortolkningen.
En profil, der aldrig ændrer sig, ville passe dårligt til en metode, som beskriver kontekstfølsom adfærd. Omvendt skal tilfældige udsving ikke være så store, at resultatet mister genkendelighed og praktisk værdi. Den relevante forventning er derfor et meningsfuldt mønster med mulighed for udvikling – ikke en livslang typeetiket.
Observatørfeedback tilfører en anden form for konsistenskontrol. Når flere mennesker, der har set personen arbejde, peger på beslægtede bidrag, får profilen støtte fra data, der ikke kommer fra personens egen selvbeskrivelse. Observatørerne kan se forskellige sider af personen, men deres svar giver mulighed for at undersøge, hvilke adfærdsmønstre der faktisk bliver synlige i samarbejdet.
Hvad betyder validitet?
Validitet handler om, hvorvidt fortolkningen af resultaterne er velbegrundet. Spørgsmålet er ikke blot, om spørgeskemaet producerer stabile tal, men om disse tal med rimelighed kan fortolkes som de arbejdsrelaterede bidrag, Belbin beskriver.
Face validity handler om, hvorvidt udsagn og rapporter opleves som relevante for det område, de beskriver. Det er nyttigt, men genkendelse alene er ikke dokumentation. En tekst kan føles rigtig uden at være baseret på en stærk metode.
Construct validity undersøger, om Teamrollerne fungerer som de teoretiske konstruktioner, de er tænkt som. Her er det relevant, om rollerne kan skelnes fra hinanden, om beslægtede måleformer peger i forventet retning, og om mønstrene giver mening i forhold til observeret adfærd.
Criterion-related validity undersøger forbindelsen til relevante ydre kriterier. For Belbin kan det være adfærd i teamet, bedømmelser fra andre eller resultater i en konkret samarbejdssituation. Et enkelt kriterium kan ikke dække hele metoden, fordi forskellige Teamroller bidrager på forskellige tidspunkter og i forskellige opgaver.
Uafhængige, fagfællebedømte studier har undersøgt blandt andet konvergent, diskriminant og konkordant validitet. Belbin Ltd samler henvisninger til disse undersøgelser på sin side om Teamroller, reliabilitet og validitet.
Selvopfattelsen er kun den ene datakilde
Mange person- og adfærdsprofiler bygger alene på, hvordan personen beskriver sig selv. Selvrapportering kan give værdifuld adgang til intentioner, præferencer og erfaringer, men den påvirkes også af selvindsigt, forventninger og det billede, personen gerne vil vise.
Belbin begynder med Self-Perception Inventory, men kan supplere med Observer Assessments. Kolleger, ledere eller andre samarbejdspartnere vurderer den adfærd, de har set. Resultaterne behandles og vises sammen i Individrapporten.
Observatørfeedback er ikke blot en kommentar til en færdig profil. Den er en integreret datakilde. Når selv- og observatørperspektivet stemmer overens, styrkes det fælles billede. Når de afviger, kan rapporten pege på skjulte styrker, mindre synlige ambitioner eller forskelle mellem de sammenhænge, hvor personen arbejder.
Belbin Ltd forklarer opbygningen på siden What are Observer Assessments?. Den danske gennemgang af observatørfeedback i Belbin viser, hvordan forskellene kan omsættes til en kvalificeret samtale.
Normering gør rå point til en fortolkelig profil
Self-Perception Inventory anvender en prioriterende svarform. Respondenten fordeler point mellem udsagn, der opleves som relevante. Det skaber et relativt mønster: hvilke bidrag træder tydeligst frem i forhold til personens øvrige valg?
De rå point behandles i Interplace og sammenholdes med Belbins normdata. Normgrundlaget rummer mere end 250.000 selvvurderinger og mere end 640.000 observatørvurderinger fra 32 lande. Selv- og observatørdata behandles hver for sig, fordi de beskriver forskellige perspektiver.
Denne behandling er en afgørende forskel mellem en original Belbin-profil og et kopieret spørgeskema med en hjemmelavet pointtabel. Den gratis kopi har ikke adgang til den aktuelle normering, algoritmerne eller den integrerede observatørfeedback.
Læs mere om Belbins normgrundlag og den løbende forskning.
Hvorfor ipsativ scoring bruges
BTRSPI er ipsativ på den måde, at respondenten fordeler et fast antal point inden for hver sektion. Personen må prioritere mellem udsagn frem for at erklære sig enig i dem alle. Det reducerer muligheden for blot at vælge det socialt attraktive svar gennem hele spørgeskemaet.
Ipsativ scoring betyder samtidig, at svarene inden for en sektion er indbyrdes afhængige. Hvis ét udsagn får flere point, er der færre til de andre. Det stiller særlige krav til statistisk behandling og betyder, at man ikke ukritisk kan anvende alle analyser udviklet til uafhængige Likert-skalaer.
De enkelte Teamrolleelementer er fordelt på tværs af otte sektioner, og den samlede score for en Teamrolle er ikke fast. Den aktuelle normering gør det muligt at fortolke mønstret på tværs af en større referencegruppe.
Ipsativiteten er derfor både et bevidst designvalg og et område, der kræver korrekt analyse. Den er ikke i sig selv et bevis hverken for eller imod metodens kvalitet.
Den aktuelle rapport skal være genstanden for vurderingen
En stor del af kritikken af Belbin tager udgangspunkt i tidlige versioner af Self-Perception Inventory. Det er legitimt som historisk forskning, men konklusionerne skal knyttes til det produkt, der faktisk blev undersøgt.
Det aktuelle Belbin-system omfatter otte sektioner, normeret scoring, Individrapporter og mulighed for observatørvurderinger. Når man vurderer validitet og reliabilitet, skal det være tydeligt, om undersøgelsen handler om en tidlig selvscoret version, en oversat kopi eller en original rapport fra Interplace.
Det samme gælder praktiske erfaringer. En dårlig workshop, en forsimplet tilbagemelding eller en facilitator, der kalder mennesker for én bestemt Teamrolle, er ikke dokumentation for modellens konstruktion. Det er dokumentation for en mangelfuld anvendelse. Den relevante kritik af metoden og svarene på den er samlet på siden kritik af Belbin-metoden.
Hvad dokumentationen betyder for valget af profil
En køber bør kunne få svar på fem spørgsmål: Hvad måler værktøjet? Hvilke data anvender det? Hvordan behandles svarene? Hvilken dokumentation findes for den aktuelle version? Og hvordan forbindes resultatet med den arbejdssituation, profilen skal bruges i?
Belbin har et tydeligt svar på alle fem. Metoden beskriver observerbare Teamrollebidrag. Den kan kombinere selvopfattelse med feedback fra andre. Interplace behandler svarene ved hjælp af den aktuelle scoring og internationale normer. Den tekniske manual beskriver konstruktion, reliabilitet og validitet. Rapporterne er udviklet til individuelle, relationelle, team- og jobrelaterede spørgsmål.
Det gør ikke en profil til et facit om et menneske. Det gør den til et dokumenteret arbejdsredskab, der kan kvalificere samtaler og beslutninger. Ved rekruttering skal faglighed, erfaring, motivation, strukturerede interviews og andre relevante oplysninger stadig indgå. Ved teamudvikling skal rapporten forbindes med opgaven og den adfærd, teamet faktisk viser.
Potential har udarbejdet en praktisk guide til hvordan man vurderer kvaliteten af en test eller profil. Den kan bruges som tjekliste, når forskellige værktøjer skal sammenlignes.
Dokumentation får værdi, når den kan bruges
Belbins dokumentation er ikke kun et forsvar for metoden. Den hjælper brugeren med at anvende resultatet præcist. Adfærdsfokusset beskytter mod at gøre mennesker til typer. Observatørfeedbacken bringer den synlige virkning ind i samtalen. Normeringen forklarer, hvorfor en original rapport er noget andet end en pointtælling. Den fortsatte forskning og udvikling forbinder det historiske fundament med den løsning, organisationer anvender i dag.
For den enkelte betyder det en profil, der kan undersøges gennem konkrete arbejdssituationer. For teamet betyder det et fælles sprog for bidrag, overlap og mangler. For organisationen betyder det, at valget af værktøj kan begrundes med mere end popularitet og genkendelse.
Se Belbin Individrapporten for den konkrete opbygning af en original profil, eller bestil en Belbin-profil, hvis I vil arbejde med jeres egne data.