Undervisningsmaterialer

Benchmarking

Find dit næste undervisningsmaterialer til filosofi med børn og unge eller kunstig intelligens, som inkluderer temaet ‘Benchmarking’.

Teksten er skabt med tekst-til-tekst-generatoren GPT-5.6 Sol og derefter gennemlæst og revideret af Martin Kongshave. Alle “tags” er skabt på denne måde, da de blot har til formål, at pege på et tema, som du kan finde i de pågældende læremidler. Læremidlerne er skabt superduper autentisk af Tankespirerne.

Benchmarking betyder her, at man vurderer og sammenligner chatbots ved hjælp af bestemte opgaver, kriterier eller målinger. Det kan for eksempel være, hvor præcist en chatbot besvarer faglige spørgsmål, hvor godt den ræsonnerer, hvor ofte den producerer faktuelle fejl, eller hvor robust den er over for misvisende instruktioner. Men en benchmark måler aldrig en chatbot helt neutralt. Allerede valget af spørgsmål bestemmer, hvilke egenskaber der bliver synlige, og hvilke der forsvinder ud af vurderingen. En chatbot kan derfor klare sig fremragende på én benchmark og dårligt på en anden uden dermed ganske enkelt at være »bedre« eller »dårligere«. Filosofisk gør benchmarking det tydeligt, at enhver måling forudsætter en idé om, hvad der tæller som en god præstation. At måle intelligens, kvalitet eller pålidelighed kræver først, at man beslutter, hvad disse ord skal betyde i den konkrete sammenhæng.

En klasse sammenligner to chatbots ved at stille dem de samme ti spørgsmål. Den ene giver korrekte svar på otte spørgsmål, den anden på syv. Det ser umiddelbart ud til, at den første chatbot har klaret sig bedst. Men på ét af spørgsmålene giver den første et meget sikkert formuleret, faktuelt forkert svar, mens den anden svarer, at den er usikker. Hvordan skal det tælle? Skal et forkert, selvsikkert svar koste mere end et manglende svar? Og hvad hvis nogle af de ti spørgsmål viser sig at være langt vanskeligere end de andre? Eleverne opdager hurtigt, at sammenligningen afhænger af, hvad de vælger at belønne. Benchmarken er dermed ikke blot et termometer, der aflæser en allerede eksisterende kvalitet. Den er også et system, der bestemmer, hvilke former for adfærd der får værdi.

Problemet har paralleller til klassiske filosofiske spørgsmål om måling, erkendelse og kriterier. Allerede i videnskabsfilosofien har man diskuteret, hvordan observationer formes af de begreber og metoder, vi bruger til at undersøge verden. I nyere filosofi om kunstig intelligens bliver dette særligt tydeligt, fordi ord som »intelligens«, »forståelse«, »ræsonnement« og »sikkerhed« ofte omsættes til målbare resultater. En benchmark kan være nyttig, netop fordi den gør sammenligning mulig, men dens resultater får først mening gennem fortolkning. Spørgsmålet er derfor ikke kun, hvilken chatbot der får den højeste score, men også hvad scoren faktisk repræsenterer. Benchmarking åbner dermed for et grundlæggende spørgsmål om evaluering: Når vi gør noget målbart, opdager vi så dets kvalitet, eller er vi samtidig med til at definere, hvad kvalitet overhovedet skal være?

Tankespirernes undervisningsmaterialer understøtter en dialogisk, kritisk tænkende, undersøgende og kerende klassekultur, hvor børn og unge kan forme deres holdning og stillingtagen til de vigtigste filosofiske og teknologiske spørgsmål i deres tilværelse og i skolefagene.

No results found.