Nu när skolans första månad är slut kan föräldrarna göra sig redo för nästa milstolpe i skolåret - de kommer snart att få rapporter om de statliga testerna som deras barn tog förra året.

Mina uppskattningar visar att ungefär 26 miljoner studenter i offentliga skolor tog statewide test i läsning och matte förra året. Många av dem tog också statewide test i vetenskap. Dessa tester ger viktig information till föräldrarna om hur bra deras barn gör i skolan.

Men min forskning visar också att när föräldrar får sitt barns testresultatrapport, kan de ha svårt att skilja den viktiga informationen från statistisk gibberish.

Dessutom ger resultaten inte ens rätt information om deras barns akademiska tillväxt.

Är ditt barn skickligt?

Inget barn kvar efter lagen, som antogs i 2002, krävde att alla stater skulle sätta "prestationsnivåstandarder" i läsning och matematik för betyg tre till åtta och för en klass i gymnasiet, vanligtvis 10th eller 11th grade. Staterna var också skyldiga att utveckla test för att mäta elevernas nivå av "skicklighet" på varje test.

Den nya federala lagen gick i december 2015, den Varje student framgångsrik lag (ESSA), kommer att fortsätta denna praxis.

Som ett resultat får testrapporterna föräldrar att klassificera barn i prestationsnivåer som "grundläggande" eller "skickliga". Varje stat bestämmer vad dessa klassificeringar heter, men minst en kategori måste innebära "skicklig".

Dessa prestationsnivåkategorier beskrivs i testresultatrapporterna, och så är denna information lättförståelig för föräldrarna. Till exempel tycker jag att det är användbart varje år att se om mina söner når kompetens inom varje ämnesområde.

Men barns testresultat i ett givet år, och deras prestationsnivå, är inte den enda information som rapporteras i vissa stater. Ett nytt statistiskt index, kallat "studenttillväxt percentil" hittar sin väg in i rapporterna skickas hem till föräldrar i 11-stater. Tjugosju stater använder detta index för att utvärdera lärare också.

Även om en åtgärd av elevernas "tillväxt" eller framsteg låter som en bra ide, har studenttillväxtprocentiler ännu inte stöds av forskning. Faktiskt flera studier tyder på de Ge inte noggranna beskrivningar av studenternas framsteg och lärarens effektivitet.

Vad betyder det?

Vad är exakt "studenttillväxtprocentiler"?

De är index föreslagna i 2008 av Damian W. Betebenner, en statistiker som föreslog att de skulle användas som en beskrivande åtgärd av elevernas "akademiska tillväxt" från ett skolår till nästa. Tanken var att beskriva elevernas framsteg jämfört med sina kamrater.

Liksom de tillväxtdiagram som barnläkare använder för att beskriva barnens höjd och vikt varierar studenttillväxtprocentiler från en låg av en till en hög av 99. Men deras beräkning innebär mycket mer fel än fysisk mätning, såsom höjd och vikt. Vår forskning vid University of Massachusetts Amherst indikerar väsentligt fel i deras beräkning.

Studenttillväxtprocentiler är härledda från testresultat, vilket inte är helt noggranna beskrivningar av elevernas akademiska färdighet: Testresultat påverkas av många faktorer, såsom frågorna på en viss dag, elevernas temperament, deras engagemang när de tar testa eller bara de metoder som används för att få betyg på deras svar.

Varje elevs tillväxtprocentil beräknas med minst två olika testresultat, vanligtvis ett år eller mer ifrån varandra. De senaste testresultaten av en elev jämförs sedan med de senaste testresultaten av studenter som hade liknande poäng i tidigare år. Det här är att se vilka av de elever som hade högre eller lägre poäng i år.

Problemet är emellertid att varje beräkningar har något mätfel. Ytterligare beräkningar förknippade bara det felet. Så mycket så att resultaten hamnar med dubbelt så mycket fel. Ingen statistisk förfining kan radera detta fel.

Frågan är varför är så många stater som använder en sådan opålitlig åtgärd?

Använda det för ansvar

Användningen av studenttillväxtprocentiler beror dels på en önskan att se hur mycket studenter lär sig under ett visst år och att länka den utvecklingen till ansvarssystem som lärarutvärdering.

I 2010, den Race-to-the-Top-bidragskonkurrens inbjudna stater att komma fram till innovativa sätt att använda testresultat för att utvärdera lärare, vilket banade vägen för denna nya åtgärd av "tillväxt" för att tillämpas snabbt i många stater.

Användningen av studenttillväxtprocentiler började dock innan forskning gjordes på grund av deras noggrannhet. Först nu finns det tillräckligt med forskning för att utvärdera dem, och alla studier pekar på samma slutsats - de innehåller mycket fel.

Förutom vår forskning vid University of Massachusetts Amherst har forskning om noggrannheten av studenttillväxtprocentiler genomförts av utbildningsorganisationer som icke-vinstdrivande organisationer såsom WestEd, Utbildningstestning och andra forskningsinstitutioner. forskare JR Lockwood och Katherine E. Castellano nyligen ingått att "En väsentlig forskningsbas noterar redan att studenttillväxtprocentilestimat för enskilda studenter har stora fel."

Men många stater verkar vara omedvetna om dessa forskningsresultat. Massachusetts går så långt som till klassificera barn med tillväxtprocentiler mindre än 40 som "lägre tillväxt" och barn med tillväxtprocentiler större än 60 som "högre tillväxt".

Mäta lärarens prestanda

Som jag nämnde tidigare använder 27-staterna studenttillväxtprocentiler för att klassificera lärare som "effektiva" eller "ineffektiva". Forskning om användningen av tillväxtprocentiler för detta ändamål tyder på att de kunde underskatta prestationen av de mest effektiva lärarna, och överskatta prestanda av de minst effektiva lärarna - det exakta motsatsen till vad dessa stater försöker göra med sina utvärderingssystem för lärare.

En ny rapport från WestEd utvärderade användningen av studenttillväxtprocentiler för utvärdering av lärare och ingås de "uppfyllde inte en stabilitetsnivå" som skulle behövas för sådana höga beslut.

Låt oss gå tillbaka till traditionella åtgärder

Jag tror att studenttillväxtprocentiler har tagit oss ett steg bakåt i användningen av pedagogiska test för att förbättra studentinlärningen.

Traditionella åtgärder av barns prestation på utbildningsprov, som om de är "skickliga" under ett visst år och deras faktiska testresultat, ger en bra uppfattning om hur bra de utförde i matematik eller läsning under ett visst år.

Dessa traditionella percentilgrupper rapporteras fortfarande på många utbildningsprov, precis som de var när vi som föräldrar var i skolan. Traditionella percentilgrupper jämförde oss med en nationell eller statlig grupp under ett visst år, i stället för att jämföra oss med hur andra barn i landet eller staten "växte" över olika tester som de tog i olika år, eftersom studenttillväxtprocentiler försöker göra.

Med tanke på vad vi nu vet om studenttillväxtprocentiler, är mitt råd till föräldrar inte bara att ignorera dem på sina barns testresultatrapporter, utan också att kontakta deras statliga utbildningsdepartement och fråga varför de rapporterar en sådan opålitlig statistik.

Att utveckla åtgärder av hur mycket studenter har lärt sig under ett år är ett bra mål. Tyvärr gör studenttillväxtprocentiler inte ett bra jobb att mäta det.

Om författaren

Stephen Sireci, professor i utbildningspolitiken, University of Massachusetts Amherst

Den här artikeln publicerades ursprungligen den Avlyssningen. Läs ursprungliga artikeln.

Relaterade böcker:

at InnerSelf Market och Amazon