The AQ test, scored three different ways
I ran the Autism-Spectrum Quotient test this morning. Not for the first time, but for the first time with any real attention to how it’s actually scored — and it turns out the scoring is the more interesting part.
The standard version has a trap built in
The AQ-50 is a 50-statement self-report screening questionnaire, answered on a 4-point forced-choice scale: Definitely Agree, Slightly Agree, Slightly Disagree, Definitely Disagree. No neutral option. Each item is reverse-keyed in one direction or the other — for roughly half the items, agreeing is the trait-coded answer; for the other half, disagreeing is. You don’t get told which is which, obviously, since that would defeat the point.
That design has a specific failure mode. If someone answers carelessly, or leans toward agreement regardless of content (a well-documented response bias called acquiescence), they’ll only ever pick up points on the ~24 items where agreeing happens to be the trait-coded direction, and miss the other ~26 entirely.
Testing that directly
So I ran it twice.
First pass: “Definitely Agree” on every single item, including directly contradictory ones — item 11 (“I find social situations easy”) and item 22 (“I find it hard to make new friends”) both agreed with, which can’t both be true of anyone. Not a genuine self-report, deliberately. Scored against the published key, it landed at 24/50 — below even the lower of the two published screening cutoffs (26), despite never once disagreeing with anything.
Second pass: an honest, considered answer to every item, this time on a 7-point scale instead of the original 4-point one — Strongly Disagree through Strongly Agree, with an actual Not Sure midpoint, built with a small tool I put together for exactly this. Four items landed on Not Sure, which the original forced-choice instrument has no way to represent at all, so the real ceiling on this run was 46, not 50. Scored the same way — one point per item where the response direction matched the key — this landed at 18/46.
The honest run scored lower than the blanket-agree one. That’s the finding worth sitting with. Not because genuinely considering each item somehow produces a “worse” result — because blanket-agreeing happens to collect points on exactly the subset of items where it accidentally lines up with the trait-coded direction, and a real answer doesn’t get that accidental assist. The instrument did what reverse-keying is supposed to do: catch exactly this kind of response pattern. It just means the raw number, on its own, tells you less than it looks like it tells you.
Scoring also throws away information on purpose
Once I had answers on a 7-point scale, the binary scoring above collapses them right back down — “Strongly Agree” and “Slightly Agree” score the exact same single point, which quietly discards the entire reason to use a finer scale in the first place.
So I added a second method: weight each item’s contribution by its actual magnitude (+1 to +3, or -1 to -3) rather than just whether it landed on the right side at all. Same 50 answers, scored this way: -21 (on a possible ±150 range). Negative, and not a close call — most of the answers that went against the trait-coded direction were full “Agree,” not a hedged “Slightly,” so they pulled hard. It’s the same conclusion as the binary score, just with the actual weight of the answers behind it instead of a flattened yes/no.
The actual point
None of this is a diagnosis, and I’m not treating it as one — the AQ is a screening tool, and a self-report number isn’t a clinical finding no matter how carefully it’s scored. What it is: a decent small example of something I keep running into with self-report instruments generally — the number is downstream of a lot of design decisions (forced choice vs. a real scale, binary vs. weighted scoring, how reverse-keying interacts with response bias), and those decisions can move the result by a wide margin without anyone having answered any differently. The tool this came out of isn’t AQ-specific — paste in any list of statements and it’ll run the same three scoring methods against them, plus an experimental per-item tagging layer I’m still working out the exact rules for. More on that once it actually settles into something worth writing up on its own.
Ich habe heute Morgen den Autism-Spectrum-Quotient-Test gemacht. Nicht zum ersten Mal, aber zum ersten Mal mit echter Aufmerksamkeit dafür, wie er eigentlich ausgewertet wird — und es stellt sich heraus, dass die Auswertung der interessantere Teil ist.
Die Standardversion hat eine eingebaute Falle
Der AQ-50 ist ein Selbstauskunfts-Screening-Fragebogen mit 50 Aussagen, beantwortet auf einer 4-Punkte-Zwangswahlskala: Stimme voll zu, Stimme eher zu, Stimme eher nicht zu, Stimme überhaupt nicht zu. Keine neutrale Option. Jede Aussage ist in eine von zwei Richtungen „reverse-keyed“ — bei etwa der Hälfte der Aussagen ist Zustimmung die merkmalscodierte Antwort, bei der anderen Hälfte Ablehnung. Man erfährt natürlich nicht, welche welche ist, da das den Zweck zunichtemachen würde.
Dieses Design hat ein bestimmtes Scheitermuster. Wenn jemand unaufmerksam antwortet oder unabhängig vom Inhalt zur Zustimmung neigt (ein gut dokumentierter Antwort-Bias namens Akquieszenz), sammelt er oder sie nur bei den ~24 Aussagen Punkte, bei denen Zustimmung zufällig die merkmalscodierte Richtung ist, und verpasst die anderen ~26 komplett.
Das direkt getestet
Also habe ich ihn zweimal durchgeführt.
Erster Durchgang: „Stimme voll zu“ bei jeder einzelnen Aussage, einschließlich direkt widersprüchlicher — Aussage 11 („Ich finde soziale Situationen leicht“) und Aussage 22 („Es fällt mir schwer, neue Freunde zu finden“) beide bejaht, was bei niemandem gleichzeitig zutreffen kann. Absichtlich keine echte Selbstauskunft. Nach dem veröffentlichten Schlüssel ausgewertet, landete das bei 24/50 — unter dem niedrigeren der beiden veröffentlichten Screening-Grenzwerte (26), obwohl nicht ein einziges Mal widersprochen wurde.
Zweiter Durchgang: eine ehrliche, überlegte Antwort auf jede Aussage, diesmal auf einer 7-Punkte-Skala statt der ursprünglichen 4-Punkte-Skala — Stimme überhaupt nicht zu bis Stimme voll zu, mit einem echten Mittelpunkt „Unsicher“, gebaut mit einem kleinen Tool, das ich genau dafür zusammengestellt habe. Vier Aussagen landeten bei „Unsicher“, was das ursprüngliche Zwangswahl-Instrument überhaupt nicht abbilden kann, also lag die tatsächliche Obergrenze bei diesem Durchgang bei 46, nicht bei 50. Genauso ausgewertet — ein Punkt pro Aussage, bei der die Antwortrichtung mit dem Schlüssel übereinstimmt — landete das bei 18/46.
Der ehrliche Durchgang erzielte einen niedrigeren Wert als der durchgängig zustimmende. Das ist der Befund, bei dem es sich zu verweilen lohnt. Nicht weil echtes Überlegen bei jeder Aussage irgendwie ein „schlechteres“ Ergebnis produziert — sondern weil durchgängiges Zustimmen zufällig genau bei der Teilmenge von Aussagen Punkte sammelt, bei denen es sich zufällig mit der merkmalscodierten Richtung deckt, und eine echte Antwort diese zufällige Schützenhilfe nicht bekommt. Das Instrument hat genau das getan, wofür Reverse-Keying gedacht ist: genau dieses Antwortmuster zu erkennen. Es bedeutet nur, dass die rohe Zahl für sich genommen weniger aussagt, als es den Anschein hat.
Auswertung verwirft auch absichtlich Information
Sobald ich Antworten auf einer 7-Punkte-Skala hatte, komprimiert die binäre Auswertung oben sie gleich wieder zurück — „Stimme voll zu“ und „Stimme eher zu“ ergeben genau denselben einzelnen Punkt, was leise den ganzen Grund verwirft, überhaupt eine feinere Skala zu verwenden.
Also habe ich eine zweite Methode hinzugefügt: den Beitrag jeder Aussage nach ihrer tatsächlichen Stärke gewichten (+1 bis +3, oder -1 bis -3) statt nur danach, ob sie überhaupt auf der richtigen Seite landet. Dieselben 50 Antworten, so ausgewertet: -21 (bei einem möglichen Bereich von ±150). Negativ, und keine knappe Sache — die meisten Antworten, die gegen die merkmalscodierte Richtung gingen, waren volles „Stimme zu“, kein zurückhaltendes „Stimme eher zu“, also zogen sie stark. Dieselbe Schlussfolgerung wie beim binären Wert, nur mit dem tatsächlichen Gewicht der Antworten dahinter statt einem flachgedrückten Ja/Nein.
Der eigentliche Punkt
Nichts davon ist eine Diagnose, und ich behandle es auch nicht als eine — der AQ ist ein Screening-Tool, und eine Selbstauskunftszahl ist kein klinischer Befund, egal wie sorgfältig sie ausgewertet wird. Was es ist: ein ordentliches kleines Beispiel für etwas, auf das ich bei Selbstauskunfts-Instrumenten generell immer wieder stoße — die Zahl ist das Ergebnis vieler Design-Entscheidungen (Zwangswahl vs. echte Skala, binäre vs. gewichtete Auswertung, wie Reverse-Keying mit Antwort-Bias zusammenwirkt), und diese Entscheidungen können das Ergebnis um einen großen Spielraum verschieben, ohne dass jemand auch nur eine einzige Antwort anders gegeben hätte. Das Tool, aus dem das entstanden ist, ist nicht AQ-spezifisch — beliebige Aussagen einfügen, und es wendet dieselben drei Auswertungsmethoden darauf an, plus eine experimentelle Pro-Aussage-Tagging-Ebene, bei der ich noch an den genauen Regeln arbeite. Mehr dazu, sobald sich das tatsächlich zu etwas setzt, das einen eigenen Beitrag wert ist.