Reconstructing a scoring key you're not supposed to haveEinen Auswertungsschlüssel rekonstruieren, den man nicht haben soll
Last post was about the scores — three different numbers out of the same 50 answers, and why the “honest” one came out lower than the “blanket agree” one. This one is about something those numbers all quietly depend on: a key. Fifty yes/no calls, one per item, saying which direction counts toward the trait. None of that gets handed to you when you take the test. You’re not supposed to have it.
Why you don't get the key
That’s not an oversight, it’s the point — if you knew in advance that disagreeing with “I find social situations easy” scores a point and agreeing with “I prefer to do things the same way over and over again” scores a point, you could game the whole instrument in either direction, deliberately or not. The key stays behind the curtain so the only thing driving your answer is the statement itself.
Which left me with a real problem once I wanted to actually score anything: I didn’t have a confidently-memorized copy of the official key. So instead of pretending I did, I rebuilt it — item by item, by asking what agreeing versus disagreeing with each one would actually imply about the trait the AQ claims to measure.
What that reasoning looks like
Some items make this easy. “I prefer to do things with others rather than on my own” — agreeing is the non-trait answer, disagreeing (preferring solitary activity) is the trait-coded one. “I notice patterns in things all the time” — agreeing straightforwardly fits the systemizing/pattern-detection trait, no inference required. Most of the 50 land like this: read the statement, ask which answer points toward the autism-spectrum-associated trait, done.
A few needed a second step. “I would rather go to the theater than to a museum” sounds neutral on its face, but a museum is the systematic, factual, object-oriented venue and a theater is the social-performance one — so disagreeing (preferring the museum) is the trait direction, even though nothing in the sentence says “systematic” or “social” outright. That’s the pattern behind most of the trickier items: the trait-coded answer isn’t stated, it’s implied by what the two options represent.
Where the reasoning actually got shaky
Three items, out of fifty, I genuinely wasn’t confident on: “I am not very good at remembering phone numbers,” “I am not very good at remembering people’s date of birth,” and the museum/theater one above. The phone-number and birthday items both require the same inverted inference — the statement is phrased as a deficit (“not very good at”), so disagreeing with it means claiming you’re good at remembering strings of numbers and dates, which fits the same detail-memory pattern as two other items about car plates and numeric fascination. That’s a reasonable call, but it’s one more inferential step than most items need, and I flagged all three rather than present a reconstructed guess as if it were a confirmed fact.
A different way to sanity-check it
Once you actually have answers in hand rather than just a blank key to fill in, there’s a second way to approach this that doesn’t start from the item text at all: look at the answer you gave, and ask whether it should count toward the trait or not — then let the key fall out of that, instead of setting Agree/Disagree directly. I built this into the tool from the first post as a “Counts / Doesn’t count” flag next to each item’s actual response: flag an answer as counting, and the direction of that specific answer becomes the key for that item.
It’s a genuinely different lens on the same 50 calls — reasoning from the statement’s content outward versus reasoning from your own answer backward — and for every item I was confident about, they agreed. For the three I wasn’t, having both methods available at least makes it visible which few calls in a scored result are actually resting on an inference chain instead of something closer to certain.
What this changes
Not much about the headline numbers from the last post — 47 of 50 keyed with real confidence doesn’t move an 18/46 or a -21 meaningfully even if all three uncertain ones flipped. What it does change is how much weight the number itself deserves. Any AQ score you see reported online, including the uniform-agree and honest runs here, is downstream of someone’s key, and unless that someone is citing the actual published instrument rather than a memory of it, it’s worth asking whether they’re in the same position I was: reasonably confident, not actually certain, and better off saying so than not.
Der letzte Beitrag ging um die Werte — drei verschiedene Zahlen aus denselben 50 Antworten, und warum der „ehrliche“ niedriger ausfiel als der „durchgängig zustimmende“. Dieser hier geht um etwas, von dem all diese Zahlen still und leise abhängen: einen Schlüssel. Fünfzig Ja/Nein-Entscheidungen, eine pro Aussage, die festlegen, welche Richtung auf das Merkmal einzahlt. Nichts davon bekommt man beim Ausfüllen des Tests mitgeliefert. Man soll ihn nicht haben.
Warum man den Schlüssel nicht bekommt
Das ist kein Versehen, das ist der Sinn der Sache — wenn man vorher wüsste, dass Ablehnung von „Ich finde soziale Situationen leicht“ einen Punkt gibt und Zustimmung zu „Ich mache Dinge gerne immer auf dieselbe Weise“ einen Punkt gibt, könnte man das ganze Instrument in beide Richtungen manipulieren, absichtlich oder nicht. Der Schlüssel bleibt hinter dem Vorhang, damit allein die Aussage selbst die Antwort steuert.
Das hat mich vor ein echtes Problem gestellt, sobald ich tatsächlich etwas auswerten wollte: Ich hatte keine sicher auswendig gelernte Kopie des offiziellen Schlüssels. Also habe ich, statt so zu tun, als hätte ich sie, ihn neu aufgebaut — Aussage für Aussage, indem ich gefragt habe, was Zustimmung gegenüber Ablehnung bei jeder einzelnen tatsächlich über das Merkmal aussagt, das der AQ zu messen behauptet.
Wie diese Überlegung aussieht
Bei manchen Aussagen ist das einfach. „Ich mache Dinge lieber mit anderen zusammen als allein“ — Zustimmung ist die Nicht-Merkmal-Antwort, Ablehnung (Vorliebe für Einzelaktivität) die merkmalscodierte. „Ich bemerke ständig Muster in Dingen“ — Zustimmung passt direkt zum Systemisierungs-/Mustererkennungs-Merkmal, keine Schlussfolgerung nötig. Die meisten der 50 funktionieren so: Aussage lesen, fragen, welche Antwort auf das mit dem Autismus-Spektrum assoziierte Merkmal hinweist, fertig.
Ein paar brauchten einen zweiten Schritt. „Ich würde lieber ins Theater als ins Museum gehen“ klingt auf den ersten Blick neutral, aber ein Museum ist der systematische, faktenbasierte, objektorientierte Ort und ein Theater der soziale Aufführungsort — also ist Ablehnung (Vorliebe für das Museum) die merkmalscodierte Richtung, obwohl nichts im Satz wörtlich „systematisch“ oder „sozial“ sagt. Das ist das Muster hinter den meisten der schwierigeren Aussagen: Die merkmalscodierte Antwort steht nicht da, sie wird durch das impliziert, wofür die beiden Optionen stehen.
Wo die Überlegung tatsächlich wackelig wurde
Bei drei von fünfzig Aussagen war ich wirklich nicht sicher: „Ich kann mir Telefonnummern nicht besonders gut merken“, „Ich kann mir Geburtstage von Leuten nicht besonders gut merken“, und die Museum/Theater-Aussage oben. Die Telefonnummer- und Geburtstags-Aussagen brauchen beide dieselbe invertierte Schlussfolgerung — die Aussage ist als Defizit formuliert („nicht besonders gut“), also bedeutet Ablehnung, zu behaupten, man sei gut darin, sich Zahlenreihen und Daten zu merken, was zum selben Detail-Gedächtnis-Muster passt wie zwei andere Aussagen über Autokennzeichen und Zahlenfaszination. Das ist eine vertretbare Einschätzung, aber ein Schlussfolgerungsschritt mehr, als die meisten Aussagen brauchen, und ich habe alle drei markiert, statt eine rekonstruierte Vermutung als bestätigte Tatsache darzustellen.
Eine andere Art, es gegenzuprüfen
Sobald man tatsächliche Antworten vorliegen hat statt nur einen leeren Schlüssel zum Ausfüllen, gibt es einen zweiten Ansatz, der gar nicht beim Aussagentext anfängt: die gegebene Antwort ansehen und fragen, ob sie auf das Merkmal einzahlen sollte oder nicht — und den Schlüssel daraus ableiten, statt Zustimmung/Ablehnung direkt festzulegen. Das habe ich in das Tool aus dem ersten Beitrag eingebaut, als „Zählt / Zählt nicht“-Markierung neben der tatsächlichen Antwort zu jeder Aussage: eine Antwort als zählend markieren, und die Richtung dieser spezifischen Antwort wird zum Schlüssel für diese Aussage.
Das ist eine wirklich andere Perspektive auf dieselben 50 Entscheidungen — vom Aussageninhalt nach außen schließen gegenüber von der eigenen Antwort rückwärts schließen — und bei jeder Aussage, bei der ich mir sicher war, stimmten beide überein. Bei den drei, bei denen ich es nicht war, macht es zumindest sichtbar, welche wenigen Entscheidungen in einem ausgewerteten Ergebnis tatsächlich auf einer Schlussfolgerungskette beruhen statt auf etwas, das näher an Gewissheit liegt.
Was das ändert
An den Kopfzahlen aus dem letzten Beitrag nicht viel — 47 von 50 mit echter Sicherheit geschlüsselt verschiebt ein 18/46 oder ein -21 nicht nennenswert, selbst wenn alle drei unsicheren kippen würden. Was sich ändert, ist, wie viel Gewicht die Zahl selbst verdient. Jeder AQ-Wert, den man irgendwo veröffentlicht sieht, einschließlich der durchgängig zustimmenden und der ehrlichen Durchgänge hier, hängt von jemandes Schlüssel ab, und sofern diese Person nicht das tatsächlich veröffentlichte Instrument zitiert statt einer Erinnerung daran, lohnt es sich zu fragen, ob sie in derselben Lage war wie ich: einigermaßen sicher, nicht wirklich gewiss, und besser dran, das auch zu sagen.