ArchivDeutsches Ärzteblatt39/2013Wirksamkeit kognitiver Trainingsprogramme im Kindes- und Jugendalter
Als E-Mail versenden...
Auf facebook teilen...
Twittern...
Drucken...

Hintergrund: Kognitive Therapien zielen auf eine Verbesserung kognitiver Basisfunktionen, unabhängig von ihrer Ursache ab. Kindzentriert kommen hierbei verhaltenstherapeutische und computergestützte Trainingsprogramme bei Kindern mit unterschiedlichen Krankheitsbildern zum Einsatz. Eine Metaanalyse zur Wirksamkeit dieser Trainings fehlt bislang.

Methodik: Systematischer Review in den Datenbanken Medline, Embase, PsycINFO, PSYNDEX sowie ERIC und Metaanalyse kindzentrierter kognitiver Trainings zur Verbesserung von Aufmerksamkeit, Gedächtnisleistung, exekutiven Funktionen (primäres Ergebnis) und Verhalten/Psychopathologie, Intelligenz und Schulleistung (sekundäres Ergebnis). Mittelwertdifferenzen zwischen Therapie- und Kontrollgruppe werden als Standarddeviation-Scores (SD) berichtet.

Ergebnis: Von 1 661 identifizierten Publikationen wurden 22 Studien (17 randomisierte kontrollierte Studien) eingeschlossen. Die Zielparameter wurden mit über 90 verschiedenen Testverfahren gemessen. Der Gesamteffekt der kognitiven Trainings auf Aufmerksamkeit (0,18 SD, 95-%-KI = [−0,11; 0,47]) und exekutive Funktionen (0,17 SD, 95-%-KI = [−0,12; 0,46]) war konsistent gering. Ein vergleichsweise hoher Effekt wurde für Gedächtnisleistungen (0,65 SD, 95-%-KI = [−0,12; 1,42]) bei starker Heterogenität (I 2 = 82 %) gefunden, bedingt durch zwei Studien. In dem Bereich Verhalten/Psychopathologie wurden die größten Effekte berichtet (0,58 SD, 95-%-KI = [0,31; 0,85]). Sie basierten jedoch hauptsächlich auf Studien ohne aktive Kontrollgruppe.

Schlussfolgerung: Kindzentrierte kognitive Trainings erzielten generell günstige, vermutlich jedoch unspezifische Effekte im Bereich des Verhaltens. Dagegen waren die Effekte bezüglich des spezifischen Ergebnisses insgesamt gering. Nur für einzelne Therapien und Therapieindikationen konnten Effekte nachgewiesen werden.

LNSLNS

Kognitive Therapie- und Trainingsprogramme beziehen sich auf kognitionsstützende Basisfunktionen, insbesondere Aufmerksamkeit, Merkfähigkeit und Gedächtnis, visuell-räumliche Wahrnehmung sowie exekutive Funktionen. Kindzentriert werden hierbei die kognitive Verhaltenstherapie (KVT) (nach Meichenbaum et al. [1] modifiziert von Lauth und Schlottke [2]) und computergestützte Trainingsprogramme (CTPs), zum Beispiel Captain´s Log, Cog Med oder Rehacom (eTabelle 1), angewandt. Durch Verbesserung gestörter Basisfunktionen sollen die resultierenden Fähigkeitsstörungen gelindert werden. Sie werden bei Kindern mit folgenden Störungen eingesetzt:

Studiencharakteristika der in die Metaanalyse aufgenommenen Studien
Tabelle 1
Studiencharakteristika der in die Metaanalyse aufgenommenen Studien
Kognitive Trainings, die in der Metaanalyse einbezogen wurden
eTabelle 1
Kognitive Trainings, die in der Metaanalyse einbezogen wurden
  • mentale Entwicklungsstörungen
  • erhebliche Aufmerksamkeitsstörungen
  • erworbene Hirnfunktionsstörungen beziehungsweise -schädigungen, auch nach leichteren Schädelhirntraumen (e1, e2).

Die häufigste Indikation gilt Kindern mit Aufmerksamkeitsdefizitstörungen und/oder Hyperaktivitätsstörungen (ADS/ADHS), weil eine rein medikamentöse Behandlung kritisch hinterfragt wird (3). Die besten Effekte bei Kindern mit ADS/ADHS wurden durch die Kombination von medikamentöser Therapie mit intensivem verhaltenstherapeutischem Training von Kind, und Bezugspersonen erzielt (4, 5). Ob solche umfangreichen und langfristigen Behandlungsprogramme generell (außerhalb einer Studie) im elterlichen und schulischen Alltag umgesetzt werden können, ist unklar (6).

Systematische Literaturanalysen zur Evaluation von KVT bei Erwachsenen nach erworbenen Hirnschädigungen (79) belegen nur teilweise deren Effektivität, weil die Studien nicht allen wissenschaftlichen Kriterien genügen.

Für das Kindes- und Jugendalter werden zwar günstige Ergebnisse für einzelne Interventionen mitgeteilt, die Effekte sind aber methodisch nicht ausreichend abgesichert (10, 11). Die Effekte von KVT bei Kindern mit ADS/ADHS oder mit entwicklungsbedingten Lernstörungen werden unterschiedlich beurteilt (1214). Kritisiert wird auch, dass ein Transfer, zum Beispiel von erworbenen Lerntechniken und verbesserten Basisfunktionen, auf die Schulleistungen und den familiären Alltag bei isolierten Trainings nicht überzeugend nachgewiesen werden konnte (13).

Gemeinsam ist allen Therapieansätzen bei kognitiven Trainings, dass sie günstige Effekte in mindestens einer der Basisfunktionen oder ihrer Teilfunktionen, wie zum Beispiel selektive oder geteilte Aufmerksamkeit oder Arbeitsgedächtnis, anstreben. Deshalb erscheint eine Synopse der Wirksamkeitsstudien in Form einer Metaanalyse sinnvoll, wobei es unerheblich ist, ob diese günstigen Effekte durch verhaltenstherapeutische oder PC-gestützte Ansätze erreicht werden sollen. Führen also kognitiven Therapien zur Verbesserung kognitionsstützender Funktionen und verbessern sie Verhalten, Intelligenz und Schulleistung?

Methoden

Patientenkollektiv/Indikationen

Bezüglich des Patientenkollektivs wurde bei der Literatursuche keine Einschränkung festgelegt: Die Interventionen erfolgten bei Patienten mit erworbenen Hirnschädigungen, mit Aufmerksamkeitsstörungen bei ADS /ADHS, mit speziellen Lernstörungen, und zur Verbesserung der kognitiven Leistung bei Gesunden.

Interventionen und -ziele

Es wurden kindzentrierte Therapieansätze analysiert: KVT oder CPTs. Diese Therapien können von Ärzten als ergotherapeutische Leistung verordnet werden (§ 38 Heilmittelrichtlinien: Hirnleistungstraining/neuropsychologisch orientierte Therapie). Die Interventionen sind nicht krankheitsspezifisch, sondern fokussieren auf unterschiedliche Funktionsstörungen: Störung von Aufmerksamkeitsleistungen, Gedächtnis, exekutiv Funktionen (zum Beispiel Fähigkeit zur Selbstregulation des Verhaltens und zur reflexiven Problemlösung) und visuell-räumlicher Wahrnehmung. Diese waren die Hauptzielparameter der Metaanalyse. Darüber hinaus wurden sekundäre Effekte auf die Nebenzielparameter Verhalten, Intelligenz und Schulleistung untersucht.

Kontrollen

Die Vergleichsgruppe wurde jeweils aus dem gleichen Patientenkollektiv rekrutiert: ohne (passive Kontrollgruppe) oder mit Therapien mit anderem postulierten Wirkmechanismus (aktive Kontrollgruppe).

Ergebnismessung

Die Therapieeffekte wurden unmittelbar nach Therapieende bestimmt. Bei den hierbei verwendeten Tests wurden keine Vorgaben gemacht, jedoch mussten definierten Kriterien hinsichtlich Konstruktrelevanz und Konstruktrepräsentanz erfüllt sein. Um die Effektmaße zusammenfassen zu können, verglichen die Autoren die jeweiligen Z-score-Differenzen zwischen Interventions- und Kontrollgruppe.

Suchstrategie

Es wurde eine systematische Literaturrecherche in den Datenbanken Medline, Embase, PsycINFO, PSYNDEX und ERIC (bis 5. März 2012) ohne Einschränkung bezüglich der Studienart und Publikationsjahre durchgeführt; Sprachen englisch und deutsch. 1 661 identifizierte Publikationen wurden anhand der Zusammenfassung auf ihre Eignung überprüft; 37 potenziell geeignete Studien sowie 28 weitere in diesen Studien identifizierte Publikationen wurden im Volltext analysiert unter Verwendung der CONSORTS-Checklisten für nonpharmakologische Therapiestudien (38). In der Metaanalyse konnten 22 Studien berücksichtigt werden (eGrafik).

Flussdiagramm
eGrafik
Flussdiagramm

Eine ausführliche Darstellung der Methodik ist im Internetsupplement verfügbar (eSupplement).

Ergebnisse

Es wurden 22 Publikationen aus der Zeit von 1986 bis 2012 in die Metaanalyse einbezogen (Tabelle 1) mit Daten von 905 Kindern und Jugendlichen, die älter als fünf Jahre waren und aus neun verschiedenen Ländern kamen. In allen Studien war die Abbruchrate in der Trainingsgruppe mit durchschnittlich 5,6 % gering. Die Ursache und Ausprägung der heterogenen Störungsbilder sind in der Regel gut beschrieben. Die Kriterien zu den Diagnosen ADS oder ADHS orientieren sich an ICD beziehungsweise DSM, entsprechend der aktuellen Versionen der Klassifikationssysteme im Studienzeitraum. Erworbene Hirnschäden waren durch Schädel-Hirn-Traumen, HIV-Infektionen, zerebrale Malaria oder Hirntumoren verursacht.

Die eingesetzten CPTs unterschieden sich methodisch und in ihren Zielsetzungen. Detaillierte Informationen sind aus der eTabelle 1. Die Dauer der therapeutischen Trainings betrug zwischen ein bis sechs Monate (maximal ein Jahr bei Kozulin [27]). Die Messwerte wurden in der Regel unmittelbar nach der Trainingsphase erhoben. Für sechs Studien (18, 2123, 26, 30) liegen zusätzlich Follow-up-Daten nach 2,5 bis 6 Monaten vor. Bestehende medikamentöse Therapien wurden weitergeführt.

Messinstrumente

Eine Zuordnung der Messinstrumente zu den Ergebnisparametern zeigt eTabelle 2.

Zur Qualität der Studien der in die Metaanalyse aufgenommen Studien
Tabelle 2
Zur Qualität der Studien der in die Metaanalyse aufgenommen Studien
Bewertung der Testverfahren bzw. Messinstrumente, die für die Berechnung der Effektstärken einbezogen wurden
eTabelle 2
Bewertung der Testverfahren bzw. Messinstrumente, die für die Berechnung der Effektstärken einbezogen wurden

Qualität der Studien

Bei der Beurteilung der Studienqualität wurden statistische und psychometrisch methodische Aspekte berücksichtigt (Tabelle 2). Eine Randomisierung durch Erzeugung einer Randomisierungssequenz und eine verdeckte Gruppenzuteilung erfolgten nur bei drei Studien (2123). Studienteilnehmer beziehungsweise Trainingspersonal waren meist nicht verblindet, weil oft ein Warte-Kontrollgruppen-Design gewählt wurde. Jedoch wurde in einigen Studien bei der Datenerhebung eine Verblindung versucht. Datenverlust und Ausscheiden von Studienteilnehmern wurden in allen Studien begründet. In sieben Studien (16, 21, 23, 25, 27, 35, 37) wurde eine Auswertung nach ITT (Intention to treat) dokumentiert.

In den Studien wurden etwa 90 Testverfahren eingesetzt. Dabei reicht das Spektrum von ad-hoc konstruierten Instrumenten bis zu international gebräuchlichen, gut validierten und normierten Verfahren. Sowohl für die primären als auch für die sekundären Ziele kamen Verfahren zum Einsatz, die überwiegend als adäquat bewertet wurden.

Gesamteffekte und Subgruppenanalysen

Primäre Zielkriterien

Aufmerksamkeit – Der Gesamteffekt der kognitiven Trainings auf die Aufmerksamkeit war gering (0,18 SD, 95-%-KI=[−0,11; 0,47]) (Tabelle 3). In Subgruppenanalysen zeigte sich durchwegs eine geringe Heterogenität zwischen diesen:

Forest plots für Haupt- und Nebenzielparameter
Tabelle 3
Forest plots für Haupt- und Nebenzielparameter
  • Art der Diagnose (ADHS/ADS, spezielle Lernstörungen, erworbene Hirnschäden, Gesunde) I= 39 %
  • Art der Therapie (CPTs versus KVT) I= 33 %
  • Qualität der Studien, I= 19 %
  • Medikation (mit versus ohne Methylphenidat) I2 = 0 %
  • Elternberatung (mit versus ohne Elternberatung durchgeführt) I= 0 %

Gedächtnis – Ausgeprägter, jedoch ebenfalls mit einen 95-%-Konfidenzintervall, das Null- beziehungsweise ungünstige Effekte einschloss, war die Effektstärke für den Bereich Gedächtnis (0,65 SD, 95-%-KI = [−0,12; 1,42]). Die relativ hohen Punktschätzer waren im Wesentlichen durch zwei Studien erklärbar (25, 28), die auch für die hohe Heterogenität (I2= 82 %) verantwortlich waren. Während die Studie von Lepach (28) methodische Schwächen aufwies (keine verblindete Randomisierung, sowie ungenaue Angaben zur Verblindung der Datenerhebung und ITT-Auswertung), erfüllte eine der Studien von Klingberg (25) bei kleiner Fallzahl die üblichen Anforderungen an methodisch gute Studien weitgehend. In beiden Studien von Klingberg (24, 25) war die gewählte Intervention (Arbeitsgedächtnistraining) eine Besonderheit. Für die übrigen Studien zeigte sich kein Effekt auf die Gedächtnisleistung (0,06 SD, 95-%-KI=[−0,33, 0,46]), unabhängig von Art der Diagnose, Studienqualität, Art der Therapie und Medikation.

Exekutive Funktionen – Die Effektstärken des kognitiven Trainings für exekutiven Funktionen waren konsistent gering (0,17 SD, 95-%-KI=[−0,12; 0,46]).

Sekundäre Zielkriterien

Verhalten/Psychopathologie – In dem Bereich Verhalten/Psychopathologie wurden die größten Effekte berichtet (0,58 SD, 95-%-KI = [0,31; 0,85]). Bei der Prüfung auf mögliche unspezifische Effekte zeigte sich, dass die Effekte bei den Studien mit passiver Kontrollgruppe (N = 11) (0,80 SD, 95-%-KI = [0,39; 1,21] ) ausgeprägter (I2= 71 %) als bei Studien mit aktiver Kontrollgruppe (N = 11) (0,25 SD, 95-%-KI = [−0,19, 0,68]) waren.

Intelligenz – Es ergab sich ein geringer Gesamteffekt. Effekte, deren Konfidenzintervall Null-Effekte nicht einschloss, zeigten sich allein in der Studie von Lauth (37), bei der Kinder mit Lernschwäche mit einem speziellen Lernkompetenztraining therapiert werden.

Schulleistung – Hier zeigten sich ebenfalls nur geringe Effekte. Der Effektnachweis wird allein durch die Studie von Lauth (37) erklärt, die als einzige Studie Patienten mit speziellen Lernstörungen untersuchte.

Auch bezüglich dieser sekundären Ergebnisparameter wurden die Therapieeffekte von Studien mit aktiver und passiver Kontrollgruppe verglichen. Jedoch zeigten sich geringe Gruppenunterschiede (Schulleistung: I2= 31 %; Intelligenz: I2= 0 %)

Subgruppenanalyse ADHS

Eine Subgruppenanalyse wurde ausschließlich bei Patienten mit ADHS vorgenommen. Grund dafür waren, dass die meisten Studien bei Kindern mit ADHS durchgeführt wurden und diese Störung in der öffentlichen Diskussion von besonderem Interesse ist. Hierbei zeigte sich ein nahezu identisches Muster:

  • geringe Effekt auf Aufmerksamkeit (0,38 SD, 95-%-KI=[−0,13; 0,90]) und exekutive Funktionen (0,23 SD, 95-%-KI=[−0,11; 0,58])
  • mittelstarke Effekte bei Gedächtnis (0,51 SD, 95-%-KI = [−0,16; 1,17]).

Dabei waren die Effekte auf das Gedächtnis begrenzt auf Trainingsprogramme für das Arbeitsgedächtnis mit dem Lernprogramm Robomemo. Auch bei Kindern mit ADHS zeigten sich günstige, Effekte auf das Verhalten (0,57 SD, 95-%-KI = [0,18; 0,97]), wobei diese nur bei Studien mit passiver Kontrollgruppe erkennbar waren. Für die übrigen sekundären Ergebnisparameter konnten auch hier keine Effekte gefunden werden (Intelligenz: 0,15 SD, 95-%-KI = [−0,44; 0,74]; Schulleistung: –0,08 SD, 95-%-KI=[−0,81; 0,65]).

Langzeiteffekte

Für fünf Studien (18, 21-23, 26) liegen nicht nur Daten zu Therapieeffekten nach Abschluss der Intervention, sondern auch mit Folgemessung 2,5 bis 5 Monaten nach Trainingsende vor, so dass Aussagen zur Nachhaltigkeit der Therapieeffekte möglich wurden. Während bezüglich der exekutiven Funktionen die gepoolten Therapieeffekte unmittelbar nach Therapieende höher waren als nach längerem Verlauf (Therapiedifferenz 0,21 SD, 95-%-KI = [−0,07; 0,50]), zeigte sich eine solche Differenz für Verhalten/Psychopathologie (Therapiedifferenz 0,04 SD, 95-%-KI = [−0,22; 0,30]) nicht.

Diskussion

Primäres Ziel der kognitiven Trainings ist die Verbesserung spezifischer kognitiver Funktionen wie Aufmerksamkeit, Gedächtnis, exekutive Funktionen. Die Effekte für Aufmerksamkeit waren – in allen Studien konsistent – gering wobei die 95-%-Konfidenzintervalle des gepolten Effekts eine Überlegenheit der Kontrollgruppe einschlossen. Bezüglich des Gedächtnisses war der Gesamteffekt höher bei ausgeprägter Heterogenität: Während in den meisten Studien kein Effekt beobachtet wurde, waren in drei Studien (33, 34, 36) welche erkennbar, die möglicherweise durch Besonderheiten des verwendeten kognitiven Trainings erklärt werden könnten. Bezüglich der sekundären Zielparameter zeigten sich insgesamt mittelstarke günstige Effekte auf das Verhalten, die möglicherweise aber nicht spezifisch für kognitive Verhaltenstherapien sind.

Einige Einzelstudien zur Wirksamkeit kognitiver Therapien stellten „signifikante“ Verbesserungen in Teilaspekten heraus. Die wesentliche Stärke der Metaanalyse ist die systematische Berücksichtigung aller verfügbaren Studien zu dieser Thematik und deren Quantifizierung: die Effektstärken verschiedener Tests wurden über die jeweilige Standardabweichung standardisiert und vergleichbar gemacht. Zwar lagen auch früheren Übersichtsarbeiten systematische Recherchen zugrunde (10, 11, 13, 39), die beobachteten Effekte konnten jedoch quantitativ weder verglichen noch zusammengefasst werden.

Für den Kliniker sind die Studienergebnisse hinsichtlich der primären Zielparameter ernüchternd. Bezüglich der Aufmerksamkeit war allein in der Studie von Galbiati (35) ein eindeutiger Effekt zu erkennen, während in den übrigen Studien minimale oder keine Effekte beobachtet wurden. Eine Besonderheit dieser Studie war die Patientenpopulation und Therapie: Bei Kindern mit Aufmerksamkeitsstörungen nach schwerem Schädel-Hirn-Trauma wurden alle kognitiven Bereiche über sechs Monate mit CPT (Rehacom) therapiert. Die fehlende Randomisierung der Studie schränkt jedoch die Aussagekraft ein. Für die Gedächtnisleistung wurden in drei Studien (25, 26, 28) klare Effekte nachgewiesen. Diese Studien waren von unterschiedlicher methodischer Qualität: In der Studie von Lepach (28) fehlte eine saubere Randomisierung und es war unklar, ob das Ergebnis blind bestimmt wurde und ob es eine ITT-Analyse gab, so dass die Validität fraglich erscheint. Die erste Studie von Klingberg (25) zeigte starke Effekte, deren 95-%-Konfidenzintervall Null-Effekte nicht beinhaltet, wobei lediglich Unklarheiten bei der Randomisierung die Studienqualität einschränkten. Bei dem Versuch, die Ergebnisse in einer größeren, ebenfalls methodisch hochwertigen Studie (als einzige Schwäche: fehlende ITT-Auswertung) zu bestätigen, ergab sich ein geringerer Effekt dessen 95-%-Konfidenzintervall Null-Effekte inkludierte. Die Besonderheit der beiden Studien von Klingberg war das Arbeitsgedächtnistraining mit dem CPT RoboMemo. Für diese spezifische Therapie scheint somit Effektivität möglich. Dies wird bestätigt durch die Studie von Thorell (31), der das gleiche Trainingsinstrument bei Gesunden einsetzte. Auch die Studie von Thorell war bis auf fehlende ITT-Auswertung methodisch gut. Bezüglich der exekutiven Funktionen zeigten die meisten Studien keine oder nur geringe Effekte, bis auf die bereits erwähnte Studie von Klingberg (25). Günstige Einflüsse auf die Sekundärparameter (Verhalten, Schulleistung, Intelligenz) wären von besonderer klinischer Relevanz. Der günstige Gesamteffekt der kognitiven Therapie auf Verhalten reflektierte diese Effekte bei Studien mit passiver Kontrollgruppe, während in Studien mit aktiver Kontrollgruppe diese nicht zu erkennen waren. Passive Kontrollgruppe heißt „keine Therapie in der Kontrollgruppe“. Deshalb erscheint es wahrscheinlich, dass die günstigen Effekte auf das Verhalten eher unspezifische Therapieeffekte der Zuwendung durch Therapie darstellen. Bei den anderen Sekundärparametern (Schulleistung und Intelligenz) ließen sich keine konsistent günstigen Effekte nachweisen. Nur in einer Studie (37) konnten diese sowohl auf Intelligenz als auch Schulleistung nachgewiesen werden.

Diese Effekte reflektieren möglicherweise die Tatsache, dass in dieser Studie mit einigen methodischen Mängeln bei Patienten mit klar definierter Lernstörung mit einem hierfür spezifischen Lernkompetenztraining therapiert wurden.

Eine potenzielle Limitation der vorliegenden Metaanalyse könnte in der Heterogenität von Grundkrankheiten, Therapie, Intensität beziehungsweise Dauer der Interventionen und verwendeten Tests liegen, während in früheren systematischen Reviews häufig eine Fokussierung auf definierte Grundkrankheiten erfolgte (10, 11, 13). Die Analyse über ein breites Spektrum von Grundkrankheiten erscheint jedoch gerechtfertigt, weil diese Therapien nicht die Grundkrankheit behandeln, sondern spezifische Funktionsstörungen verbessern sollen. Diese spezifischen Funktionen sind die primären Zielparameter dieser Metaanalyse. Bestätigt wird dies außerdem durch die Subgruppenanalyse bei Kindern mit ADHS, bei der sich ein identisches Muster wie in der Gesamtanalyse mit allen Grundkrankheiten zeigte. Durch die Verwendung eines einheitlichen Bewertungsmaßstabs für unterschiedliche Testverfahren konnten deren quantitative Ergebnisse verglichen werden. Potenziell unterschiedlichen Effekte spezifischer Therapien können im „Forest plot“ identifiziert werden. In der Tat zeigte sich, dass einzelne spezifische Therapien hier wahrscheinlich wirksamer waren als die übrigen eingesetzten Verfahren.

Auffällig war die geringe Abbruchrate für alle Therapien. Dies spricht für eine gute Akzeptanz der mehrwöchigen KVT oder CPTs, so dass bei objektivierbar günstigen Effekten auf die Zielparameter wiederholte Trainingsphasen sinnvoll erscheinen.

Schlussfolgerung

Kognitive Trainings stellen potenzielle Elemente einer umfassenden Therapie unter Einbeziehung von Bezugspersonen und Berücksichtigung der Lebensbedingungen dar. Die Metaanalyse zeigte günstige, jedoch wahrscheinlich unspezifische Effekte im Bereich des Verhaltens, einem sekundären Ergebnisparameter. Bezüglich der spezifischen, primären Ergebnisparameter waren die Effektstärken gering, wobei die 95-%-Konfidenzintervalle Null- und Negativeffekte mit einschlossen. Nur für einzelne therapeutische Trainings und Therapieindikationen konnten spezifische Effekte nachgewiesen werden. Um diese spezifischen Therapieindikationen zu identifizieren, müssen die Patienten jedoch neuropsychologisch sehr genau untersucht sein.

Formeln zur Berechnung der Effektstärke und zur Gewichtung der Studien in der Metaanalyse
eKasten
Formeln zur Berechnung der Effektstärke und zur Gewichtung der Studien in der Metaanalyse

Interessenkonflikt

Die Autoren erklären, dass kein Interessenkonflikt besteht.

Manuskriptdaten
eingereicht: 15. 1. 2013, revidierte Fassung angenommen: 30. 4. 2013

Anschrift für die Verfasser
Prof. Dr. med. Rüdiger von Kries
Institut für sozaile Pädiatrie und Jugendmedizin
Ludwig-Maximilians-Universität
Heigelhofstraße 63
81377 München
ruediger.kries@med.uni-muenchen.de

Zitierweise
Karch D, Albers L, Renner G, Lichtenauer N, von Kries R: The efficacy of cognitive training programs in children and adolescents—a meta-analysis. Dtsch Arztebl Int 2013; 110(39): 643–52. DOI: 10.3238/arztebl.2013.0643

@Mit „e“ gekennzeichnete Literatur:
www.aerzteblatt.de/lit3913

eSupplement:
www.aerzteblatt.de/13m0643

The English version of this article is available online:
www.aerzteblatt-international.de

1.
Meichenbaum DH, Goodman J: Training impulsive children to talk to themselves: a means of developing self-control. J Abnorm Psychol 1971; 77: 115–26. CrossRef MEDLINE
2.
Lauth GW, Schlottke PF: Training mit aufmerksamkeitsgestörten Kindern. Weinheim: Beltz; 2002. PubMed Central
3.
Bundesärztekammer: Stellungnahme zur Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung (ADHS). Dtsch Arztebl 2005; 102(51–52): A-3609–16. VOLLTEXT
4.
Conners CK, Epstein JN, March JS, et al.: Multimodal treatment of ADHD in the MTA: an alternative outcome analysis. J Am Acad Child Adolesc Psychiatry. 2001; 40: 159–67. CrossRef MEDLINE
5.
The MTA Cooperative Group: A 14-month randomized clinical trial of treatment strategies for attention-deficit/hyperactivity disorder. Multimodal Treatment Study of Children with ADHD. Arch Gen Psychiatry 1999; 56: 1073–86. CrossRef MEDLINE
6.
Döpfner M, Breuer D, Schürmann S, Metternich TW, Rademacher C, Lehmkuhl G: Effectiveness of an adaptive multimodal treatment in children with Attention-Deficit Hyperactivity Disorder—global outcome. Eur Child Adolesc Psychiatry 2004; 13 Suppl 1: 117–29. CrossRef MEDLINE
7.
Rohling ML, Faust ME, Beverly B, Demakis G: Effectiveness of cognitive rehabilitation following acquired brain injury: a meta-analytic re-examination of Cicerone et al.’s (2000, 2005) systematic reviews. Neuropsychology 2009; 23: 20–39. CrossRef MEDLINE
8.
Sturm W: Evidenzbasierte Verfahren in der neuropsychologischen Rehabilitation: Therapie von Aufmerksamkeitsstörungen. Neuro Rehabil. 2010; 16: 55–62.
9.
G-BA: Stellungnahme zur ambulanten Neuropsychologischen Therapie. www.g-ba.de/downloads/40-268-1791; 2011. Last accessed on 18 June 2013.
10.
Slomine B, Locascio G: Cognitive rehabilitation for children with acquired brain injury. Dev Disabil Res Rev 2009; 15: 133–43. CrossRef MEDLINE
11.
Ross KA, Dorris L, McMillan T: A systematic review of psychological interventions to alleviate cognitive and psychosocial problems in children with acquired brain injury. Dev Med Child Neurol 2011; 53: 692–701. CrossRef MEDLINE
12.
Buch SR, Diener C, Sparfeldt JR: Kognitive Förderung. Psychologische Förder- und Interventionsprogramme für das Kindes- und Jugendalter. Heidelberg: Springer; 2009.
13.
Toplak ME, Connors L, Shuster J, Knezevic B, Parks S: Review of cognitive, cognitive-behavioral, and neural-based interventions for Attention-Deficit/Hyperactivity Disorder (ADHD). Clin Psychol Rev 2008; 28: 801–23. CrossRef MEDLINE
14.
Domsch H, Lohaus A: Psychologische Förder- und Interventionsprogramme für das Kindes- und Jugendalter. Heidelberg: Springer; 2009. MEDLINE
15.
Banaschewski T, Rothenberger A. Eine Evaluation des sensomotorischen Trainings bei Kindern mit ADHS. Motorik 2006; 29: 57–64.
16.
Bangirana P, Giordani B, John CC, Page C, Opoka RO, Boivin MJ: Immediate neuropsychological and behavioral benefits of computerized cognitive rehabilitation in Ugandan pediatric cerebral malaria survivors. J Dev Behav Pediatr. 2009; 30: 310–8. CrossRef MEDLINE PubMed Central
17.
Boivin MJ, Busman RA, Parikh SM, et al.: A pilot study of the neuropsychological benefits of computerized cognitive rehabilitation in Ugandan children with HIV. Neuropsychology 2010; 24: 667–73. CrossRef MEDLINE
18.
Brown RT, Borden KA, Wynne ME, Schleser R, Clingerman SR: Methylphenidate and cognitive therapy with ADD children: a methodological reconsideration. J Abnorm Child Psychol 1986; 14: 481–97. CrossRef MEDLINE
19.
Butler RW, Copeland DR, Fairclough DL, et al.: A multicenter, randomized clinical trial of a cognitive remediation program for childhood survivors of a pediatric malignancy. J Consult Clin Psychol 2008; 76: 367–78. CrossRef MEDLINE PubMed Central
20.
Chenault BM: Effects of prior attention training and a composition curriculum with attention bridges for students with dyslexia and/or dysgraphia. [Washington]: University of Washington; 2004.
21.
Fehlings DL, Roberts W, Humphries T, Dawe G: Attention deficit hyperactivity disorder: does cognitive behavioral therapy improve home behavior? J Dev Behav Pediatr 1991; 12: 223–8. CrossRef MEDLINE
22.
Jaeggi SM, Buschkuehl M, Jonides J, Shah P: Short- and long-term benefits of cognitive training. Proc Natl Acad Sci U.S.A. 2011; 108: 10081–6. CrossRef MEDLINE PubMed Central
23.
Kausch T: Evaluation Kognitiv-behavioraler Interventionsmethoden zur Behandlung von aufmerksamkeitsdefizit- und hyperaktivitätsgestörten Kindern: Messung Einzel- und Additiveffekten. Tübingen: Universität Tübingen; 2002. Dissertation.
24.
Döpfner M, Schürmann S, Frölich J: Therapieprogramm für Kinder mit hyperkinetischem und oppositionellem Problemverhalten:THOP. (2nd revised edition). Weinheim: Psychologie Verlags Union; 1998.
25.
Klingberg T, Forssberg H, Westerberg H: Training of working memory in children with ADHD. J Clin Exp Neuropsychol 2002; 24: 781–91. CrossRef MEDLINE
26.
Klingberg T, Fernell E, Olesen PJ, et al.: Computerized training of working memory in children with ADHD—a randomized, controlled trial. J Am Acad Child Adolesc Psychiatry 2005; 44: 177–86. CrossRef MEDLINE
27.
Kozulin A, Lebeer J, Madella-Noja A, et al.: Cognitive modifiability of children with developmental disabilities: a multicentre study using Feuerstein’s Instrumental Enrichment—Basic program. Res Dev Disabil 2010; 31: 551–9. CrossRef MEDLINE
28.
Lepach AC, Petermann F: Wirksamkeit neuropsychologischer Therapie bei Kindern mit Merkfähigkeitsstörungen. Kindheit und Entwicklung 2009; 18: 105–10. CrossRef
29.
Lomas KM: Computer-assisted cognitive training with elementary school-age children diagnosed with attention-deficit/hyperactivity disorder and mild/moderate comorbidity: A short-term prospective study on attention, planning and behavior. Washington: Howard University; 2002. Dissertation.
30.
Sonntag W: Der Einfluss des Klauerschen Denktrainings auf mathematisches Denken und Lernen von lernbehinderten Sonderschülern. ZfPP 2004; 18: 101–11.
31.
Thorell LB, Lindqvist S, Bergman Nutley S, Bohlin G, Klingberg T: Training and transfer effects of executive functions in preschool children. Dev Sci 2009; 12: 106–13. CrossRef MEDLINE
32.
Tucha O, Tucha L, Kaumann G, et al.: Training of attention functions in children with attention deficit hyperactivity disorder. Atten Defic Hyperact Disord 2011; 3: 271–83. CrossRef MEDLINE PubMed Central
33.
Braun J, Weyhreter H, Köhnlein O, Storck M, Bode H: Kognitives Training: Ein Programm zur Förderung von Vorschulkindern mit intellektuellen Defiziten. Psychologie in Erziehung und Unterricht; 47: 10–7.
34.
Dreisörner Thomas: Wirksamkeit verhaltenstherapeutischer Gruppenprogramme bei Kindern mit Aufmerksamkeitsdefizit- und Hyperaktivitätsstörungen (ADHS). Kindheit und Entwicklung 2006; 15: 255–66. CrossRef
35.
Galbiati S, Recla M, Pastore V, et al.: Attention remediation following traumatic brain injury in childhood and adolescence. Neuropsychology 2009; 23: 40–9. CrossRef MEDLINE
36.
Lauth GW, Naumann K, Roggenkämper A, Heine A: Verhaltensmedizinische Indikation und Evaluation einer kognitiv-behavioralen Therapie mit aufmerksamkeitsgestörten/hyperaktiven Kindern. Z Kinder- Jugendpsychiat 1996; 24: 164–75.
37.
Lauth GW, Husein S, Spieß R: Lernkompetenztraining bei leistungsschwachen Grundschülern. Kindheit und Entwicklung. 2006; 15: 229–38. CrossRef
38.
Boutron I, Moher D, Altman DG, Schulz KF, Ravaud P: Methods and processes of the CONSORT Group: example of an extension for trials assessing nonpharmacologic treatments. Ann Intern Med 2008; 148: W60–6. CrossRef MEDLINE
39.
Abikoff H: Cognitive training in ADHD children: less to it than meets the eye. J Learn Disabil 1991; 24: 205–9. CrossRef MEDLINE
e1.
Yeates KO, Taylor HG: Neurobehavioural outcomes of mild head injury in children and adolescents. Pediatr Rehabil 2005; 8: 5–16. MEDLINE
e2.
Crowe LM, Catroppa C, Babl FE, Anderson V: Intellectual, behavioral, and social outcomes of accidental traumatic brain injury in early childhood. Pediatrics 2012; 129: e262–8. CrossRef MEDLINE
e3.
Park BS, Allen DN, Barney SJ, Ringdahl EN, Mayfield J: Structure of attention in children with traumatic brain injury. Appl Neuropsychol. 2009; 16: 1–10. CrossRef MEDLINE
e4.
Barkley RA: Behavioral inhibition, sustained attention, and executive functions: constructing a unifying theory of ADHD. Psychol Bull 1997; 121: 65–94. CrossRef MEDLINE
e5.
Ylvisaker M, Turkstra L, Coehlo C, et al.: Behavioural interventions for children and adults with behaviour disorders after TBI: a systematic review of the evidence. Brain Inj 2007; 21: 769–805. CrossRef MEDLINE
e6.
Ylvisaker M, Adelson PD, Braga LW, et al.: Rehabilitation and ongoing support after pediatric TBI: twenty years of progress. J Head Trauma Rehabil 2005; 20: 95–109. CrossRef MEDLINE
e7.
Borenstein M, Hedges LV, Higgins JPT, Rothstein HR: Introduction to Meta-Analysis. Chichester, West Sussex, United Kingdom: John Wiley & Sons; 2009.
e8.
Cohen J: Statistical Power Analysis for the Behavioral Sciences. New York: Academic Press; 1969.
e9.
Hedges L: Distribution therory for Glass’s estimator of effect size and related estimators. Journal of Educational Statistics. 1981; 6: 107–28.
e10.
Kline RB: Beyond significance testing: Reforming data analysis methods in behavioural research. Washington: American Psychological Association 2004.
Klinik für Kinderneurologie und Sozialpädiatrie, Kinderzentrum Maulbronn gGmbH, Maulbronn:
Prof. Dr. med. Karch
Institut für soziale Pädiatrie und Jugendmedizin, Ludwig-Maximilians-Universität, München: Dipl.-Math. Albers
Pädagogische Hochschule Ludwigsburg, Fakultät für Sonderpädagogik, Reutlingen: Prof. Dr. Dipl. Renner
Altötting: B. Sc. Ergotherapeut (FH) Lichtenauer
Institut für soziale Pädiatrie und Jugendmedizin, Ludwig-Maximilians-Universität, München:
Prof. Dr. med. von Kries
Studiencharakteristika der in die Metaanalyse aufgenommenen Studien
Tabelle 1
Studiencharakteristika der in die Metaanalyse aufgenommenen Studien
Zur Qualität der Studien der in die Metaanalyse aufgenommen Studien
Tabelle 2
Zur Qualität der Studien der in die Metaanalyse aufgenommen Studien
Forest plots für Haupt- und Nebenzielparameter
Tabelle 3
Forest plots für Haupt- und Nebenzielparameter
Flussdiagramm
eGrafik
Flussdiagramm
Formeln zur Berechnung der Effektstärke und zur Gewichtung der Studien in der Metaanalyse
eKasten
Formeln zur Berechnung der Effektstärke und zur Gewichtung der Studien in der Metaanalyse
Kognitive Trainings, die in der Metaanalyse einbezogen wurden
eTabelle 1
Kognitive Trainings, die in der Metaanalyse einbezogen wurden
Bewertung der Testverfahren bzw. Messinstrumente, die für die Berechnung der Effektstärken einbezogen wurden
eTabelle 2
Bewertung der Testverfahren bzw. Messinstrumente, die für die Berechnung der Effektstärken einbezogen wurden
1.Meichenbaum DH, Goodman J: Training impulsive children to talk to themselves: a means of developing self-control. J Abnorm Psychol 1971; 77: 115–26. CrossRef MEDLINE
2.Lauth GW, Schlottke PF: Training mit aufmerksamkeitsgestörten Kindern. Weinheim: Beltz; 2002. PubMed Central
3.Bundesärztekammer: Stellungnahme zur Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung (ADHS). Dtsch Arztebl 2005; 102(51–52): A-3609–16. VOLLTEXT
4.Conners CK, Epstein JN, March JS, et al.: Multimodal treatment of ADHD in the MTA: an alternative outcome analysis. J Am Acad Child Adolesc Psychiatry. 2001; 40: 159–67. CrossRef MEDLINE
5.The MTA Cooperative Group: A 14-month randomized clinical trial of treatment strategies for attention-deficit/hyperactivity disorder. Multimodal Treatment Study of Children with ADHD. Arch Gen Psychiatry 1999; 56: 1073–86. CrossRef MEDLINE
6.Döpfner M, Breuer D, Schürmann S, Metternich TW, Rademacher C, Lehmkuhl G: Effectiveness of an adaptive multimodal treatment in children with Attention-Deficit Hyperactivity Disorder—global outcome. Eur Child Adolesc Psychiatry 2004; 13 Suppl 1: 117–29. CrossRef MEDLINE
7.Rohling ML, Faust ME, Beverly B, Demakis G: Effectiveness of cognitive rehabilitation following acquired brain injury: a meta-analytic re-examination of Cicerone et al.’s (2000, 2005) systematic reviews. Neuropsychology 2009; 23: 20–39. CrossRef MEDLINE
8.Sturm W: Evidenzbasierte Verfahren in der neuropsychologischen Rehabilitation: Therapie von Aufmerksamkeitsstörungen. Neuro Rehabil. 2010; 16: 55–62.
9.G-BA: Stellungnahme zur ambulanten Neuropsychologischen Therapie. www.g-ba.de/downloads/40-268-1791; 2011. Last accessed on 18 June 2013.
10.Slomine B, Locascio G: Cognitive rehabilitation for children with acquired brain injury. Dev Disabil Res Rev 2009; 15: 133–43. CrossRef MEDLINE
11.Ross KA, Dorris L, McMillan T: A systematic review of psychological interventions to alleviate cognitive and psychosocial problems in children with acquired brain injury. Dev Med Child Neurol 2011; 53: 692–701. CrossRef MEDLINE
12.Buch SR, Diener C, Sparfeldt JR: Kognitive Förderung. Psychologische Förder- und Interventionsprogramme für das Kindes- und Jugendalter. Heidelberg: Springer; 2009.
13.Toplak ME, Connors L, Shuster J, Knezevic B, Parks S: Review of cognitive, cognitive-behavioral, and neural-based interventions for Attention-Deficit/Hyperactivity Disorder (ADHD). Clin Psychol Rev 2008; 28: 801–23. CrossRef MEDLINE
14.Domsch H, Lohaus A: Psychologische Förder- und Interventionsprogramme für das Kindes- und Jugendalter. Heidelberg: Springer; 2009. MEDLINE
15.Banaschewski T, Rothenberger A. Eine Evaluation des sensomotorischen Trainings bei Kindern mit ADHS. Motorik 2006; 29: 57–64.
16.Bangirana P, Giordani B, John CC, Page C, Opoka RO, Boivin MJ: Immediate neuropsychological and behavioral benefits of computerized cognitive rehabilitation in Ugandan pediatric cerebral malaria survivors. J Dev Behav Pediatr. 2009; 30: 310–8. CrossRef MEDLINE PubMed Central
17.Boivin MJ, Busman RA, Parikh SM, et al.: A pilot study of the neuropsychological benefits of computerized cognitive rehabilitation in Ugandan children with HIV. Neuropsychology 2010; 24: 667–73. CrossRef MEDLINE
18.Brown RT, Borden KA, Wynne ME, Schleser R, Clingerman SR: Methylphenidate and cognitive therapy with ADD children: a methodological reconsideration. J Abnorm Child Psychol 1986; 14: 481–97. CrossRef MEDLINE
19.Butler RW, Copeland DR, Fairclough DL, et al.: A multicenter, randomized clinical trial of a cognitive remediation program for childhood survivors of a pediatric malignancy. J Consult Clin Psychol 2008; 76: 367–78. CrossRef MEDLINE PubMed Central
20.Chenault BM: Effects of prior attention training and a composition curriculum with attention bridges for students with dyslexia and/or dysgraphia. [Washington]: University of Washington; 2004.
21.Fehlings DL, Roberts W, Humphries T, Dawe G: Attention deficit hyperactivity disorder: does cognitive behavioral therapy improve home behavior? J Dev Behav Pediatr 1991; 12: 223–8. CrossRef MEDLINE
22.Jaeggi SM, Buschkuehl M, Jonides J, Shah P: Short- and long-term benefits of cognitive training. Proc Natl Acad Sci U.S.A. 2011; 108: 10081–6. CrossRef MEDLINE PubMed Central
23.Kausch T: Evaluation Kognitiv-behavioraler Interventionsmethoden zur Behandlung von aufmerksamkeitsdefizit- und hyperaktivitätsgestörten Kindern: Messung Einzel- und Additiveffekten. Tübingen: Universität Tübingen; 2002. Dissertation.
24.Döpfner M, Schürmann S, Frölich J: Therapieprogramm für Kinder mit hyperkinetischem und oppositionellem Problemverhalten:THOP. (2nd revised edition). Weinheim: Psychologie Verlags Union; 1998.
25.Klingberg T, Forssberg H, Westerberg H: Training of working memory in children with ADHD. J Clin Exp Neuropsychol 2002; 24: 781–91. CrossRef MEDLINE
26.Klingberg T, Fernell E, Olesen PJ, et al.: Computerized training of working memory in children with ADHD—a randomized, controlled trial. J Am Acad Child Adolesc Psychiatry 2005; 44: 177–86. CrossRef MEDLINE
27.Kozulin A, Lebeer J, Madella-Noja A, et al.: Cognitive modifiability of children with developmental disabilities: a multicentre study using Feuerstein’s Instrumental Enrichment—Basic program. Res Dev Disabil 2010; 31: 551–9. CrossRef MEDLINE
28.Lepach AC, Petermann F: Wirksamkeit neuropsychologischer Therapie bei Kindern mit Merkfähigkeitsstörungen. Kindheit und Entwicklung 2009; 18: 105–10. CrossRef
29.Lomas KM: Computer-assisted cognitive training with elementary school-age children diagnosed with attention-deficit/hyperactivity disorder and mild/moderate comorbidity: A short-term prospective study on attention, planning and behavior. Washington: Howard University; 2002. Dissertation.
30.Sonntag W: Der Einfluss des Klauerschen Denktrainings auf mathematisches Denken und Lernen von lernbehinderten Sonderschülern. ZfPP 2004; 18: 101–11.
31.Thorell LB, Lindqvist S, Bergman Nutley S, Bohlin G, Klingberg T: Training and transfer effects of executive functions in preschool children. Dev Sci 2009; 12: 106–13. CrossRef MEDLINE
32.Tucha O, Tucha L, Kaumann G, et al.: Training of attention functions in children with attention deficit hyperactivity disorder. Atten Defic Hyperact Disord 2011; 3: 271–83. CrossRef MEDLINE PubMed Central
33.Braun J, Weyhreter H, Köhnlein O, Storck M, Bode H: Kognitives Training: Ein Programm zur Förderung von Vorschulkindern mit intellektuellen Defiziten. Psychologie in Erziehung und Unterricht; 47: 10–7.
34.Dreisörner Thomas: Wirksamkeit verhaltenstherapeutischer Gruppenprogramme bei Kindern mit Aufmerksamkeitsdefizit- und Hyperaktivitätsstörungen (ADHS). Kindheit und Entwicklung 2006; 15: 255–66. CrossRef
35.Galbiati S, Recla M, Pastore V, et al.: Attention remediation following traumatic brain injury in childhood and adolescence. Neuropsychology 2009; 23: 40–9. CrossRef MEDLINE
36.Lauth GW, Naumann K, Roggenkämper A, Heine A: Verhaltensmedizinische Indikation und Evaluation einer kognitiv-behavioralen Therapie mit aufmerksamkeitsgestörten/hyperaktiven Kindern. Z Kinder- Jugendpsychiat 1996; 24: 164–75.
37.Lauth GW, Husein S, Spieß R: Lernkompetenztraining bei leistungsschwachen Grundschülern. Kindheit und Entwicklung. 2006; 15: 229–38. CrossRef
38.Boutron I, Moher D, Altman DG, Schulz KF, Ravaud P: Methods and processes of the CONSORT Group: example of an extension for trials assessing nonpharmacologic treatments. Ann Intern Med 2008; 148: W60–6. CrossRef MEDLINE
39.Abikoff H: Cognitive training in ADHD children: less to it than meets the eye. J Learn Disabil 1991; 24: 205–9. CrossRef MEDLINE
e1.Yeates KO, Taylor HG: Neurobehavioural outcomes of mild head injury in children and adolescents. Pediatr Rehabil 2005; 8: 5–16. MEDLINE
e2.Crowe LM, Catroppa C, Babl FE, Anderson V: Intellectual, behavioral, and social outcomes of accidental traumatic brain injury in early childhood. Pediatrics 2012; 129: e262–8. CrossRef MEDLINE
e3.Park BS, Allen DN, Barney SJ, Ringdahl EN, Mayfield J: Structure of attention in children with traumatic brain injury. Appl Neuropsychol. 2009; 16: 1–10. CrossRef MEDLINE
e4.Barkley RA: Behavioral inhibition, sustained attention, and executive functions: constructing a unifying theory of ADHD. Psychol Bull 1997; 121: 65–94. CrossRef MEDLINE
e5.Ylvisaker M, Turkstra L, Coehlo C, et al.: Behavioural interventions for children and adults with behaviour disorders after TBI: a systematic review of the evidence. Brain Inj 2007; 21: 769–805. CrossRef MEDLINE
e6.Ylvisaker M, Adelson PD, Braga LW, et al.: Rehabilitation and ongoing support after pediatric TBI: twenty years of progress. J Head Trauma Rehabil 2005; 20: 95–109. CrossRef MEDLINE
e7.Borenstein M, Hedges LV, Higgins JPT, Rothstein HR: Introduction to Meta-Analysis. Chichester, West Sussex, United Kingdom: John Wiley & Sons; 2009.
e8.Cohen J: Statistical Power Analysis for the Behavioral Sciences. New York: Academic Press; 1969.
e9.Hedges L: Distribution therory for Glass’s estimator of effect size and related estimators. Journal of Educational Statistics. 1981; 6: 107–28.
e10.Kline RB: Beyond significance testing: Reforming data analysis methods in behavioural research. Washington: American Psychological Association 2004.

Kommentare

Die Kommentarfunktion steht zur Zeit nicht zur Verfügung.

Der klinische Schnappschuss

Alle Leserbriefe zum Thema

Stellenangebote