ArchivDeutsches Ärzteblatt38/2019Risikokommunikation: Zahlen können Verwirrung stiften

THEMEN DER ZEIT

Risikokommunikation: Zahlen können Verwirrung stiften

Dtsch Arztebl 2019; 116(38): A-1642 / B-1355 / C-1330

Schirren, Clara; Lein, Ines; Diel, Franziska; Jenny, Mirjam

Als E-Mail versenden...
Auf facebook teilen...
Twittern...
Drucken...
LNSLNS

Ärzte müssen medizinische Risiken nicht nur richtig einschätzen, sondern sie auch verständlich den Patienten kommunizieren. Das ist nicht einfach. Es gibt aber Werkzeuge, die die ärztliche Risikokompetenz erhöhen und die Risikokommunikation gegenüber Patienten erleichtern.

Foto: sogmiller/stock.adobe.com
Foto: sogmiller/stock.adobe.com

Die im Gesundheitswesen weitverbreiteten missverständlichen Risikokommunikationsformate erschweren nicht nur Patientinnen und Patienten, sondern auch Ärztinnen und Ärzten sowie medizinischem Fachpersonal das Risikoverständnis (1). Ein besonders intransparentes Format ist die 5-Jahres-Überlebensrate, die häufig als Nachweis für die Effektivität von Früherkennungsprogrammen herangezogen wird, wie unlängst auch in dieser Zeitschrift (2).

Anzeige

Hier wurde dargelegt, dass die 5-Jahres-Überlebensrate bei Magenkrebs in Südkorea und Japan bei 60 Prozent liegt, in Deutschland hingegen nur bei rund 21 Prozent. Der Unterschied zwischen den Regionen begründe sich in der in Südkorea und Japan durchgeführten Früherkennung des Krebses. Doch warum sollte der Erfolg von Krebsfrüherkennungsprogrammen nicht in Überlebensraten gemessen und kommuniziert werden?

5-Jahres-Überlebensrate ist ein intransparentes Format

Stellen wir uns zwei Gruppen von Patienten vor, die alle an Krebs erkranken und im Alter von 70 Jahren daran sterben. Nehmen wir weiter an, dass der Krebs in der einen Gruppe im Alter von 60 Jahren im Rahmen eines Screenings entdeckt wurde, in der anderen Gruppe aber erst im Alter von 67 Jahren durch das Auftreten von Symptomen. Obwohl alle Patienten mit 70 Jahren an Krebs sterben, beträgt die 5-Jahres-Überlebensrate in der ersten Gruppe 100 Prozent, in der zweiten Gruppe hingegen null Prozent. Es ergibt sich daraus eine maximale Steigerung der 5-Jahres-Überlebensrate durch eine frühere Erkennung der Tumore, ohne dass auch nur ein Leben gerettet beziehungsweise verlängert wurde. Die 5-Jahres-Überlebensrate sagt also nichts darüber aus, wie viele Menschen tatsächlich an einer Krankheit sterben. Früherkennungsprogramme können durch frühere Diagnosestellungen die Überlebensraten bei Krebs oder anderen Krankheiten allein durch die frühere Diagnosestellung erhöhen, ohne dass sich die Mortalitätsrate verringert.

Diesen sogenannten Vorlaufzeit-Bias (siehe Grafik 1) kennen nicht alle Mediziner. In einer kürzlich befragten Gruppe von Dozenten an einer deutschen medizinischen Fakultät kannte nur die Hälfte der Befragten diese Verzerrung (3). Im oben genannten Artikel wird im Kontext der Prostatakrebsfrüherkennung auch auf den Vorlaufzeit-Bias hingewiesen und gegen die Verwendung von 5-Jahres-Überlebensraten argumentiert. Da Prostatakrebsfrüherkennungsprogramme die Diagnose auf einen früheren Zeitpunkt verschieben, sollten Sterbe- statt Überlebensraten zur Beurteilung dieser Programme herangezogen werden (2).

Vorlaufzeit-Bias
Vorlaufzeit-Bias
Grafik 1
Vorlaufzeit-Bias

Ein weiterer Grund, weshalb Überlebensraten in die Irre führen können, ist der sogenannte Überdiagnose-Bias. In Früherkennungsprogrammen können Zellveränderungen entdeckt werden, die der Definition von Krebs entsprechen, sich aber langsam oder gar nicht entwickeln und somit nicht lebensbedrohlich sind. Trotzdem fließen Personen mit diesen Diagnosen in die Überlebensrate mit ein. Darauf und auf den Vorlaufzeit-Bias hat das Harding-Zentrum für Risikokompetenz bereits 2011 aufmerksam gemacht (4).

Relative Risiken sind irreführend

Ein Format, das regelmäßig und besonders in den Medien für Verwirrung sorgt, ist die Angabe relativer Risiken. Ende 2015 veröffentlichte die WHO folgende Studienresultate: Pro 50 Gramm täglichen Verzehrs von verarbeitetem Fleisch steigt die Wahrscheinlichkeit, an Darmkrebs zu erkranken, um 18 Prozent (5). Als Folge der Studie wurde verarbeitetes Fleisch in Gruppe 1 der kanzerogenen Stoffe aufgenommen und damit in dieselbe Gruppe wie Asbest, Rauchen und Röntgen. „Wurst so krebserregend wie Tabak und Asbest“ (6) und „Auf einer Liste mit Asbest: WHO erklärt Wurst für krebserregend“ (7) titelten einige Medien in Deutschland. Doch was bedeutete die Studie der WHO tatsächlich? Zunächst einmal sagt die Einstufung in Gruppe 1 der krebserregenden Stoffe nichts darüber aus, wie stark ein Stoff die Krebsentstehung fördert. Sie gibt lediglich an, wie sicher man sich aufgrund der Datenlage sein kann, dass ein Stoff krebserregend wirkt. Das wurde von der WHO wenig später auch noch einmal hervorgehoben (8). Und was steckt nun hinter dem um 18 Prozent erhöhten Darmkrebsrisiko? Die Studiendaten zeigen, dass sich die Anzahl an Diagnosen pro täglich 50 Gramm zusätzlich gegessenem verarbeiteten Fleisch von fünf von 100 auf sechs von 100 Personen erhöht. Dieser absolute Anstieg von der Basisrate von fünf Personen auf sechs Personen (also ein Anstieg um eine Person) entspricht einer Zunahme des relativen Risikos um 18 Prozent. Genauso hätte aber auch ein Anstieg von 50 auf 60 (also ein Anstieg um 10 Personen) von 100 Personen einer relativen Risikozunahme von 18 Prozent entsprochen. Dies zeigt, dass das relative Risiko allein kein sinnvolles Maß zur transparenten Risikokommunikation darstellt. Denn nur in absoluten Zahlen ausgedrückt wird klar, dass sich das Darmkrebsrisiko um eine von 100 Personen, also um einen Prozentpunkt, erhöht. Dass relative Risikoveränderungen in der Regel bedeutend größer ausfallen als absolute, kann bewusst zur Manipulation eingesetzt werden. Wer beispielsweise eine medizinische Intervention als besonders wirksam darstellen möchte, kann den Nutzen in relativen Risiken angeben, den Schaden aber in absoluten. Selbst eine Behandlung, die mehr schadet als nützt, kann dadurch als wirksam und sicher erscheinen. Diese Form der Darstellung nennt sich mismatched framing und wurde mehrfach dokumentiert (9).

Risikoverdoppelung kann sehr unterschiedlich sein

Wer sich dagegen schützen möchte, sollte sich regelmäßig fragen: Was habe ich gerade vor mir, ein absolutes oder ein relatives Risiko? Wie sehen die absoluten Zahlen aus? Relative Risikoveränderungen werden übrigens auch häufig als Vervielfachung oder Verringerung ausgedrückt. So kann sich ein Risiko verdoppelt haben, wenn statt 15 von 100 nun 30 von 100 Personen betroffen sind. Hinter einer Verdoppelung kann aber auch eine Zunahme von einer von 10 000 Personen auf zwei von 10 000 stecken. Die Darstellung in absoluten Zahlen schafft auch hier Transparenz.

Auch bei der medizinischen Diagnostik steckt der Teufel häufig im Detail. Wie hoch ist beispielsweise die Wahrscheinlichkeit, dass eine asymptomatische Frau ohne familiäre Vorgeschichte, die in der Brustkrebsfrüherkennung ein positives Mammografieergebnis erhalten hat, tatsächlich an Brustkrebs erkrankt ist? Diese Frage wird häufig fälschlicherweise mit der Sensitivität des Tests beantwortet (9, 10). Beträgt diese zum Beispiel 90 Prozent, nehmen Ärzte oft fälschlicherweise an, dass die Frau auch mit einer Wahrscheinlichkeit von 90 Prozent Brustkrebs hat.

Positiven Vorhersagewert und Sensitivität genau erläutern

Die Sensitivität bezeichnet allerdings die Wahrscheinlichkeit, dass ein Test eine erkrankte Person auch als solche identifiziert. Die Wahrscheinlichkeit, dass eine Person, die ein positives Testergebnis erhalten hat, auch tatsächlich erkrankt ist, wird hingegen vom positiven Vorhersagewert beziffert – und der kann sich stark von der Sensitivität unterscheiden. Grafik 2 veranschaulicht den Unterschied: Während die Sensitivität des Mammografiescreenings 90 Prozent beträgt – wobei die exakten Zahlen in der Literatur schwanken –, beträgt der positive Vorhersagewert nur ungefähr neun Prozent. Das bedeutet, dass von 100 Frauen, die symptomfrei und ohne familiäre Vorgeschichte zum Mammografiescreening gehen und ein positives Testergebnis erhalten, nur ungefähr neun tatsächlich an Brustkrebs erkrankt sind.

Ein mangelndes Verständnis dieser Zahlen auf ärztlicher Seite kann bei Patientinnen zu Fehlschlüssen, unnötigen Ängsten und im schlimmsten Fall sogar zu unnötigen schmerz- und risikobehafteten Eingriffen führen. Unnötige Ängste, Fehlschlüsse und gezielte Manipulation ließen sich in vielen Fällen durch ein besseres Verständnis sowie eine transparentere Kommunikation von Risiken verhindern.

Nutzen und Risiken medizinischer Interventionen können beispielsweise in Form von Faktenboxen (siehe Grafik 3) transparent dargestellt werden. Faktenboxen orientieren sich an den Leitlinien für evidenzbasierte Gesundheitsinformation (11) und können Ärzte in der Kommunikation mit Patienten unterstützen. Sie stellen Nutzen und Risiken patientenrelevanter Handlungsoptionen (zum Beispiel zu Früherkennungsuntersuchungen, medizinischen Behandlungen oder Impfungen) tabellarisch und in Form von absoluten Risiken dar. Dabei wird auch die Referenzgruppe beschrieben, auf die sich die Angaben beziehen. Zusätzlich wird das Ergebnis in einem kurzen Satz in Worte gefasst. Neben Quellenangaben enthalten Faktenboxen auch eine Auskunft darüber, wann sie zuletzt aktualisiert wurden (12). Da sie auf dem zu einem bestimmten Zeitpunkt besten verfügbaren Wissen beruhen, ist eine regelmäßige Aktualisierung nötig. Typischerweise sind sie in einen erklärenden Begleittext eingebettet und können durch eine grafische Darstellung der Daten ergänzt werden, um das Verständnis für Menschen, die über wenig Erfahrung mit Tabellen oder Zahlen verfügen, zu erleichtern.

Natürliche Häufigkeitsbäume (siehe Grafik 2) können Mediziner darin unterstützen, Testergebnisse richtig zu interpretieren (9). In einem solchen Baum wird klar ersichtlich, wie sich Sensitivität, Spezifität, positiver und negativer Vorhersagewert unterscheiden. Gleichzeitig erleichtert das Format die Berechnung dieser Werte, da es ohne komplizierte Formeln auskommt. Ärzte, die an einem Training teilnahmen, in dem sie lernten, Werte wie Sensitivität, Spezifität und Prävalenz in einen solchen Baum der natürlichen Häufigkeiten zu übersetzen, konnten die Anzahl richtiger Antworten bei der Berechnung des positiven Vorhersagewerts von 21 Prozent auf 87 Prozent steigern (9). Eine ähnliche Studie mit Nichtmedizinern zeigte, dass der Trainingseffekt dieser Bäume auch nach drei Monaten fortbestand (13), und eine aktuelle Metaanalyse zeigte, dass natürliche Häufigkeiten die Berechnung des positiven und negativen Vorhersagewerts erleichtern (14).

Schnellere, bessere und transparentere Entscheidungen können nicht nur durch die verständliche Darstellung von Risiken unterstützt werden. Wer über eine gut ausgebildete Risikokompetenz verfügt, kann darüber hinaus auch intransparente oder manipulative Darstellungsformate erkennen und einordnen.

Risikokompetenz sollte mehr vermittelt werden

Nötig ist hierfür lediglich das Verständnis von grundlegenden Aspekten der Wahrscheinlichkeitsrechnung. Da diese Inhalte im Medizinstudium bisher kaum unterrichtet werden, gibt es im Wissen von Ärzten auf diesem Gebiet Verbesserungspotenzial. Dabei lässt es sich leicht erlernen. Das zeigt auch eine Studie an der Charité: Durch ein lediglich 90-minütiges Training ließ sich die Rate an korrekten Antworten in einem Test zur Risikokompetenz unter Studierenden im letzten Studienjahr von 50 Prozent auf 90 Prozent erhöhen (3). Eine Einbindung des Themas Risikokompetenz in die Ausbildung von Ärzten würde also wenig Zeit in Anspruch nehmen, könnte im Gegenzug aber zu besseren Entscheidungen in der Praxis führen.

Die Prinzipien guter Risikokommunikation (siehe Kasten) können Ärzte nutzen, um informierte Entscheidungen bei ihren Patienten zu unterstützen. Aber auch medizinische Leitfäden, Artikel, Patienteninformationen und Pressemitteilungen können damit transparenter gestaltet werden. Davon profitieren würden Ärzte und Patienten gleichermaßen. Im Rahmen des Qualitätszirkel-(QZ-)Konzeptes der Kassenärztlichen Bundesvereinigung wurden Module zum Thema Evidenzbasierte Medizin (Original- und Übersichtsarbeiten, evidenzbasierte Leitlinien) entwickelt, die auch einige der hier aufgeführten Sachverhalte thematisieren (15). Geschulte Moderatoren können diese für ihre QZ-Arbeit nutzen (16). Mit dem Schnelltest Risikokompetenz können Medizinstudierende, Ärzte und medizinisches Fachpersonal sich selbst selbst testen (17).

  • Zitierweise dieses Beitrags:
    Dtsch Arztebl 2019; 116(38): A 1642–6

Anschrift für die Verfasser:
Harding-Zentrum für Risikokompetenz
Max-Planck-Institut für Bildungsforschung,
Lentzeallee 94, 14195 Berlin

lein@mpib-berlin.mpg.de

Literatur im Internet:
www.aerzteblatt.de/lit3819
oder über QR-Code.

Die Prinzipien guter Risikokommunikation

Eine transparente Risikokommunikation wird durch die folgenden Aspekte unterstützt:

Absolute Risiken statt relativer Risiken. Formulierungen wie „das Risiko erhöht sich um 18 Prozent“ oder „das Risiko halbiert sich“ vermeiden. Stattdessen absolute Risiken wie „es sind sechs von 100 statt 5 von 100 Personen betroffen“ verwenden.

Grundrisiko angeben. Wenn Risikoveränderungen in absoluten Zahlen kommuniziert werden, wird automatisch das Grundrisiko (also die Basisrate) von zum Beispiel fünf von 100 mitkommuniziert. Dies kann Betroffenen helfen, das eigene Risiko mit dem durchschnittlichen Risiko zu vergleichen.

Matched framing. Nutzen und Schaden einer Intervention sollten gleichermaßen in Form von absoluten Risiken angegeben werden. Auf keinen Fall sollte ein Aspekt in relativen und der andere in absoluten Zahlen angegeben werden. Relative Risiken sollten vermieden oder mindestens mit absoluten Risiken ergänzt werden.

Positive und negative Vorhersagewerte (PPV und NPV) von Tests angeben. Die Sensitivität und Spezifität geben die Wahrscheinlichkeit an, dass eine Person, die tatsächlich krank ist, auch ein positives Testergebnis erhält (richtig positiv), bzw. die Wahrscheinlichkeit, dass eine Person, die tatsächlich gesund ist, auch ein negatives Testergebnis erhält (richtig negativ). Die für eine medizinische Diagnose ausschlaggebenden Kennwerte sind allerdings der positive und der negative Vorhersagewert (PPV und NPV). Sie geben an, wie wahrscheinlich es ist, dass ein Patient tatsächlich gesund oder krank ist, wenn ein positives oder negatives Testergebnis vorliegt. Der PPV und der NPV sollten daher immer mitkommuniziert werden. Natürliche Häufigkeitsbäume erleichtern die Berechnung beider Vorhersagewerte und können auch der Kommunikation dienen.

Screening-Erfolge durch Mortalitätsraten beziffern. Statt in Überlebensraten (1-, 5- oder 10-Jahres-Überlebensraten) sollte die Wirksamkeit von Früherkennungsprogrammen immer in Form von Mortalitätsraten dargestellt werden. Wenn möglich, sollte dabei sowohl die krankheitsspezifische Mortalitätsrate als auch die Mortalität über alle Ursachen hinweg dargestellt werden. Nur so kann erfasst werden, ob tatsächlich Leben gerettet werden.

Absolute Zahlen statt Prozentsätze angeben. Insbesondere bei besonders kleinen Wahrscheinlichkeiten von weniger als 1 Prozent trägt die Darstellung von absoluten Zahlen – also „1 von 7 000“ statt „0,014%“ – zum besseren Verständnis bei.

1.
Gigerenzer G, Muir Gray JA: Aufbruch in das Jahrhundert des Patienten. In Gigerenzer G, JA Muir Gray (Hrsg.): Bessere Ärzte, bessere Patienten, bessere Medizin: Aufbruch in ein transparentes Gesundheitswesen. Berlin: MWV 2013; 3–28.
2.
Meyer R: 5-Jahres-Überlebensraten: Weltweit gestiegen bei großen internationalen Unterschieden. Dtsch Arztebl 2018; 115 (7): A-290 VOLLTEXT
3.
Jenny MA, Keller N, Gigerenzer G: Assessing minimal medical statistical literacy using the Quick Risk Test: A prospective observational study in Germany. British Medical Journal Open 2018; 8: e020847 CrossRef MEDLINE PubMed Central
4.
Wegwarth O, Gigerenzer G: Sterblichkeitsstatistik als valides Maß. Dtsch Artzebl 2011; 14: A-760 VOLLTEXT
5.
WHO, International Agency for Research on Cancer (2015). IARC Monographs evaluate consumption of red meat and processed meat. http://www.iarc.fr/en/media-centre/pr/2015/pdfs/pr240_E.pdf (Zugriff am 11. September 2018).
6.
Welt: Wurst so krebserregend wie Tabak und Asbest. https://www.welt.de/print/die_welt/wissen/article148065798/Wurst-so-krebserregend-wie-Tabak-und-Asbest.html (Zugriff am 11. September 2018).
7.
n-tv: WHO erklärt Wurst für krebserregend. https://www.n-tv.de/wissen/WHO-erklaert-Wurst-fuer-krebserregend-article16215236.html (Zugriff am 11. September 2018).
8.
WHO, International Agency for Research on Cancer (2015). Q&A on the carcinogenicity of the consumption of red meat and processed meat. http://www.iarc.fr/en/media-centre/iarcnews/pdf/Monographs-Q&A_Vol114.pdf (Zugriff: 11. September 2018).
9.
Gigerenzer G, Gaissmaier W, Kurz-Milcke E, Schwartz LM, Woloshin S: Helping doctors and patients make sense of health statistics. Psychological Science in the Public Interest 2007; 8: 53–96 CrossRef MEDLINE
10.
Gigerenzer G: Simple tools for understanding risks: From innumeracy to insight. BMJ 2003; 327: 741 CrossRef MEDLINE PubMed Central
11.
Lühnen J, Albrecht M, Mühlhauser I, Steckelberg A: Leitlinie evidenzbasierte Gesundheitsinformation. Hamburg 2017; http://www.leitlinie-gesundheitsinformation.de/ (Zugriff am 25. Januar 2019).
12.
McDowell M, Rebitschek FG, Gigerenzer G, Wegwarth O: A simple tool for communicating the benefits and harms of health interventions: A guide for creating a fact box. MDM P&P 2016; 1: 1–10. Doi:10.1177/2381468316665365 CrossRef MEDLINE PubMed Central
13.
Sedlmeier P, Gigerenzer G: Teaching Bayesian reasoning in less than two hours. J Exp Psychol Gen 2001; 130: 380–400 CrossRef
14.
McDowell M, Jacobs P: Meta-analysis of the effect of natural frequencies on Bayesian reasoning. Psychol Bull 2017; 143: 1273–312 CrossRef MEDLINE
15.
Kassenärztliche Bundesvereinigung (Hrsg): Handbuch Qualitätszirkel, 4. Auflage Oktober 2018, https://www.kbv.de/html/27179.php.
16.
www.kbv.de/qz, Menüpunkt QZ-Module.
17.
Harding-Zentrum für Risikokompetenz: Schnelltest Risikokompetenz. https://www.harding-center.mpg.de/de/harding-zentrum/schnelltest-risikokompetenz.
Harding-Zentrum für Risikokompetenz, Max-Planck-Institut für Bildungsforschung, Berlin: Schirren, M. Sc.; Dr. rer. nat Lein, Dr. phil. Jenny
Kassenärztliche Bundesvereinigung Dezernat Versorgungsqualität, Berlin: Dr. med. MPH Diel
1. Gigerenzer G, Muir Gray JA: Aufbruch in das Jahrhundert des Patienten. In Gigerenzer G, JA Muir Gray (Hrsg.): Bessere Ärzte, bessere Patienten, bessere Medizin: Aufbruch in ein transparentes Gesundheitswesen. Berlin: MWV 2013; 3–28.
2.Meyer R: 5-Jahres-Überlebensraten: Weltweit gestiegen bei großen internationalen Unterschieden. Dtsch Arztebl 2018; 115 (7): A-290 VOLLTEXT
3.Jenny MA, Keller N, Gigerenzer G: Assessing minimal medical statistical literacy using the Quick Risk Test: A prospective observational study in Germany. British Medical Journal Open 2018; 8: e020847 CrossRef MEDLINE PubMed Central
4.Wegwarth O, Gigerenzer G: Sterblichkeitsstatistik als valides Maß. Dtsch Artzebl 2011; 14: A-760 VOLLTEXT
5.WHO, International Agency for Research on Cancer (2015). IARC Monographs evaluate consumption of red meat and processed meat. http://www.iarc.fr/en/media-centre/pr/2015/pdfs/pr240_E.pdf (Zugriff am 11. September 2018).
6.Welt: Wurst so krebserregend wie Tabak und Asbest. https://www.welt.de/print/die_welt/wissen/article148065798/Wurst-so-krebserregend-wie-Tabak-und-Asbest.html (Zugriff am 11. September 2018).
7.n-tv: WHO erklärt Wurst für krebserregend. https://www.n-tv.de/wissen/WHO-erklaert-Wurst-fuer-krebserregend-article16215236.html (Zugriff am 11. September 2018).
8.WHO, International Agency for Research on Cancer (2015). Q&A on the carcinogenicity of the consumption of red meat and processed meat. http://www.iarc.fr/en/media-centre/iarcnews/pdf/Monographs-Q&A_Vol114.pdf (Zugriff: 11. September 2018).
9.Gigerenzer G, Gaissmaier W, Kurz-Milcke E, Schwartz LM, Woloshin S: Helping doctors and patients make sense of health statistics. Psychological Science in the Public Interest 2007; 8: 53–96 CrossRef MEDLINE
10.Gigerenzer G: Simple tools for understanding risks: From innumeracy to insight. BMJ 2003; 327: 741 CrossRef MEDLINE PubMed Central
11.Lühnen J, Albrecht M, Mühlhauser I, Steckelberg A: Leitlinie evidenzbasierte Gesundheitsinformation. Hamburg 2017; http://www.leitlinie-gesundheitsinformation.de/ (Zugriff am 25. Januar 2019).
12.McDowell M, Rebitschek FG, Gigerenzer G, Wegwarth O: A simple tool for communicating the benefits and harms of health interventions: A guide for creating a fact box. MDM P&P 2016; 1: 1–10. Doi:10.1177/2381468316665365 CrossRef MEDLINE PubMed Central
13.Sedlmeier P, Gigerenzer G: Teaching Bayesian reasoning in less than two hours. J Exp Psychol Gen 2001; 130: 380–400 CrossRef
14.McDowell M, Jacobs P: Meta-analysis of the effect of natural frequencies on Bayesian reasoning. Psychol Bull 2017; 143: 1273–312 CrossRef MEDLINE
15.Kassenärztliche Bundesvereinigung (Hrsg): Handbuch Qualitätszirkel, 4. Auflage Oktober 2018, https://www.kbv.de/html/27179.php.
16. www.kbv.de/qz, Menüpunkt QZ-Module.
17.Harding-Zentrum für Risikokompetenz: Schnelltest Risikokompetenz. https://www.harding-center.mpg.de/de/harding-zentrum/schnelltest-risikokompetenz.

Leserkommentare

E-Mail
Passwort

Registrieren

Um Artikel, Nachrichten oder Blogs kommentieren zu können, müssen Sie registriert sein. Sind sie bereits für den Newsletter oder den Stellenmarkt registriert, können Sie sich hier direkt anmelden.