Der Kurztipp gibt die Meinung der Verfasser wieder.

Popp W. / Zastrow K.-D. Hygiene-Tipp: MRGN – Mehr screenen! Passion Chirurgie. 2016 September; 6(09): Artikel 03_02.

Zukünftig gelten für Praxen und Krankenhäuser einheitliche Anforderungen an ein einrichtungsinternes Qualitätsmanagement: Der Gemeinsame Bundesausschuss hat hierfür eine neue Richtlinie beschlossen.

Die neue Richtlinie löst die drei bisherigen Qualitätsmanagement-Richtlinien für den vertragsärztlichen, den vertragszahnärztlichen sowie den stationären Bereich ab. Kern der neuen Richtlinie sind konkrete Methoden und Instrumente als Bestandteile des Qualitätsmanagements (QM), beispielsweise der Einsatz von Checklisten und Prozessbeschreibungen oder die Regelung von Verantwortlichkeiten. Diese waren nahezu alle bereits in der Richtlinie für die vertragsärztliche Versorgung (ÄQM-RL) enthalten.

Größtmögliche Patientensicherheit

Umfassender als in der alten Richtlinie wird Qualitätsmanagement als wichtiger Ansatz zur Förderung der Patientensicherheit dargestellt. Verschiedene Instrumente und Methoden konzentrieren sich besonders auf sicherheitsrelevante Prozesse.

Neue Anwendungsbereiche aufgenommen

In der Richtlinie werden verschiedene Anwendungsbereiche wie Notfallmanagement und Hygienemanagement aufgeführt. Neu aufgenommen wurden Arzneimitteltherapiesicherheit, Schmerzmanagement und die Vermeidung von Stürzen, da insbesondere in diesen Bereichen QM-Maßnahmen die Patientensicherheit verbessern können.

OP-Checklisten werden explizit genannt

Neu ist, dass jetzt bei operativen Eingriffen unter Beteiligung von zwei oder mehr Ärzten oder bei Eingriffen, die unter Sedierung erfolgen, OP-Checklisten eingesetzt werden müssen. Damit sollen Patienten-, Eingriffs- und Seitenverwechslungen sowie schwerwiegende Komplikationen vermieden werden.
Kooperationsformen: QM-Anforderungen beziehen sich auf Einrichtung

Zudem wird mit der neuen Richtlinie klargestellt, dass sich bei Kooperationsformen wie Berufsausübungsgemeinschaften oder medizinischen Versorgungszentren die QM-Anforderungen nicht auf den einzelnen Arzt oder Psychotherapeuten, sondern auf die Einrichtung als solche beziehen.

Inkrafttreten

Der Beschluss vom 15.09.2016 wird dem Bundesministerium für Gesundheit zur Prüfung vorgelegt und tritt nach Nichtbeanstandung und Bekanntmachung im Bundesanzeiger in Kraft.

Quelle: Kassenärztliche Bundesvereinigung, Herbert-Lewin-Platz 2, 10623 Berlin, http://www.kbv.de, 15.09.2016

Versichertenbefragung – Auch die diesjährige Umfrage der Forschungsgruppe Wahlen im Auftrag der KBV zeigt: Niedergelassene Ärzte und Psychotherapeuten genießen eine konstant hohe Wertschätzung bei ihren Patienten. Kritik an Wartezeiten bleibt schwach.

„Die Ergebnisse bezeugen das hervorragende Vertrauensverhältnis der Patienten zu ihren niedergelassenen Ärzten und zeigen erneut, wie zufrieden die Bürger insgesamt mit der ambulanten Versorgung sind“, erklärte Dr. Andreas Gassen, Vorstandsvorsitzender der Kassenärztlichen Bundesvereinigung (KBV), heute in Berlin.

Seit mittlerweile zehn Jahren führt die Forschungsgruppe Wahlen im Auftrag der KBV repräsentative Versichertenbefragungen durch. Dieses Jahr wurden bundesweit insgesamt 6.113 zufällig ausgewählten Personen befragt. Demnach haben 91 Prozent der Befragten ein „gutes“ bis „sehr gutes“ Vertrauensverhältnis zu ihrem Arzt. Ebenso hoch fällt die Beurteilung der Fachkompetenz (93 Prozent), der Freundlichkeit (96 Prozent) und der Verständlichkeit der Erklärungen (92 Prozent) aus. „Gerne zeichnen Teile der Politik das Bild, dass die ambulante Versorgung im Argen liege und alles schlecht sei. Gegen diesen Populismus setzen wir Fakten: Die repräsentative Umfrage zeigt seit nunmehr einem Jahrzehnt sehr hohe Zufriedenheitswerte“, sagte der KBV-Chef.

Das Warten auf einen Termin beim Arzt empfindet die Mehrheit der Patienten – wie in den Vorjahren auch ¬– als kein großes Problem. Nur einer von zehn beurteilt die Wartezeit auf einen Termin als zu lang. 41 Prozent hat es nicht zu lange gedauert und für 47 Prozent stellt sich diese Frage überhaupt nicht, da sie keine Wartezeit hatten: Sie wurden entweder sofort angenommen (31 Prozent), kamen ohne Voranmeldung (14 Prozent) oder besuchten eine Praxis, die keine Termine vergibt (2 Prozent).

Ein weiteres Thema der Befragung war die Versorgungssteuerung: Mehr als die Hälfte der Befragten (54 Prozent) fände es grundsätzlich sinnvoll, vor dem Facharzt immer erst einen Hausarzt anzusteuern. Wenn dies spürbar den Beitrag zur Krankenversicherung senken würde, wären dazu 65 Prozent der gesetzlich versicherten Befragten bereit. „Die Patienten wünschen sich einen zentralen, wohnortnahen Ansprechpartner. Die Ergebnisse untermauern unsere im KBV-Programm 2020 vorgeschlagene Lotsenfunktion eines niedergelassenen Arztes, der in den meisten Fällen der Hausarzt sein wird“, erklärte Dipl.-Med. Regina Feldmann, stellvertretende KBV-Vorstandsvorsitzende.

In einer zweiten Studie ging die KBV in qualitativen Fokusgruppen durch das Beratungsunternehmen „Patientenprojekte“ noch weiter in die Tiefe. Hier zeigte sich, dass viele der Teilnehmenden ohnehin ihren Hausarzt als erste Anlaufstation aufsuchen. Chronisch Kranke wünschen sich allerdings einen direkten Zugang zu Fachärzten. „Die freie Arztwahl muss gewährleistet bleiben. Sie ist deshalb auch Bestandteil unseres Konzeptes KBV 2020“, so Dipl.-Med. Regina Feldmann.

Ein deutliches Signal für die KBV ist auch das Ergebnis, dass der ärztliche Bereitschaftsdienst offenbar noch zu wenig bekannt ist. Lediglich knapp die Hälfte der Interviewten hatte schon einmal davon gehört. Nur wenige kannten die bundesweit einheitliche Rufnummer 116117. „Viele nutzen daher die Notfallambulanz auch wenn kein echter Notfall vorliegt. Hier müssen wir noch besser aufklären“, erklärte Dr. Andreas Gassen.

„Die Ergebnisse der Studien geben seit Jahren einen umfangreichen Einblick in die ambulanten Versorgungsstrukturen in Deutschland“ sagte Prof. Dr. Adelheid Kuhlmey, Direktorin des Instituts für Medizinische Soziologie und Rehabilitationswissenschaften der Charité Berlin. „Die Zufriedenheit mit der ärztlichen und psychotherapeutischen Betreuung ist demnach ungebrochen.“

Quelle: Quelle: Kassenärztliche Bundesvereinigung, Herbert-Lewin-Platz 2, 10623 Berlin, http://www.kbv.de, 30.08.2016

Einleitung

Derzeit wird geschätzt, dass nur ca. 15 bis 40 % aller medizinischen Entscheidungen auf wissenschaftlicher Evidenz beruhen [1]. In zahlreichen insbesondere operativen Fachgebieten existieren nur wenige randomisiert-kontrollierte Studien, sodass insbesondere auch Leitlinien auf Grundlage von Studien der Evidenzklassen III und IV erstellt wurden. Da sich Evidenz nicht zuverlässig in Hierarchien einordnen lässt, wird daher die strenge und starre Klassifikation der Evidenz in Stärkegrade zunehmend hinterfragt. Für zahlreiche medizinische Gebiete weisen sowohl randomisiert-kontrollierte Studien als auch Beobachtungsstudien spezifische Vor- und Nachteile auf [2; 3].

In dem Dilemma des Mangels an prospektiv-randomisierten Studien haben prospektive Beobachtungsstudien ihre Bedeutung. Einen entscheidenden Anteil am Durchbruch der Bewertung von prospektiven Beobachtungsstudien haben BENSON und HARTZ. Ihre Veröffentlichung „A comparison of observational studies and randomized, controlled trials“ im New England Journal of Medicine vergleicht 19 verschiedene Therapien in über 136 Publikationen [2]. Dabei waren die Ergebnisse der kontrollierten Studien und der Beobachtungsstudien bei jeweils gleicher Fragestellung trotz unterschiedlichem Studiendesign gleich [2; 3].

Beobachtungsstudien zeichnen sich durch geringere Kosten und eine größere Patientenzahl aus [4]. Neben dem Ziel der klinischen Beobachtungsstudien, evidenzbasiertes Wissen zu erarbeiten, bieten sie in Form von Qualitätssicherungsstudien die Möglichkeit, Risikofaktoren, prognostische Indikatoren und Langzeiteffekte sowie -komplikationen insbesondere im klinischen Alltag zu identifizieren und die Güte der spezifisch zu untersuchenden medizinischen Therapiemaßnahme zu eruieren. Beobachtungsstudien übernehmen diese Aufgabe damit in Situationen, in denen randomisierte Studien aus medizinisch-ethischen, rechtlichen, epidemiologischen oder medizinischen Gründen nicht vertretbar sind [3; 5].

Das Ziel der vorliegenden Kurzübersicht ist es, basierend auf sehr selektiven Referenzen sowie den aktuellen Entwicklungen in der chirurgischen Studien“landschaft“ insbesondere Stellung, Wertigkeit, Ziele, Aufgaben und erzielte Konsequenzen von Qualitätssicherungsstudien in der Chirurgie und ihrer Bedeutung gerade für die Ermittlung der gegebenen Behandlungsqualität als auch für abzuleitende Konsequenzen im allgemein- und viszeralchirurgischen Fachgebiet bzw. am konkreten Studiengegenstand, der operativen Therapie der Adipositas, zu umreißen.

Einzelaspekte

Randomisiert-kontrollierte Studien haben das Ziel des Wirksamkeitsnachweises und sind daher nicht zur Versorgungsforschung geeignet.

Mängel randomisiert-kontrollierter Studien sind:

• Unvereinbarkeit mit bioethischen Konventionen und Gesetzen – „Inappropriateness“,
• strenge Ein- und Ausschlusskriterien,
• strenge Definition von Zielkriterien,
• statistische Probleme (Nullhypothese, Festlegung von Wahrscheinlichkeiten),
• geringe externe bei hoher interner Validität,
• limitierte Übertragbarkeit auf die klinische Praxis,
• Kostenintensivität.

Mit Beobachtungsstudien lässt sich der Ist-Zustand hinsichtlich verschiedener Fragestellungen erfassen. Die externe Qualitätssicherung bezieht sich dabei auf die Gegenüberstellung von Ergebnissen identischer Leistungen in verschiedenen Einrichtungen. Qualitätsindikatoren bilden die Basis zum Vergleich unterschiedlicher Krankenhäuser. Sie sollten relevant, zuverlässig, sensitiv, valide, präzise definiert und dem Patienten zuzuordnen sein. Darüber hinaus müssen Qualitätsindikatoren praktikabel in Erfassung und Bewertung sein. Beobachtungsstudien dienen der Beschreibung von Krankheitscharakteristika und deren zeitlichen Verlauf.

Vorteile von Beobachtungsstudien im Vergleich mit randomisierten Studien sind:

• keine Beschränkung der Patientenzahlen,
• exaktere Angaben zu Fehlern und Komplikationen aufgrund der höheren Fallzahlen und der Erfassung der täglichen klinischen Praxis,
• kein Vorliegen strenger Ein- und Ausschlusskriterien,
• Erfassung verschiedener Zielkriterien,
• keine Einschränkung der Zielkriterien aufgrund ethischer Gesichtspunkte,
• Erfassung der täglichen Routine („Effectiveness“),
• keine zeitliche Einschränkung der Erfassung der Nachsorge,
• gute Durchführbarkeit,
• geringere Kosten.

Auf Grundlage des Beschlusses der 72. Gesundheitsministerkonferenz 1999 und des Sozialgesetzbuches V § 135 a sind alle Einrichtungen ab dem 01.01.2005 verpflichtet, ein an den Stand der Wissenschaft und Technik orientiertes Qualitätsmanagement einzuführen.

Die Qualitätssicherungsstudien für

➢ die Therapie des Kolon- und Rektumkarzinoms,

➢ die Therapie des Magenkarzinoms,

➢ die Therapie der akuten Appendicitis,

➢ für operative Therapie der Adipositas,

➢ Pankreas-assoziierte operative Eingriffe und

➢ SILS,

die am AN-Institut für Qualitätssicherung in der operativen Medizin der Otto-von-Guericke-Universität Magdeburg durchgeführt werden, sind hierfür sehr geeignete Instrumente.

Derzeit werden mit den laufenden Qualitätssicherungsstudien zirka 75 bis 85 % aller Eingriffe in den genannten Feldern der Viszeralchirurgie in Deutschland erfasst.

Eine wichtige Aufgabe der Qualitätssicherung ist es, eine faire (anonyme) Gegenüberstellung zwischen den Kliniken und ihrem Versorgungsprofil vorzunehmen, die vorhandene Unterschiede in der Versorgungsqualität in der BRD aufzeigt. Die Freiwilligkeit der Teilnahme an den vorliegenden Qualitätssicherungsstudien und strenge Vertraulichkeit im Umgang mit den Daten gewährleistet für jede der teilnehmenden Einrichtungen Objektivität und Sicherheit der gemeldeten Daten. Einmal jährlich erhalten die beteiligten Kliniken die Auswertung bezüglich der eigenen Daten im Vergleich mit denen der Gesamtstudie.

Zum Vergleich der unterschiedlichen Krankenhäuser werden Qualitätsindikatoren benötigt. Diese sollten idealerweise

	* relevant,	* zuverlässig,
	* sensitiv,	* valide,
	* präzise definiert, und	* dem Patienten zuzuordnen sein.

Darüber hinaus sollten sie verschiedene Aspekte der Patientenversorgung berücksichtigen und praktikabel in Erfassung und Bewertung sein. Dabei entsteht die wesentliche Problematik der oftmals eingeschränkten bzw. fehlenden Vergleichbarkeit der Patienten bzw. Populationen.

Patienten mit gleicher Grunderkrankung wie beispielsweise in der Studie zur operativen Therapie der Adipositas (Abb. 1) unterscheiden sich hinsichtlich Alter, Geschlecht, Schweregrad, Begleiterkrankungen, Funktionsfähigkeit und weiteren Faktoren, die den Behandlungserfolg beeinflussen können. Eine Möglichkeit, doch eine Vergleichbarkeit herzustellen, ist die Risiko-Adjustierung bezüglich gezielter Faktoren wie beispielsweise des BMI, der Begleit- bzw. Folgeerkrankungen und deren Schweregrad, der Vorerkrankungen und Voroperationen. Auch demografische Faktoren, subjektiver Gesundheitsstatus, kognitive, seelische und soziale Funktionen und auch Lebensstil-Faktoren sind in die Risiko-Adjustierung einzubeziehen.

Beobachtungsstudien haben jedoch folgende Nachteile:

• Selektions-Bias durch fehlende Randomisierung,
• Überschätzung des Behandlungseffekts durch fehlende Randomisierung,
• Einflüsse durch bekannte und unbekannte Störfaktoren („Confounder“),
• fehlende Möglichkeit der Verblindung,
• unvollständige Erfassung aller relevanten Daten,
• geringe interne bei hoher externer Validität [3].

Wichtige Quellen zur Evidenzbasierten Medizin. Passion Chirurgie. 2014 März, 4(03): Artikel 02_05.

Um in der Masse der vorhandenen Evidenz die entsprechenden Studien für die persönliche Evidenzsynthese oder Entscheidungsfindung zu identifizieren, ist eine Beurteilung der relevanten Studien nach kritischen Gesichtspunkten im Sinne eines Critical Appraisal unumgänglich. 2013 waren in der online Literatur- Suchmaschine Pubmed.com über eine Millionen Publikationen verzeichnet. Der Anteil klinischer Studien als mögliche relevante Grundlage für die klinische Entscheidungsfindung betrug jedoch nur knapp 10 % (Abb. 2).

Unter diesem Gesichtspunkt die vergleichbar geringe Anzahl an klinisch relevanter Literatur zu kategorisieren und Studien hoher Qualität von niedriger Qualität zu unterscheiden, werden zunehmend Instrumente der Qualitätsbeurteilung entwickelt, um eine systematische und standardisierte Bewertung zu ermöglichen. Letztere ist essentiell um die Wertigkeit der jeweiligen Evidenz für deren klinische Anwendung zu überprüfen. Die Evidenz aus kontrollierten klinischen Studien, systematischen Übersichtsarbeiten und Meta-Analysen nimmt dabei eine zentrale Rolle ein.

Die Qualitätsbeurteilung basiert in der Regel auf den so genannten Levels of Evidence, der hierarchischen Anordnung von Studientypen und -designs bezogen auf den Wert der wissenschaftlichen Aussagekraft. Diese wird, entsprechend methodischer Charakteristika, anhand der studienbezogenen internen Validität beurteilt (siehe www.CEBM.net, Oxford 2001 „Levels of Evidence“).

Eine gut begründete Studienbewertung ist für die Anwendung im klinischen Alltag ebenso bedeutsam wie für die Entscheidungen auf gesundheitspolitischer Ebene. Um Bedeutung und Relevanz von Studienergebnissen adäquat zu interpretieren sowie für die Praxis anwendbar zu machen, bieten sich sowohl für den Leser als auch den Anwender von klinischer Evidenz diverse Instrumente der Qualitätsbeurteilung an.

Die Qualitätsbeurteilung

Begriff der „Qualität“ und Stellenwert für die Interpretation klinischer Studien

Die Qualität einer klinischen Studie bezieht sich im Wesentlichen auf die Aspekte Design, Durchführung und Analyse, die sogenannte interne Validität. Diese beschreibt die Wahrscheinlichkeit, dass die Ergebnisse der Studie den „echten“ Effekt einer therapeutischen Intervention widerspiegeln. Diese Wahrscheinlichkeit lässt sich durch die Beurteilung von Zufallsfehlern, Bias und Störfaktoren abschätzen und nimmt in der Regel mit steigendem Evidenzlevel zu. Zufällige und/oder systematische Fehler (z. B. selection bias, measurement bias) sowie Confounding verzerren das Studienergebnis und reduzieren die interne Validität. Die Qualitätsbeurteilung kann diese und das Potenzial möglicher Verzerrungen messen und erlaubt somit Rückschlüsse auf die Qualität der Planung, Durchführung und Analyse einer Studie.

Der Begriff der externen Validität beschreibt die Generalisierbarkeit sowie die Anwendbarkeit der Studienergebnisse auf die Zielpopulation. Qualität bedeutet somit im Idealfall eine methodologisch einwandfreie Studienidee mit klinisch-relevanten sowie patientenorientierten Endpunkten, die nach valider Prüfung eine Entscheidungsfindung erlauben und eine tatsächliche Verbesserung der Patientenversorgung ermöglichen.

Kernelemente der Qualitätsbeurteilung

Die kritische Beurteilung einer wissenschaftlichen Publikation sollte mindestens folgende drei Leitfragen beinhalten:

a. Sind die Ergebnisse der Studie valide?
Die Beantwortung dieser Frage bezieht sich auf die interne Validität der zu beurteilenden Studie. Hier werden vor allem der Randomisationsprozess, die Verblindung der Patienten und/oder des Studienpersonals und die Standardisierung der chirurgischen Interventionen und des perioperativen Managements beurteilt, um die methodische Robustheit der Studie zu erfassen.

b. Wie sind die Ergebnisse und Therapieeffekte?
Wenn die Ergebnisse in einem ersten Schritt als valide und methodisch korrekt erfasst beurteilt wurden, sollte im zweiten Schritt die Größe und Präzision des beobachteten Therapieeffektes bestimmt werden. Da der „wahre Unterschied“ nie eindeutig bestimmt werden kann, sollten die Punktschätzer und Präzisionmaße detailliert evaluiert werden, bevor eine klinische Empfehlung daraus entwickelt wird. Am besten geeignet für eine Einschätzung der Präzision sind 95 % Konfidenzintervalle, welche wesentlich aussagekräftiger sind als alleinige P-Werte (Signifikanzwert) [1].

c. Helfen die Ergebnisse bei der Entscheidungsfindung?
Nach Erfassung der internen Validität und der Präzision eines Studienergebnisses gilt es, den klinischen Stellenwert zu beurteilen. In diesem Zusammenhang werden oftmals die Begriffe externe Validität und Generalisierbarkeit gebraucht. Die Relevanz des Studienergebnisses beruht maßgeblich auf dieser externen Validität, was wiederum die Voraussetzung für die Anwendbarkeit auf eine definierte Patientengruppe in einer bestimmten klinischen Situation ist [2].

Die Methodik des Critical Appraisal kann gezielt erlernt werden und hilft dem Anwender irreführende Ergebnisse und ungenaue Datenpräsentation aufzudecken. Im Folgenden werden die gängigsten Instrumente zur Qualitätsbeurteilung von klinischen Studien aufgeführt und erläutert.

Häufig eingesetzte Instrumente zur Qualitätsbeurteilung

a. Das CONSORT – Statement

Da in einer Vielzahl an Studienpublikationen sehr häufig wichtige Elemente der Methodik und Auswertung lückenhaft berichtet wurden [3], wurde Mitte der 1990er Jahre das CONSORT-Statement (Consolidated Standards of Reporting Trials) entwickelt.

Nach Untersuchungen von Solomon et al. [4] wiesen besonders chirurgische Studien meist einen sehr knapp gehaltenen Methodenteil auf, es fehlte häufig eine Fallzahlplanung sowie adäquate Definitionen von Endpunkten, was für die Vergleichbarkeit von Studienergebnissen unerlässlich ist.

Zur Verbesserung der Berichtsqualität können Checklisten nach dem Vorbild des CONSORT-Statements über das Erfassen wesentlicher methodischer sowie inhaltlicher Kriterien hilfreich. Tabelle 1 gibt einen Überblick der wichtigsten Checklisten aus dem Bereich der klinischen Forschung, die unter den angegebenen Referenzen kostenfrei abrufbar sind.

b. GRADE

Der GRADE-Ansatz unterscheidet zwischen der Qualitätsbeurteilung im Rahmen systemischer Übersichtsarbeiten und der Qualitätsbeurteilung als Baustein der Leitlinienentwicklung. Weiterhin unterscheidet GRADE zwischen Qualität der Evidenz und Empfehlungsstärke. Kernelement ist das PICO-Schema (Patientenkollektiv, Intervention, Vergleich/Kontrolle, Outcomes), welches als Ausgangspunkt für die Qualitätsbewertung der Evidenz dient. Im Vorfeld wird festgelegt, welche Endpunkte berücksichtigt bzw. nicht berücksichtigt werden. Diese werden dabei nach Relevanz für eine Empfehlung gewichtet (essenziell, wichtig aber nicht essenziell, von begrenzter Bedeutung). Die Qualität kann dabei für verschiedene Endpunkte unterschiedlich sein. Die verschiedenen Level der Qualität bei GRADE sind dabei wie folgt unterteilt: hoch, moderat, niedrig, sehr niedrig [5].

c. Cochrane Risk of Bias Tool (CCRBT)

Seit seiner Einführung im Jahr 2008 wird das Cochrane Risk of Bias Tool von der Cochrane Collaboration stetig weiterentwickelt, um die Nachteile bestehender Instrumente der Qualitätsbeurteilung zu identifizieren und diesen zu begegnen. Von Bedeutung ist zudem, die Unterschiede zwischen tatsächlicher Studiendurchführung und der Berichterstattung/ wissenschaftlichen Publikation aufzudecken.

Der Ansatz des CCRBT begründet sich auf der individuellen Einschätzung des Verzerrungspotenzials (hoch, niedrig, unklar) von sechs Schlüsselkomponenten einer Studie (Generierung der zufälligen Zuteilung, verdeckte Zuteilung, Verblindung, unvollständiges Berichten der Endpunkte, selektives Berichten der Endpunkte, andere Möglichkeiten von Verzerrung). Jede Komponente wird separat bewertet und lässt somit eine zuverlässige Einschätzung über den Einfluss dieser Komponente auf den Behandlungseffekt zu [6]. Die Bewertung erfolgt dabei im Idealfall nicht allein auf Basis der Publikation, sondern ebenfalls auf weiteren studienbezogenen Dokumenten, wie z. B. auf dem Studienprotokoll.

d. Die CLEAR NPT Checkliste

Die Clear NPT (Non Pharmacological Treatments) Checkliste ist ein von 55 Experten (Biometriker, Epidemiologen, Kliniker) entwickeltes Instrument zur Beurteilung von nicht-pharmakologischen randomisiert kontrollierten Studien [7]. Insgesamt umfasst die Checkliste zehn Elemente mit je fünf Unterelementen. Unter anderem beziehen sich die ausgewählten Elemente auf die Standardisierung der Intervention, den möglichen Einfluss des medizinischen Personals sowie auf zusätzliche Maßnahmen zur Minimierung einer potenziellen Verzerrung durch fehlende Verblindung. Ein detaillierter Leitfaden als Hilfestellung zur Beurteilung der jeweiligen Elemente ist unter http://www.bichat.inserm.fr/equipes/Emi0357/docs/usersguidelines.pdf öffentlich verfügbar. Die Vorteile der CLEAR NPT Checkliste für die Beurteilung randomisiert kontrollierter Studien in der Chirurgie ergeben sich aus der Charakteristik und Gewichtung chirurgisch relevanter Kriterien, welche durch andere Instrumente nicht abgedeckt werden.

Besonderheiten der Qualitätsbeurteilung chirurgischer Studien

Die Chirurgie hat sich im Rahmen der Verbreitung von EbM über die letzten 20 Jahre analog der pharmakologischen Forschung deutlich weiterentwickeln müssen. Die Untersuchung von Wirksamkeit und Sicherheit chirurgischer Verfahren musste nun ebenfalls anhand klar definierter Gesichtspunkte durchgeführt und evaluiert werden. Die in diesem Zuge entstandenen chirurgisch gewichteten Instrumente der Qualitätsbeurteilung unterschieden sich klar von denen pharmakologischer Studien (Weiterführende Literatur: die IDEAL-Empfehlungen [8]).

Chirurgische Interventionen sind meist komplex, eine Beurteilung erfordert daher eine detaillierte Beschreibung der chirurgischen Intervention [9]. Dazu gehören neben den technischen Details des Eingriffes auch das prä-, intra- und postoperative Management inklusive Anästhesie und Follow-Up. Die Expertise der durchführenden Chirurgen ist ebenfalls ein potenzieller Einflussfaktor für das Studienergebnis, obgleich sich dieser häufig als schwer evaluierbar herausstellt.

Im Vergleich zu Medikamentenstudien mit meist standardisierter Intervention, sind bei der Qualitätsbeurteilung chirurgischer Studien zahlreiche zusätzliche Kriterien von Bedeutung. Neben Lernkurve und Erfahrung der ausführenden Chirurgen gehören dazu auch Timing der Studiendurchführung und Standardisierung der chirurgischen Interventionen in allen Behandlungs- und Kontrollgruppen. Diese weiteren Parameter haben neben der reinen Studienmethodik einen erheblichen Einfluss auf das Studienergebnis und damit auch auf die Qualität und sollten deshalb ebenfalls erfasst und analysiert werden.

Schlussfolgernd sind allgemeine Instrumente der Qualitätsbeurteilung für chirurgische Studien häufig nicht ausreichend und sollten je nach Fragestellung und Fachgebiet erweitert und angepasst werden.

Fazit

Um der Flut an wissenschaftlichen Publikationen und stets steigender Verfügbarkeit (z. B. MEDLINE, EMBASE, Cochrane Library) kritisch begegnen zu können, bedarf es einer gewissen Expertise. Um das Heraussieben der entscheidenden Studien zu erleichtern sind mittlerweile verschiedene Hilfsmittel und Instrumente der Qualitätsbeurteilung unerlässlich und erlauben ein Vorgehen nach standardisierten und bereits validierten Verfahren.

Nur qualitativ hochwertige Studien ermöglichen eine fundierte Entscheidungsfindung unter Einbezug aller notwendigen Kriterien. Patientenorientierung, Wirtschaftlichkeit und medizinische Anwendbarkeit können je nach Gewichtung der persönlichen Präferenz eine größere oder kleinere Rolle in der Suche nach Evidenz spielen. Um diese im Rahmen eines Critical Appraisal zu bewerten kann der medizinische Anwender bereits aus einer Vielzahl an Instrumenten der Qualitätsbeurteilung wählen, bisher jedoch ist eine Empfehlungen im Sinne eines „one fits all“- Tools nicht möglich. Durch eine individuelle Anpassung an Fachgebiet, Fragestellung und Studientyp ist allerdings im Gegensatz zu allgemeinen Methoden meist sogar eine qualitativ hochwertigere Literaturbewertung durchzuführen. Somit sind Instrumente der Qualitätsbeurteilung im Zeitalter des Informationsüberflusses ein nicht mehr wegzudenkendes Mittel, die „Spreu vom Weizen“ zu trennen und hochqualitative Evidenz zu synthetisieren und daraus hervorgehende Evidenzbasierte Entscheidungen in der modernen Patientenversorgung zu treffen.

Literatur

[1] Altman, D.G., Confidence intervals for the number needed to treat. BMJ, 1998. 317(7168): p. 1309-12.

[2] Rothwell, P.M., External validity of randomised controlled trials: “to whom do the results of this trial apply?”. Lancet, 2005. 365(9453): p. 82-93.

[3] Schulz, K.F., et al., Assessing the quality of randomization from reports of controlled trials published in obstetrics and gynecology journals. JAMA, 1994. 272(2): p. 125-8.

[4] Solomon, M.J., et al., Randomized controlled trials in surgery. Surgery, 1994. 115(6): p. 707-12.

[5] Guyatt, G.H., et al., GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ, 2008. 336(7650): p. 924-6.

[6] Higgins, J.P. and S. Green, Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0. 2011.

[7] Boutron, I., et al., A checklist to evaluate a report of a nonpharmacological trial (CLEAR NPT) was developed using consensus. J Clin Epidemiol, 2005. 58(12): p. 1233-40.

[8] McCulloch, P., et al., No surgical innovation without evaluation: the IDEAL recommendations. Lancet, 2009. 374(9695): p. 1105-12.

[9] Ergina, P.L., et al., Challenges in evaluating surgical innovation. Lancet, 2009. 374(9695): p. 1097-104.

[10] Altman, D.G., Better reporting of randomised controlled trials: the CONSORT statement. BMJ, 1996. 313(7057): p. 570-1.

[11] Vandenbroucke, J.P., et al., Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): explanation and elaboration. PLoS Med, 2007. 4(10): p. e297.

[12] Stroup, D.F., et al., Meta-analysis of observational studies in epidemiology: a proposal for reporting. Meta-analysis Of Observational Studies in Epidemiology (MOOSE) group. JAMA, 2000. 283(15): p. 2008-12.

[13] Moher, D., et al., Improving the quality of reports of meta-analyses of randomised controlled trials: the QUOROM statement. Quality of Reporting of Meta-analyses. Lancet, 1999. 354(9193): p. 1896-900.

[14] Liberati, A., et al., The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PLoS Med, 2009. 6(7): p. e1000100.

[15] Whiting, P., et al., The development of QUADAS: a tool for the quality assessment of studies of diagnostic accuracy included in systematic reviews. BMC Med Res Methodol, 2003. 3: p. 25.

[16] Bossuyt, P.M., et al., Toward complete and accurate reporting of studies of diagnostic accuracy. The STARD initiative. Am J Clin Pathol, 2003. 119(1): p. 18-22.

Pianka F. / Klaiber U. / Knebel P. / Diener M. K. Praxis II: Critical Appraisal unter Zuhilfenahme von Instrumenten der Qualitätsbeurteilung – oder „Die Spreu vom Weizen trennen“. Passion Chirurgie. 2014 März, 4(03): Artikel 02_04.

Gut sein wollen wir alle! Krankheiten erkennen und dann richtig behandeln, d. h. Verfahren anwenden, die tatsächlich die Krankheit behandeln oder lindern und den Patienten idealerweise von seinen Beschwerden dauerhaft heilen – darum geht es. Doch woher wissen wir, ob wir das Richtige wissen und das richtige Wissen auch adäquat anwenden? Nun, immerhin haben wir sechs Jahre lang studiert. Das Problem ist, die Hälfte dessen, was wir während des Studiums gelernt haben, wird sich innerhalb der nächsten fünf Jahre nach Beendigung des Studiums als falsch oder völlig aus der Mode gekommen herausstellen. Leider wissen wir nicht, welche Hälfte. Beispiele dafür gibt es zahlreich. So hat die chirurgische Generation, der auch ich angehöre, noch gelernt, dass Gallenblasen in der Regel durch einen Rippenbogen-Randschnitt operativ entfernt werden und der Patient danach geheilt ist. Die Einführung der minimal invasiven Chirurgie in den frühen 90er Jahren wurde zum Teil als „Micky Maus-Chirurgie“ verlacht, war aber aufgrund der großen Erfolge und der wesentlich geringeren Nebenwirkungen auf den Patienten sehr schnell Goldstandard. Ebenfalls unumstritten war die Tatsache, dass Magengeschwüre durch Säure ausgelöst und durch Stress verursacht werden. Dies ist ebenfalls passé. Es vergingen knapp zehn Jahre bis zu der Erkenntnis, dass der Helicobacter pylori die Geschwüre verursacht und diese durch Antibiotikatherapie erfolgreich behandelt werden können. Die Erkenntnis von heute ist also möglicherweise der Irrtum von morgen.

Doch wie kommt der praktizierende Arzt tatsächlich zeitnah an das „richtige“, „saubere“ Wissen? Neue Erkenntnisse zur richtigen Diagnostik und Therapie von Krankheiten werden fast nur noch durch groß angelegte Studien an großen Patientenkollektiven gewonnen. Jede dieser Studien weist für sich die Möglichkeit des Irrtums, methodischer Probleme, der Verzerrung oder auch der Manipulation auf. Ihre Ergebnisse werden nicht selten im Interesse der Pharmaindustrie mit großem Elan auf den Markt gebracht. Immer öfter stellt sich im Nachhinein heraus, dass der große, dem Arzt und dem Patienten versprochene Fortschritt doch nur ein kleiner war und einer, der mit erheblichen Nebenwirkungen behaftet ist. Wie schützen wir uns vor irreführenden, pseudo-wissenschaftlichen Informationen? Und woher wissen wir, dass wir auf der Basis „sauberer“ Erkenntnisse tatsächlich die richtige Diagnose gestellt und damit die Behandlung überhaupt auf den richtigen Weg gebracht haben?

Und sind wir – last but not least – sicher, dass das, was wir tun, tatsächlich den Bedürfnissen und Erwartungen unserer Patienten entspricht? Nicht immer ist das, was der Arzt für richtig hält und macht, auch tatsächlich das, was dem Patienten ein besseres Leben und eine höhere Lebensqualität beschert. Diese Diskussion finden wir beispielsweise in der Therapie von onkologischen Erkrankungen tagtäglich wieder.

Mit dem „Zauberwort“ der „evidenzbasierten Medizin“ (EbM) wurde Mitte der 90iger Jahre der Schlüsselbegriff dafür kreiert, der uns allen aus diesen Nöten heraushelfen soll. „Die evidenzbasierte Medizin ist der gewissenhafte, ausdrückliche und angemessene Gebrauch der gegenwärtig besten, vorhandenen Daten aus der Gesundheitsforschung, um bei der Behandlung und Versorgung von konkreten Patienten Entscheidungen zu treffen. EbM beinhaltet die Integration individueller klinischer Expertise mit der bestmöglichen externen Evidenz aus klinischer Forschung und die Perspektive der Patienten“ (David Sackett) [1].

Was heißt das? Die evidenzbasierte Medizin fragt explizit und systematisch: Was will und braucht mein Patient eigentlich? Was muss ich dazu wissen? Stimmt das, was ich zu wissen glaube? Ist das Wissen auf den einzelnen Patienten anwendbar? Und, habe ich die therapeutischen Ziele tatsächlich erreicht? Evidenzbasierte Medizin beginnt mit der richtigen klinischen Diagnose und damit mit guten klinischen Fähigkeiten, Anamnese, Status- und Befunderhebung sowie ärztlichem Wissen und Erfahrung. In der Regel sind wir mit Fragen zur richtigen Therapie konfrontiert. Um diese beantworten zu können, sollte im Idealfall eine Recherche der Literatur und eine kritische Beurteilung derselben stattfinden. Per Internetrecherche und Zugang zu medizinischen Datenbanken bekommt man mit relativ wenig Übung und wenig Zeitaufwand zumindest Tendenzen heraus und ist in der Lage, die Aussagekraft von Studien einzuschätzen. Das dazu nötige Wissen ist vergleichsweise einfach zu erwerben. Auch der Verfasser dieser Zeilen, der unter anderem deshalb Chirurg geworden ist, weil er eine intensivere Beschäftigung mit Statistik vermeiden wollte, hat nach einem zweieinhalbtägigen Kurs zum „Critical Appraisal“ gelernt, wie man Studien grundlegend bewertet. Inzwischen ist dieses Wissen fast Allgemeingut geworden. Selbst Kurse für Patienten und Schüler vermitteln dieses Wissen. Ich darf hier auch die Broschüre „Kompetent als Patient“ der Techniker Krankenkasse, kostenlos als Download im Internet erhältlich, sehr empfehlen (Link am Ende des Artikels).

Ein Beispiel für eine „verzerrte“ Wahrnehmung ist die Darstellung von Studienergebnissen in Prozentangaben. Der Nutzen neuer Verfahren wird gerne in Prozentangaben vermittelt, da Schlagzeilen wie „Neues Medikament senkt die Herzinfarktrate um 30 %“ genauso aufhorchen lassen wie die Aussage, dass das Mammografiescreening die Sterblichkeit an Brustkrebs um 25 % senkt. Wir sind beeindruckt, lesen wir doch genau das, was wir eigentlich lesen wollen, nämlich, dass es etwas gibt, das dem Patienten hilft und unsere Arbeit damit erfreulich macht. Gleichwohl lohnt sich hier ein Blick auf die reinen Zahlen: Von eintausend Frauen sterben nach zehn Jahren in der Regel vier an Brustkrebs. Werden tausend Frauen zehn Jahre lang in einem Mammografieprogramm gescreent, so sterben in dieser Gruppe drei Frauen an Brustkrebs. Der Unterschied zwischen vier und drei Verstorbenen sind die besagten 25 %. Aus dem Blickwinkel einer Frau, die sich screenen lässt, bleibt leider die Erkenntnis, dass eben nur eine von tausend Frauen durch das Screening tatsächlich nicht an Brustkrebs verstirbt. So beträgt die relative Risikoreduktion 25 %, die absolute Risikoreduktion nur 0,1 %. Weiß man, dass falsch positive Befunde erhoben werden können, so muss man sich ärztlich und ethisch der Tatsache stellen, dass bei den gescreenten Frauen ca. zweihundert einen Befund bekommen, der aufwendig abgeklärt wird (Krebsverdacht!), und der sich im Nachhinein als nicht maligne herausstellt. Ich muss also tausend Frauen behandeln, um ein Menschenleben zu retten (number needed to treat = 1.000). Gleichzeitig löse ich bei einer von fünf Frauen einen Schaden aus, der ohne die Behandlung nicht entstanden wäre (Number needed to harm = 5).

Die irreführende Verwendung von Prozentangaben ohne Angabe darüber, ob es sich um eine absolute oder eine relative Risikoreduktion handelt, zeigt sich an einem anderen lebensweltlichen Beispiel noch wesentlich plastischer. Die meisten von uns hätten gerne viel Geld zur Verfügung. So löst die Frage, ob sie am Wochenende mehrere Millionen Euro steuerfrei bekommen möchten sowohl Neugierde, vor allen Dingen Skepsis aus. Wie können Sie Ihre Wahrscheinlichkeit, Multi-Millionär zu werden, um 50 % erhöhen? Füllen Sie bitte am Wochenende statt vier Kästchen auf dem Lottoschein sechs Kästchen aus und Sie haben Ihre Wahrscheinlichkeit um 50 % erhöht. Also bitte verlassen Sie sich bei Ihren Entscheidungen nicht auf Prozentangaben!

Alleine mit solchen Erkenntnissen wird man als Arzt verantwortungsbewusster und freier, man geht nicht jedem neuen Heilversprechen auf den Leim und ist gleichzeitig in der Verantwortung, sich eine eigene Meinung zu bilden.

Evidenzbasierte Medizin hilft somit dem Arzt, besser herauszufinden, was in der Medizin richtig und was falsch ist oder macht zumindest skeptisch. Er wird freier in seinen Entscheidungen und durch den expliziten Bezug auf die Bedürfnisse und Erwartungen seiner Patienten auch unmittelbarer. Die evidenzbasierte Medizin ist somit Technik und Tugend (Johannes Köbberling) [vgl. 2].

1998 wurde der erste bundesweite „EbM-Kongress“ in Deutschland von der Ärztekammer Berlin organisiert und die ersten Kurse, nach dem im Anschluss an den Kongress erarbeiteten „Curriculum Evidenzbasierte Medizin“ der Bundesärztekammer abgehalten. Einzelne Ärzte, vor allen Dingen aber auch Fachgesellschaften und andere ärztliche Organisationen haben sich des Themas dankbar angenommen und begonnen, inhaltlich die Spreu vom Weizen zu trennen. Moderne Leitlinien, die in der Regel von Fachgesellschaften oder übergeordneten Institutionen wie dem Ärztlichen Zentrum für Qualität in der Medizin/ÄZQ (Link am Ende des Artikels) zur Verfügung gestellt werden, sind evidenzbasiert, d. h. auf wissenschaftlich-systematischer Basis und – entsprechend der Darlegung von materiellen oder immateriellen Interessenskonflikten – mit unabhängiger Expertise erarbeitet.

Der mit der EbM eingeleitete politische Prozess war erheblich. Evidenzbasierte Medizin war anfänglich noch als „Kochbuchmedizin“ apostrophiert. Inzwischen bestreitet niemand mehr die Notwendigkeit und Sinnhaftigkeit einer Medizin, die auf Daten, Belege und systematisch zusammengeführten Erfahrungen und nicht nur auf persönlichen Meinungen beruht. Im Praxisalltag wirkt sich dies beispielsweise folgendermaßen aus: „Der Weg zur EbM hat mich aus der Isolation der Landarztpraxis herausgeführt. Im PC-Zeitalter sind Informationen im ländlichen Abseits (fast) so zugänglich wie an Universitäten. Der fachliche Austausch mit Kollegen regional und überregional, auch z. B. im Rahmen von Qualitätszirkelarbeit und Seminaren zu EbM belebt und erleichtert den Praxisalltag, der Kontakt mit den Patienten wird offener und partnerschaftlicher, wobei der Prozess der Entscheidungsfindung wird allerdings nicht einfacher, sondern eher differenzierter und komplexer geworden ist. Unsicherheiten sind zumindest besser benennbar“ (Hannelore Wächtler) [3].

Inzwischen ist eine neue Ebene erreicht. Wurden in den 80er Jahren noch 2.000 doppelblind randomisierte klinische Studien, die die größtmögliche Gewähr auf Objektivität bieten, in Medline veröffentlicht, sind es inzwischen 20.000 Publikationen pro Jahr. Circa 45.000 klinische Studien laufen derzeit weltweit. Nicht wenige werden nicht auf Englisch, sondern in Mandarin publiziert. Darüber hinaus bedroht uns der sogenannte „Publication bias“. Knapp die Hälfte aller Studien, die weltweit durchgeführt werden, werden nicht veröffentlicht. Ein eindrückliches Beispiel ist eine Studie aus den 80er Jahren an 100 Patienten nach einem Herzinfarkt, die mit einem Medikament zur Behandlung von Herz-Rhythmus-Störungen versorgt wurden. In der behandelten Gruppe starben von fünfzig Patienten zehn, in der nichtbehandelten Gruppe starb lediglich ein Patient. Daraufhin verzichtete die Pharmaindustrie auf die weitere Entwicklung dieses Medikaments, leider auch auf die Veröffentlichung des Studienergebnisses. Das hat dazu geführt, dass andere Unternehmen genau diese Stoffgruppe zu Medikamenten weiterentwickelt und flächendeckend zur Anwendung gebracht hat. Erst viele Jahre später hat eine groß angelegte Studie gezeigt (CAST Studie) [vgl. 4], dass die behandelten Patienten nach einem Herzinfarkt nicht trotz der Medikation, sondern wegen der Medikation, gestorben sind. Dieses Nicht-Wissen hat zu rechnerisch sechsstelligen vermeidbaren Todesopfern pro Jahr allein in den Vereinigten Staaten von Amerika geführt.

So sind die Möglichkeiten, aber auch die Herausforderungen gestiegen: Der klinisch tätige Arzt ist eingeladen, sich mit den Grundlagen der evidenzbasierten Medizin zu beschäftigen, um Irrtümer und Irreführungen weitestgehend zu vermeiden. Fachgesellschaften und andere ärztliche Organisationen sind aufgefordert, ihre Leitlinien systematisch nach den Regeln der evidenzbasierten Medizin zu erstellen und in regelmäßigen Abständen anzupassen. Die Auftraggeber und die Wissenschaft sind aufgefordert, alle Studien lückenlos zu veröffentlichen und sowohl Forschern als auch der Öffentlichkeit ihre Studiendaten vollumfänglich zur Verfügung zu stellen. Eine entsprechende Richtliniengebung der Europäischen Kommission ist derzeit auf dem Weg (www.alltrials.net sei herzlich als Einstieg empfohlen, Ben Goldacre ist einfach Klasse!). Auf der politischen Ebene stellt sich die Frage, wie man systematisch die Studien sammelt, bewertet und in entsprechend handhabbarer Form Ärzten wie Patienten gleichermaßen zur Verfügung stellt. Hier ist Deutschland im Gegensatz zu den USA, Großbritannien und Norwegen noch ein „Entwicklungsland“. Das Thema bricht sich erst langsam seine Bahn. Die theoretischen Grundlagen sind vorhanden [vgl. 5].

Wenn man sich auf die befreiende Wirkung von evidenzbasierter Medizin eingelassen hat, stößt man auf die Erkenntnis, dass der Stammvater der evidenzbasierten Medizin, David Sackett, nach wie vor recht hat. Er sagt, um Patienten tatsächlich zu helfen, braucht man vier Grundvoraussetzungen:

• Ausgefeilte klinische Fähigkeiten und Erfahrungen in Anamnese und Befunderhebung, ohne die man weder die richtigen Diagnosen, noch die tatsächlichen Therapieziele aus dem Blickwinkel des Patienten definieren kann.
• Eine Praxis des lebenslangen kontinuierlichen und eigenverantwortlichen Lernens, ohne das das ärztliche Wissen in gefährlich schneller Geschwindigkeit veraltet.
• Die Tugend der Demut solle bewahrt werden, ohne diese wird man immun gegen tatsächliche Verbesserung der eigenen Fähigkeiten oder der Offenheit gegenüber Neuerungen in der Medizin.
• Man möge nie den Enthusiasmus, Arzt zu sein, und die Respektlosigkeit gegenüber althergebrachtem Wissen verlieren. Ohne diese beiden letzten Eigenschaften bringt man sich um den Spaß, den evidenzbasiertes Arbeiten tatsächlich bringt (David Sackett) [vgl. 6].

Literaturempfehlungen

• Evans I. Thornton H. Chalmers I. Glasziou P. Wo ist der Beweis? Plädoyer für eine evidenzbasierte Medizin. Bern. 2013
• Gigerenzer G. Muir Gray J. A. Bessere Ärzte, Bessere Patienten, Bessere Medizin. Berlin. 2013
• Wiesing U. Marckmann G. Freiheit und Ethos des Arztes. München 2009
• Gigerenzer G. Einmaleins der Skepsis. Über den richtigen Umgang mit Zahlen und Risiken. Berlin. 2002

 

Literatur

[1] Sackett D. BMJ. 1996; 312: 71-2

[2] Kunz R. Ollenschläger G. Raspe H. Jonitz G. Donner-Banzhoff N. Lehrbuch Evidenzbasierte Medizin in Klinik und Praxis. Köln. 2007

[3] Wächtler H. Begegnungen mit evidenzbasierter Medizin aus einer Landarztpraxis heraus. Schleswig-Holsteinisches Ärzteblatt 2002, Heft 1: 62-63

[4] http://www.medlibrary.de/index.php?title=CAST-Studie

[5] Gigerenzer G. Muir Gray J.A. Bessere Ärzte, Bessere Patienten, Bessere Medizin. Berlin 2013

[6] Sackett D. Richardson et all. Evidenzbased Medicine. New York. 1977. VI-IX

Jonitz G. Evidenzbasierte Medizin – integraler Bestandteil des Arztseins. Passion Chirurgie. 2014 März, 4(03): Artikel 02_01.