Kurzbeschrieb Kurse

Hier finden Sie alle Einzelkurse aus unserem Weiterbildungsprogramm. Mit Klick auf den Kurstitel sehen Sie eine Kurzbeschreibung der Kursinhalte.

In diesem Kurs geht es um die grundlegenden Merkmale von Evaluation und darum, was das spezifische Leistungsprofil von Evaluation ist (bspw. im Unterschied zu Forschung, Qualitätsmanagement oder Monitoring). Es werden die Grundbegriffe der Evaluation, der Evaluationsprozess und die unterschiedlichen Rollen besprochen, die bei einer Evaluation zum Tragen kommen. Weitere Themen sind die Herkunft und Geschichte der Evaluation sowie die wichtigsten Evaluationsansätze. Ein besonderer Fokus liegt dabei auf der verwendungsorientierten Evaluation: Die Teilnehmenden diskutieren anhand von konkreten Beispielen verschiedene Formen der Verwendung von Evaluationen und erarbeiten eine Liste von Faktoren, die zur Realisierung nützlicher Evaluationen beitragen.

Bei der Planung von Evaluationen müssen alle nachfolgenden Schritte des Evaluationsprozesses vorweggenommen werden; je besser man plant desto leichter ist es später, die Evaluation „auf Kurs“ zu halten und in der vorgesehenen Zeit die anvisierten Ziele zu erreichen. Im Kurs werden die Aufgaben besprochen, die zur Evaluationsplanung gehören (Evaluationsgegenstand bestimmen, Zweck und Fragestellungen der Evaluation klären, Datenerhebung und -auswertung sowie Berichterstattung und Ergebnisnutzung planen). Die Teilnehmenden lernen, wie ein darauf abgestimmter schriftlicher Evaluationsplan aufgebaut ist. Ein Schwerpunkt des Kurses liegt bei der Übersicht über unterschiedliche Datenerhebungsmethoden und Untersuchungsdesigns.

Wirkungsmodelle gehören in der Evaluation inzwischen zu den wichtigsten Werkzeugen, wenn es darum geht, Wirkungen und Wirkweise von Programmen zu untersuchen. Sie fassen z. B. in Form einer Ablauflogik oder eines Kausaldiagramms wesentliche Annahmen darüber zusammen, welche Einflussfaktoren und vermittelnde Variablen die Wirkungen einer Maßnahme beeinflussen. Im Kurs werden unterschiedliche Varianten von Wirkungsmodellen wie Programmtheorien, logische Modelle oder logical framework behandelt. Neben ihrer Entwicklung wird vor allem der gewinnbringende Einsatz von Wirkungsmodellen in verschiedenen Phasen des Evaluationsprozesses thematisiert.

Evaluationen werden in aller Regel beauftragt – entweder intern, z.B. durch eine Evaluationsstelle, oder extern, oft über ein Ausschreibungsverfahren. In beiden Fällen sind Gespräche mit den Auftraggebenden notwendig, um den Evaluationsauftrag zu klären und zu konkretisieren. In diesem Kurs werden solche Auftragsklärungsgespräche anhand konkreter Fälle simuliert. Die Teilnehmenden haben so die Gelegenheit, für ein reales Beispiel ein Gespräch vorzubereiten, durchzuführen, und aufgrund der Ergebnisse einen ersten groben Evaluationsplan auszuarbeiten, der die Grundlage für Vertrag und Pflichtenheft darstellt. Der Kurs vermittelt Strategien der Kommunikation mit den Auftraggebenden und gibt Einblick in weitere, in der Anfangsphase einer Evaluation relevante Themen (u.a. Evaluierbarkeit; Stakeholderanalyse).

Im Mittelpunkt dieses Kurses stehen die unterschiedlichen Erwartungen und Anforderungen, die an die Evaluation gerichtet sind, und die verschiedenen Ansätze und Instrumente zur Sicherung, Überprüfung und Entwicklung der Qualität von Evaluation. Zum einen geht es um die Frage, was «Qualität» im Kontext von Evaluation ist und worauf sich die Qualität von Evaluation beziehen kann. Dies beinhaltet eine vertiefte Auseinandersetzung mit Evaluationsstandards. Zum anderen werden verschiedene Ansätze und Instrumente der Qualitätsförderung und -sicherung behandelt und diskutiert.

Wie bei jedem Vorhaben ist auch bei Evaluationen ein gutes Projektmanagement zentral. Da Evaluationen häufig extern in Auftrag gegeben werden, haben die Auftraggebenden und die Auftragnehmenden eine geteilte Verantwortung: Während die Auftraggebenden für das Grobkonzept der Evaluation sowie fürdie Ausschreibung, den Vergabeprozess, die Begleitung und Valorisation der Evaluation verantwortlich sind, sind dieAuftragnehmenden für Offerte, Zeit- und Kostenplanung sowie die Durchführung der Evaluation zuständig. Entlang konkreterÜbungsbeispiele illustriert der Kurs das Management des ganzen Evaluationsprozesses aus Auftraggeber- und Auftragnehmerperspektive von der Ausschreibung bis zur Nutzung der Ergebnisse.

In Evaluationsprojekten werden häufig Befragungen durchgeführt, um die Daten zu erheben, die zur Beantwortung der Evaluationsfragestellungen notwendig sind. Die Entwicklung von Fragebögen für schriftliche und Online-Befragungen sowie die Durchführung von solchen Befragungen ist Gegenstand dieses Kurses. Dabei kommen Themen zur Sprache wie: Fragetypen, Frageformulierung, Antwortskalen, Skalenniveaus, Pretest, Gütekriterien, Rücklaufquote etc. Die Teilnehmenden üben anhand eines realen Beispiels die Fragebogenentwicklung, erstellen einen Online-Fragebogen mit einer Befragungssoftware und lernen den Ablauf eines Befragungsprojektes kennen. Eigene Fragebögen können zum Kurs mitgebracht und besprochen werden.

Im Rahmen von Evaluationen werden häufig quantitative (numerische) Daten erhoben. Dieser Kurs führt in die quantitative Datenanalyse ein und ermöglicht es den Teilnehmenden, Daten aufzubereiten und zu analysieren. Bei den Analysen stehen die Methoden der deskriptiven Statistik im Vordergrund. Es werden grundlegende Kenntnisse vermittelt und die Erzeugung einfacher Auswertungen mit den Programmen Excel und SPSS sowie das kritische Hinterfragen bestehender Analysen geübt.

Dieser Kurs dient dazu, Prozesse qualitativer Datenerhebung und -auswertung kennenzulernen, zu reflektieren und für die eigene Praxis effizient nutzen zu können. Nach einem Überblick über Ziele und Grundannahmen qualitativen Arbeitens wird die Wahl einer geeigneten qualitativen Erhebungsform für das eigene Evaluationsprojekt diskutiert. Die Vorbereitung und Durchführung von Interviews, insbesondere Leitfadenentwicklung und adäquate Fragetechniken, werden u.a. mit Hilfe praktischer Übungen erarbeitet. Anschliessend erhalten die Teilnehmenden einen Einblick in verschiedene Ansätze qualitativer Datenauswertung (u.a. zusammenfassende, explizierende und strukturierende Inhaltsanalyse nach Mayring; strukturierende Inhaltsanalyse nach Kuckartz) und setzen den Auswertungsprozess anhand von konkretem Interviewmaterial mittels der QDA-Software MAXQDA selbst um.

Wenn sich Evaluationsfragestellungen auf Prozesse, Verhaltensweisen, Handlungszusammenhänge etc. beziehen, dann können Befragungen oft nur mittelbare, durch den Befragungsprozess „gefilterte“ Informationen liefern. Mit der direkten Beobachtung der interessierenden Sachverhalte bietet sich dagegen ein unmittelbarer Zugang zu diesen. Dieser Kurs behandelt die Beobachtung als qualitative und quantitative Datenerhebungsmethode; es werden verschiedene Beobachtungsansätze und -instrumente sowie Techniken und Strategien für die Systematisierung der Beobachtung vorgestellt. Die Teilnehmenden lernen auch, potenzielle Fehlerquellen (z.B. eigene Wahrnehmungsfilter) wahrzunehmen und mit diesen umzugehen.

Gruppensettings spielen im Rahmen von Evaluationsprojekten eine grosse Rolle, insbesondere wenn partizipativ, nutzungsfokussiert und formativ evaluiert wird. Gruppenmethoden eignen sich, um Evaluationsfragestellungen zu klären, den Evaluationsprozess auf Kurs zu halten, um Daten zu erheben, zu interpretieren und die Nutzung der Ergebnisse einzuleiten. Im Vordergrund dieses Kurses stehen qualitativ ausgerichtete Gruppendiskussionen als Erhebungsverfahren. Zur Veranschaulichung verschiedener Konzeptionen der Gruppendiskussion werden mehrere sich stark unterscheidende Ansätze vorgestellt (z.B. Fokusgruppen, multimethodische Gruppenerhebungen) und anhand konkreter Praxisbeispiele verdeutlicht.

Ein wesentliches Ergebnis von Evaluationen sind die Bewertungen, die auf der Grundlage der erhobenen Daten in Bezug auf den Evaluationsgegenstand vorgenommen und in geeigneter Weise kommuniziert werden müssen. Dieser Kurs thematisiert, wie Kriterien definiert werden und wie man systematisch von den Daten zu Bewertungen gelangt. Die Teilnehmenden lernen ausserdem, Berichts- und Kommunikationsformate zu entwickeln, die auf den Evaluationszweck und auf diejenigen Personen abgestimmt sind, die die Evaluationsergebnisse nutzen, denn die sorgfältige Kommunikation entscheidet oft über den letztendlichen Erfolg einer Evaluation. Es werden formale und sprachliche Anforderungen an Evaluationsberichte und weitere Kommunikationsformen vermittelt, insbesondere kürzere multi-media basierte Formate wie Blogs oder Infographics und Dialog-basierte Formate wie Case studies oder Workshops.

Die Schweiz zeichnet sich durch eine im internationalen Vergleich fortgeschrittene Institutionalisierung der Politikevaluation aus, und die schweizerische Evaluationskultur und -debatte sind stark durch die Politikwissenschaft geprägt. Der Kurs beleuchtet unterschiedliche Aspekte der Evaluation im Kontext von Politik und Verwaltung, wie z.B. Verbindungen zwischen Evaluation und New Public Management oder die politische Nutzung von Evaluationen. Evaluation wird mit Steuerungsinstrumenten wie Monitoring und Controlling verglichen. Der Kurs geht auch auf die Konsequenzen ein, die sich aus den Besonderheiten des schweizerischen politischen Systems für die Evaluation ergeben.

Programme, egal ob im Gesundheits-, Sozial-, Bildungs- oder Entwicklungsbereich, werden häufig über verschiedene Einzelprojekte umgesetzt. Dies stellt eine Herausforderung für die Evaluation dar: Wie misst man die Wirkungen eines Programms, das aus unterschiedlichen Einzelprojekten besteht (verschiedene Themen und Durchführende, manchmal über verschiedene Länder hinweg)? Um dieser Fragestellung auf den Grund zu gehen, befasst sich der Kurs mit verschiedenen Arten von Programmen und Ansätzen der Programmevaluation (z.B. Multi-Site-Evaluation und Cluster-Evaluation). An praktischen Beispielen werden diese Ansätze vorgestellt und diskutiert. Dabei geht der Kurs auf die Konzeption, die Datenerhebung und -synthese sowie auf die praktische Umsetzung von Programmevaluationen ein.

Schon seit den 1960er-Jahren machen sich Evaluationstheoretiker und –praktikerInnen über unterschiedliche Herangehensweisen an die Evaluation Gedanken. Es sind so unterschiedliche Ansätze entstanden wie die «zielbasierte» und die «zielfreie» Evaluation, die «empowerment», die «realist» oder die «developmental» Evaluation, um nur einige zu nennen. In diesem Kurs wird ein Überblick über verschiedene Ansätze gegeben und den Fragen nachgegangen, welche Rolle die unterschiedlichen Ansätze in der Praxis spielen, wie sie umgesetzt werden, was ihre Vor- und Nachteile sind und insbesondere, was wir als Evaluationsfachleute von den unterschiedlichen Ansätzen für unsere eigene Evaluationspraxis lernen können. Die Kernideen zentraler Ansätze werden herausgearbeitet, und ausgewählte Ansätze werden mit Beispielen aus unterschiedlichen Politikfeldern vertieft.

Qualitätsmanagement und Qualitätssicherung sind Standardfunktionen in modernen Organisationen. Evaluation ist gefordert, sich zu diesen zu positionieren: Was sind Unterschiede und Gemeinsamkeiten, und worin besteht die Komplementarität von Evaluation zu diesen beiden Funktionen? Für Evaluatorinnen und Evaluatoren ist zu klären, wie sie als Externe oder Interne die Anforderungen an das Qualitätsmanagement formulieren oder mit Anforderungen des Qualitätsmanagements umgehen, wie sie in Doppelrollen (QualitätsbeauftragteR / EvaluatorIn) agieren, und wo die Grenzen der Zuständigkeit von Qualitätsmanagement im Sinne einer Leitungsrolle bzw. Zuarbeit zur obersten Leitung und einer unabhängigen Evaluationsrolle liegen.

Im Rahmen von Evaluationen kommt das Thema Führung auf verschiedene Arten zum tragen: Zum einen geht es um das Management eines Evaluationsprojekts und das Führen des Evaluationsteams; zum anderen spielen auch in den Beziehungen zwischen Auftraggebenden, Evaluierenden und den Personen, die für den Evaluationsgegenstand verantwortlich sind, Führungsaspekte eine Rolle. Vor allem diese Konstellationen sind potentiell konfliktträchtig, nicht zuletzt, da mit der Evaluation ganz handfeste Konsequenzen verbunden sein können. In diesem Kurs werden Führungsgrundlagen (Führungstheorien, Führungsstile) besprochen und die eigene Führungssituation, das Führungsverhalten, Führungsaufgaben und die Machtgrundlagen reflektiert. Der zweite Teil des Kurses widmet sich den Themen Kommunikation und Konfliktlösung.

Kursleitung: Internationale ExpertInnen

Sprache: Englisch

Das International Program for Development Evaluation Training (IPDET) findet jährlich im Sommer an der Universität Bern statt. Es fokussiert auf die Evaluation in der Entwicklungszusammenarbeit, wobei auch immer einige themenübergreifende Workshops angeboten werden, etwa zu bestimmten Methoden oder Evaluationsansätzen. Die MAS-Teilnehmenden wählen einen aus ca. fünfzehn zwei- bis zweieinhalbtägigen «Advanced Workshops» aus dem IPDET-Programm für sich aus. Das Programm wird jeweils im Frühjahr auf www.ipdet.org publiziert.

Evaluation liefert nicht nur im Umsetzungsverlauf und im Nachhinein wichtige Erkenntnisse zur Verbesserung von Projekten, Programmen oder Strategien. Bereits im Vorfeld stellt sie einen wichtigen Ansatz zur Generierung von entscheidungsrelevantem Wissen dar. Zur Befriedigung der verschiedensten Informationsbedarfe steht Evaluierenden hierfür eine breite Palette von Methoden und Verfahren zur Verfügung. Der Kurs vermittelt den Teilnehmenden die Potentiale von Ex-ante-Evaluation zur Vorhabensplanung und -steuerung sowie die zu ihrer Durchführung erforderlichen methodischen Grundlagen. Neben fachlichen Inputs dienen praktische Fallbeispiele dabei als Ausgangspunkt zur Entwicklung eigener Instrumente, die im Rahmen von Gruppenarbeiten ausgearbeitet und abschliessend im Plenum hinsichtlich ihrer Qualität und Anwendbarkeit diskutiert werden. Auch die Verfahren der Regulierungsfolgenabschätzung und der Nachhaltigkeitsbeurteilung kommen zur Sprache.

Evaluationen werden in zahlreichen Anwendungsfeldern vermehrt nicht mehr als punktuelle Einzelaktivitäten sondern im Rahmen von programmatischen Evaluationssystemen (wie Evaluationsprogrammen oder –strategien) realisiert. Der Kurs vermittelt einen Überblick über unterschiedliche derartige Evaluationssysteme anhand von Praxisbeispielen und benennt deren zentrale Merkmale. Die Frage, wie ein Evaluationssystem zweckmässig und angemessen zu gestalten und zu steuern ist, damit es seine Funktion erfüllen kann, wird vertieft behandelt. Dazu beleuchten wir die Nutzung von Evaluationen in Evaluationssystemen mit Befunden aus der Forschung und diskutieren Faktoren, welche die Qualität von Evaluationssystemen prägen.

Evaluationen erfolgen zumeist in komplexen Akteurskonstellationen mit anspruchsvollen Problemstellungen und spezifischen organisationalen Rahmensetzungen. Diese müssen in angemessener Weise berücksichtigt werden, um interne wie externe Evaluation wirksam werden zu lassen. Nutzungsorientierte Evaluationen sind daher grundsätzlich im Zusammenspiel mit Organisationsentwicklung und Organisationsberatung zu konzipieren und umzusetzen; diese wiederum stützen sich auf eine Analyse organisationaler Strukturen und Beziehungen. Als Grundlage werden im Kurs einschlägige Organisationstheorien, Analysetools und Konzepte der Organisationsentwicklung vermittelt. Augenmerk wird dabei auf die Faktoren gelegt, die die Nutzung von Evaluationen fördern, sowie auf das Zusammenspiel von Evaluation und Organisationsentwicklung. Der Kurs schliesst an Wissensbestände und Berufserfahrungen der Teilnehmenden an und macht sie für eine systematische Reflexion und Entwicklung fruchtbar. Der Praxistransfer wird durch kollegiale Beratung, Übungen und Fallstudien unterstützt.

Der Kurs basiert auf dem Leitfaden für Wirkungsmessung, den die ZEWO (Schweizerische Zertifizierungsstelle für gemeinnützige Spenden sammelnde Organisationen) entwickelt hat. Die Teilnehmenden lernen, ein auf die Verhältnisseihrer Organisation zugeschnittenes System zur Wirkungsmessung zu entwickeln und zu implementieren. Dabei geht es unter anderem um die Planung der Wirkungsmessung, um die Arbeit mit Wirkungsmodellen und um die Nutzungder Ergebnisse.

Häufig werden Evaluationen von externen Fachpersonen im Auftrag einer Organisation durchgeführt. Die auftraggebende Organisation ist dabei nicht nur der Impulsgeber für die Evaluation; sie hat auch ein ganz bestimmtes Nutzungsinteresse: Sie möchte die Evaluationsergebnisse für einen bestimmten Zweck verwenden. Damit dies gelingt, müssen nicht nur die externen Evaluierenden gute Arbeit leisten; auch die im Namen der auftraggebenden Organisation handelnden Personen müssen bestimmte Kompetenzen mitbringen. Dieser Kurs widmet sich der Rolle des Auftraggebenden in der Evaluation und den damit verbundenen Aufgaben.