Kurzbeschrieb Kurse

Hier finden Sie alle Einzelkurse aus unserem Weiterbildungsprogramm. Mit Klick auf den Kurstitel sehen Sie eine Kurzbeschreibung der Kursinhalte.

In diesem Kurs geht es um die grundlegenden Merkmale von Evaluation und darum, was das spezifische Leistungsprofil von Evaluation ist (bspw. im Unterschied zu Forschung, Qualitätsmanagement oder Monitoring). Es werden die Grundbegriffe der Evaluation, der Evaluationsprozess und die unterschiedlichen Rollen besprochen, die bei einer Evaluation zum Tragen kommen. Weitere Themen sind die Herkunft und Geschichte der Evaluation sowie die wichtigsten Evaluationsansätze. Ein besonderer Fokus liegt dabei auf der verwendungsorientierten Evaluation: Die Teilnehmenden diskutieren anhand von konkreten Beispielen verschiedene Formen der Verwendung von Evaluationen und erarbeiten eine Liste von Faktoren, die zur Realisierung nützlicher Evaluationen beitragen.

Bei der Planung von Evaluationen müssen alle nachfolgenden Schritte des Evaluationsprozesses vorweggenommen werden; je besser man plant desto leichter ist es später, die Evaluation „auf Kurs“ zu halten und in der vorgesehenen Zeit die anvisierten Ziele zu erreichen. Im Kurs werden die Aufgaben besprochen, die zur Evaluationsplanung gehören (Evaluationsgegenstand bestimmen, Zweck und Fragestellungen der Evaluation klären, Datenerhebung und -auswertung sowie Berichterstattung und Ergebnisnutzung planen). Die Teilnehmenden lernen, wie ein darauf abgestimmter schriftlicher Evaluationsplan aufgebaut ist. Ein Schwerpunkt des Kurses liegt bei der Übersicht über unterschiedliche Datenerhebungsmethoden und Untersuchungsdesigns.

Wirkungsmodelle gehören in der Evaluation inzwischen zu den wichtigsten Werkzeugen, wenn es darum geht, Wirkungen und Wirkweise von Programmen zu untersuchen. Sie fassen z. B. in Form einer Ablauflogik oder eines Kausaldiagramms wesentliche Annahmen darüber zusammen, welche Einflussfaktoren und vermittelnde Variablen die Wirkungen einer Maßnahme beeinflussen. Im Kurs werden unterschiedliche Varianten von Wirkungsmodellen wie Programmtheorien, logische Modelle oder logical framework behandelt. Neben ihrer Entwicklung wird vor allem der gewinnbringende Einsatz von Wirkungsmodellen in verschiedenen Phasen des Evaluationsprozesses thematisiert.

Evaluationen werden in aller Regel beauftragt – entweder intern, z.B. durch eine Evaluationsstelle, oder extern, oft über ein Ausschreibungsverfahren. In beiden Fällen sind Gespräche mit den Auftraggebenden notwendig, um den Evaluationsauftrag zu klären und zu konkretisieren. In diesem Kurs werden solche Auftragsklärungsgespräche anhand konkreter Fälle simuliert. Die Teilnehmenden haben so die Gelegenheit, für ein reales Beispiel ein Gespräch vorzubereiten, durchzuführen, und aufgrund der Ergebnisse einen ersten groben Evaluationsplan auszuarbeiten, der die Grundlage für Vertrag und Pflichtenheft darstellt. Der Kurs vermittelt Strategien der Kommunikation mit den Auftraggebenden und gibt Einblick in weitere, in der Anfangsphase einer Evaluation relevante Themen (u.a. Evaluierbarkeit; Stakeholderanalyse).

Im Mittelpunkt stehen Qualitätsanforderungen an Evaluationen, namentlich die «Evaluationsstandards», wie sie von Evaluationsgesellschaften verabschiedet und verbreitet werden. Sie sollen als Instrumente der Qualitätssicherung für eigene Evaluationsvorhaben der Teilnehmenden dienen. Verschiedene Arten der Evaluation werden mit ihren Stärken und Begrenzungen vorgestellt, so dass Teilnehmende eine begründete Wahl treffen können. Schliesslich wird die besondere Leistungsfähigkeit der Evaluation heraus gearbeitet, um «Qualität» in verschiedenen Anwendungsfeldern zu bestimmen und zu entwickeln.

Wie bei jedem Vorhaben ist auch bei Evaluationen ein gutes Projektmanagement zentral. Da Evaluationen häufig extern in Auftrag gegeben werden, haben die Auftraggebenden und die Auftragnehmenden eine geteilte Verantwortung: Während die Auftraggebenden für das Grobkonzept der Evaluation sowie fürdie Ausschreibung, den Vergabeprozess, die Begleitung und Valorisation der Evaluation verantwortlich sind, sind dieAuftragnehmenden für Offerte, Zeit- und Kostenplanung sowie die Durchführung der Evaluation zuständig. Entlang konkreterÜbungsbeispiele illustriert der Kurs das Management des ganzen Evaluationsprozesses aus Auftraggeber- und Auftragnehmerperspektive von der Ausschreibung bis zur Nutzung der Ergebnisse.

In Evaluationsprojekten werden häufig Befragungen durchgeführt, um die Daten zu erheben, die zur Beantwortung der Evaluationsfragestellungen notwendig sind. Die Entwicklung von Fragebögen für schriftliche und Online-Befragungen sowie die Durchführung von solchen Befragungen ist Gegenstand dieses Kurses. Dabei kommen Themen zur Sprache wie: Fragetypen, Frageformulierung, Antwortskalen, Skalenniveaus, Pretest, Gütekriterien, Rücklaufquote etc. Die Teilnehmenden üben anhand eines realen Beispiels die Fragebogenentwicklung, erstellen einen Online-Fragebogen mit einer Befragungssoftware und lernen den Ablauf eines Befragungsprojektes kennen. Eigene Fragebögen können zum Kurs mitgebracht und besprochen werden.

Im Rahmen von Evaluationen werden häufig quantitative (numerische) Daten erhoben. Dieser Kurs führt in die quantitative Datenanalyse ein und ermöglicht es den Teilnehmenden, Daten aufzubereiten und zu analysieren. Bei den Analysen stehen die Methoden der deskriptiven Statistik im Vordergrund. Es werden grundlegende Kenntnisse vermittelt und die Erzeugung einfacher Auswertungen mit den Programmen Excel und SPSS sowie das kritische Hinterfragen bestehender Analysen geübt.

Dieser Kurs widmet sich der Datenerhebung mittels mündlicher Befragung und der nachfolgenden Auswertung von qualitativen (nicht-standardisierten) Daten. Die Teilnehmenden bekommen einen Überblick über verschiedene Interviewformen und adäquate Fragetechniken. Die Vorbereitung und Durchführung von Interviews wird in kurzen Übungseinheiten trainiert. Sie erhalten einen Einblick in die Ansätze qualitativer Inhaltsanalyse und setzen den Auswertungsprozess anhand von konkretem Interviewmaterial selbst um. Dabei wird auch auf die Arbeit mit Computerprogrammen für die Auswertung qualitativer Daten (QDA-Software) eingegangen.

Wenn sich Evaluationsfragestellungen auf Prozesse, Verhaltensweisen, Handlungszusammenhänge etc. beziehen, dann können Befragungen oft nur mittelbare, durch den Befragungsprozess „gefilterte“ Informationen liefern. Mit der direkten Beobachtung der interessierenden Sachverhalte bietet sich dagegen ein unmittelbarer Zugang zu diesen. Dieser Kurs behandelt die Beobachtung als qualitative und quantitative Datenerhebungsmethode; es werden verschiedene Beobachtungsansätze und -instrumente sowie Techniken und Strategien für die Systematisierung der Beobachtung vorgestellt. Die Teilnehmenden lernen auch, potenzielle Fehlerquellen (z.B. eigene Wahrnehmungsfilter) wahrzunehmen und mit diesen umzugehen.

Gruppensettings spielen im Rahmen von Evaluationsprojekten eine grosse Rolle, insbesondere wenn partizipativ, nutzungsfokussiert und formativ evaluiert wird. Gruppenmethoden eignen sich, um Evaluationsfragestellungen zu klären, den Evaluationsprozess auf Kurs zu halten, um Daten zu erheben, zu interpretieren und die Nutzung der Ergebnisse einzuleiten. Im Vordergrund dieses Kurses stehen qualitativ ausgerichtete Gruppendiskussionen als Erhebungsverfahren. Zur Veranschaulichung verschiedener Konzeptionen der Gruppendiskussion werden mehrere sich stark unterscheidende Ansätze vorgestellt (z.B. Fokusgruppen, multimethodische Gruppenerhebungen) und anhand konkreter Praxisbeispiele verdeutlicht.

Ein wesentliches Ergebnis von Evaluationen sind die Bewertungen, die auf der Grundlage der erhobenen Daten in Bezug auf den Evaluationsgegenstand vorgenommen und in geeigneter Weise kommuniziert werden müssen. Dieser Kurs thematisiert, wie Kriterien definiert werden und wie man systematisch von den Daten zu Bewertungen gelangt. Die Teilnehmenden lernen ausserdem, Berichts- und Kommunikationsformate zu entwickeln, die auf den Evaluationszweck und auf diejenigen Personen abgestimmt sind, die die Evaluationsergebnisse nutzen, denn die sorgfältige Kommunikation entscheidet oft über den letztendlichen Erfolg einer Evaluation. Es werden formale und sprachliche Anforderungen an Evaluationsberichte und weitere Kommunikationsformen vermittelt, insbesondere kürzere multi-media basierte Formate wie Blogs oder Infographics und Dialog-basierte Formate wie Case studies oder Workshops.

Die Schweiz zeichnet sich durch eine im internationalen Vergleich fortgeschrittene Institutionalisierung der Politikevaluation aus, und die schweizerische Evaluationskultur und -debatte sind stark durch die Politikwissenschaft geprägt. Der Kurs beleuchtet unterschiedliche Aspekte der Evaluation im Kontext von Politik und Verwaltung, wie z.B. Verbindungen zwischen Evaluation und New Public Management oder die politische Nutzung von Evaluationen. Evaluation wird mit Steuerungsinstrumenten wie Monitoring und Controlling verglichen. Der Kurs geht auch auf die Konsequenzen ein, die sich aus den Besonderheiten des schweizerischen politischen Systems für die Evaluation ergeben.

Soll viel Lektüre in kurzer Zeit bewältigt werden, die je nachdem auch in schriftlichen Arbeiten verarbeitet werden soll, besteht die Herausforderung darin, möglichst effizient zu lesen, um die für den jeweiligen Zweck relevanten Informationen zu erhalten. Der Kurs gibt auch Einblicke in neue Lesestrategien. Um in einem nächsten Schritt effizient Schreiben zu können, sollten wissenschaftlich Schreibende über ihre Schreibgewohnheiten, besonders ihre Schreibstrategien Bescheid wissen. Denn abhängig vom Schreibprojekt, der zur Verfügung stehenden Zeit und den individuellen Gewohnheiten und Vorlieben, können gewisse Herangehensweisen besser funktionieren als andere. Im Kurs reflektieren die Teilnehmenden ihre bisherigen Schreibstrategien und lernen neue Strategien und deren Kombinationen kennen. Dabei sehen sie, welche Vor- und Nachteile eine Strategie(-kombination) haben kann. Mit diesem Wissen können sie sich bewusster für oder gegen eine Strategie entscheiden, um so effizienter und zufriedenstellender den Schreibprozess zu durchlaufen.

Evaluatorinnen und Evaluatoren müssen oft in knapper Zeit Literatur und vorliegende Evaluationen/Forschungen zu speziellen Themen recherchieren. Dazu stehen im deutschsprachigen und insbesondere englischsprachigen Raum zahlreiche Datenbanken zur Verfügung. Der Kurs gibt eine erste Orientierung über Datenbanken, die evaluationsspezifische Quellen beinhalten und führt in Recherchestrategien ein. Die Universitätsbibliothek Bern vermittelt das wesentliche Know-How für die fachspezifische Recherche in Fachdatenbanken, Fachinformationsseiten, Fachportalen im Internet, elektronische Zeitschriften und Nachschlagewerken, dem Bibliothekssystem IDS (Informationsverbund Deutschschweiz) und anderer Kataloge.

Programme, egal ob im Gesundheits-, Sozial-, Bildungs- oder Entwicklungsbereich, werden häufig über verschiedene Einzelprojekte umgesetzt. Dies stellt eine Herausforderung für die Evaluation dar: Wie misst man die Wirkungen eines Programms, das aus unterschiedlichen Einzelprojekte besteht (verschiedene Themen und Durchführer, manchmal über verschiedene Länder hinweg)? Um dieser Fragestellung auf den Grund zu gehen, befasst sich der Kurs mit verschiedenen Arten von Programmen und Ansätzen der Programmevaluation (z.B. Multi-Site Evaluation und Cluster-Evaluation). An praktischen Beispielen werden diese Ansätze vorgestellt und diskutiert. Dabei wird der Kurs auf die Konzeption, die Datenerhebung und -synthese sowie auf die praktische Umsetzung von Programmevaluationen eingehen.

Schon seit den 1960er-Jahren machen sich Evaluationstheoretiker und -praktiker über unterschiedliche Herangehensweisen an die Evaluation Gedanken. Es sind so unterschiedliche Ansätze entstanden wie die ‚zielbasierte‘ und die ‚Ziel-freie‘ Evaluation, die ‚empowerment‘, die ‚realist‘ oder die ‚developmental‘ Evaluation, um nur einige zu nennen. In diesem Kurs wird ein Überblick über verschiedene Ansätze gegeben und der Frage nachgegangen, welche Rolle die unterschiedlichen Ansätze in der Praxis spielen, wie sie umgesetzt werden, was die Vor- und Nachteile sind, und was wir als Evaluationsfachleute generell von den unterschiedlichen Ansätzen lernen können. Am Beispiel konkreter Evaluationsprojekte aus unterschiedlichen Feldern werden einzelne Ansätze vertieft.

Während einer Evaluation werden diverse Führungsrollen eingenommen: Das kann die Führungsverantwortung in einem Evaluationsteam sein, wo es gilt, den Evaluationsprozess und die Mitarbeitenden zu führen und das Evaluationsprojekt zu managen. Dazu kommen Führungsaspekte in den Beziehungen zwischen Auftraggeberin, Evaluatorin, den Personen, die für den Evaluationsgegenstand verantwortlich sind und allenfalls weiteren Stakeholdern. In diesem Kurs werden Führungsgrundlagen (Führungstheorien, Führungsstile) besprochen und die eigene Führungssituation, das Führungsverhalten und die Machtgrundlagen reflektiert – und zwar aus der Perspektive der Auftragnehmenden wie auch der Auftraggebenden. Ein Teil des Kurses widmet sich dem Thema Mediation, Kommunikation und Konfliktlösung.

Evaluation liefert nicht nur im Umsetzungsverlauf und im Nachhinein wichtige Erkenntnisse zur Verbesserung von Projekten, Programmen oder Strategien. Bereits im Vorfeld stellt sie einen wichtigen Ansatz zur Generierung von entscheidungsrelevantem Wissen dar. Zur Befriedigung der verschiedensten Informationsbedarfe steht Evaluierenden hierfür eine breite Palette von Methoden und Verfahren zur Verfügung. Der Kurs vermittelt den Teilnehmenden die Potentiale von Ex-ante-Evaluation zur Vorhabensplanung und -steuerung sowie die zu ihrer Durchführung erforderlichen methodischen Grundlagen. Neben fachlichen Inputs dienen praktische Fallbeispiele dabei als Ausgangspunkt zur Entwicklung eigener Instrumente, die im Rahmen von Gruppenarbeiten ausgearbeitet und abschliessend im Plenum hinsichtlich ihrer Qualität und Anwendbarkeit diskutiert werden. Auch die Verfahren der Regulierungsfolgenabschätzung und der Nachhaltigkeitsbeurteilung kommen zur Sprache.

Evaluationen werden in zahlreichen Anwendungsfeldern vermehrt nicht mehr als punktuelle Einzelaktivitäten sondern im Rahmen von programmatischen Evaluationssystemen (wie Evaluationsprogrammen oder –strategien) realisiert. Der Kurs vermittelt einen Überblick über unterschiedliche derartige Evaluationssysteme anhand von Praxisbeispielen und benennt deren zentrale Merkmale. Die Frage, wie ein Evaluationssystem zweckmässig und angemessen zu gestalten und zu steuern ist, damit es seine Funktion erfüllen kann, wird vertieft behandelt. Dazu beleuchten wir die Nutzung von Evaluationen in Evaluationssystemen mit Befunden aus der Forschung und diskutieren Faktoren, welche die Qualität von Evaluationssystemen prägen.

Evaluationen erfolgen oft in komplexen Akteurskonstellationen mit anspruchsvollen Problemstellungen (Strategieentwicklung, Aufbau von Qualitätsmanagement, Restrukturierungen/Fusion) und spezifischen organisationalen Rahmensetzungen. Das Handeln von und in Organisationen hat Auswirkungen auf ihre „Umwelt“ bzw. ist durch diese mitgesteuert. Damit interne wie externe Evaluation hier wirksam werden kann, wird sie oft mit Organisationsberatung verknüpft. Diese wiederum muss sich auf eine Analyse organisationaler Strukturen und Beziehungen stützen. Als Grundlage hierzu werden im Kurs einschlägige Organisationstheorien und Konzepte der Organisationsberatung vermittelt. Der Kurs schliesst an Wissensbestände und Berufserfahrungen der Teilnehmenden an und macht sie für eine systematische Reflexion und Entwicklung fruchtbar.

Qualitätsmanagement und Qualitätssicherung sind Standardfunktionen in modernen Organisationen. Evaluation ist gefordert, sich zu diesen zu positionieren: Was sind Unterschiede und Gemeinsamkeiten, und worin besteht die Komplementarität von Evaluation zu diesen beiden Funktionen? Für Evaluatorinnen und Evaluatoren ist zu klären, wie sie als Externe oder Interne die Anforderungen an das Qualitätsmanagement formulieren oder mit Anforderungen des Qualitätsmanagements umgehen, wie sie in Doppelrollen (QualitätsbeauftragteR / EvaluatorIn) agieren, und wo die Grenzen der Zuständigkeit von Qualitätsmanagement im Sinne einer Leitungsrolle bzw. Zuarbeit zur obersten Leitung und einer unabhängigen Evaluationsrolle liegen.

Many organisations today have developed and put into place an evaluation system to guide the conduct and commissioning of evaluations. But too often, the subtleties of politics and their influence during the evaluation process are either not recognised or ignored. In this course, we shall consider why and how evaluation is in itself a political activity and consequently, how «politics» can play an important part in influencing the evaluation process. The course will help participants to identify different aspects of political influence as and when they occur during the various stages of evaluation conduct; more importantly, we shall consider how these can be managed. The course will draw on practical examples, using role play and group study to examine what is at stake and what options are available to minimise the risks.

Der Kurs basiert auf dem Leitfaden für Wirkungsmessung, den die ZEWO (Schweizerische Zertifizierungsstelle für gemeinnützige Spenden sammelnde Organisationen) entwickelt hat. Die Teilnehmenden lernen, ein auf die Verhältnisseihrer Organisation zugeschnittenes System zur Wirkungsmessung zu entwickeln und zu implementieren. Dabei geht es unter anderem um die Planung der Wirkungsmessung, um die Arbeit mit Wirkungsmodellen und um die Nutzungder Ergebnisse.

Häufig werden Evaluationen von externen Fachpersonen im Auftrag einer Organisation durchgeführt. Die auftraggebende Organisation ist dabei nicht nur der Impulsgeber für die Evaluation; sie hat auch ein ganz bestimmtes Nutzungsinteresse: Sie möchte die Evaluationsergebnisse für einen bestimmten Zweck verwenden. Damit dies gelingt, müssen nicht nur die externen Evaluierenden gute Arbeit leisten; auch die im Namen der auftraggebenden Organisation handelnden Personen müssen bestimmte Kompetenzen mitbringen. Dieser Kurs widmet sich der Rolle des Auftraggebenden in der Evaluation und den damit verbundenen Aufgaben.