Impact? Outcome? Output? Ein Beitrag zur Entwirrung der Wirkungskonfusion

Die Frage nach der Wirkung von Projekten ist allgegenwärtig, Wirkungsevaluationen boomen. Meist beschränken sich die Evaluationen jedoch auf vergleichsweise einfach quantifizierbare Leistungen wie die Anzahl von Besuchenden, Nutzerkennzahlen eines Angebots oder die «Markenbekanntheit» von Kampagnenslogans. Eigentliche Wirkungsevaluationen im Sinne der Erhebung erreichter Veränderungen sind ausserhalb von Forschungsprojekten selten. Grund dafür sind hauptsächlich Konfusionen rund um die Terminologien und Bedenken gegenüber dem Nutzen der Wirkungsevaluationen. Im Dialog mit Vertreterinnen und Vertretern von Förderinstitutionen und Akteuren der Projektpraxis haben wir ausgehend vom etablierten Input-Output-Outcome-Impact-Wirkungsmodell einen pragmatischen Ansatz entwickelt, der die Wirkungskonfusion entwirrt und Wirkungsevaluationen konstruktiv gestalten lässt. Der Ansatz ist seit 2017 in 10 Workshops der Stiftung Mercator Schweiz mit insgesamt 64 Projektbeteiligten und in diversen weiteren Coachings, Workshops und Weiterbildungen getestet und evaluiert worden. Kerngedanke des Ansatzes ist, dass bei der Verwendung von Wirkungsmodellen ein «Turnaround» von der Wirkungsevaluation hin zur Wirkungsorientierung vollzogen werden muss. Um dies leisten zu können, wurden die Begriffe dahingehend geschärft, dass Outcomes konsequent die direkten Wirkungen eines Projekts bezeichnen, während Impacts die indirekten, ausserhalb des Einflussbereichs eines Projekts stehenden Wirkungen umfassen. Wirkungsevaluationen können in der Folge pragmatisch, aussagekräftig und formativ durchgeführt werden. Denn für den Nachweis der direkten Wirkung eines Projekts kann primär auf den Grad der Erreichung der Outcome-Zielsetzungen fokussiert werden. Aufgrund unserer Erfahrungen sind wir überzeugt, dass die entwickelte Interpretation des Wirkungsmodells eine wirkungsorientierte Haltung fördert und dadurch einen Mehrwert sowohl für Projektleitende wie auch für die Förderinstitutionen darstellt.

La question relative aux effets des projets est omniprésente. Les évaluations des effets connaissent un véritable boom. Le plus souvent, ces évaluations se limitent à des prestations relativement simples à quantifier comme le nombre de visiteurs, les chiffres-clés des utilisateurs d’une offre ou la notoriété de slogans de campagne. Les vraies évaluations des effets dans le sens de la détermination des changements obtenus sont plutôt rares, en dehors de projets de recherche. La raison à cela réside principalement dans les confusions relatives à la terminologie et dans les réserves relatives à l’utilité des évaluations des effets. Dans le cadre d’entretiens avec des représentantes et des représentants d’institutions de promotion et d’acteurs de la pratique de projets, nous avons développé une approche pragmatique sur la base du modèle «input-output-outcome-impact» (iooi) établi, qui permet de lever les confusions relatives à l’effet et de représenter les évaluations des effets de manière constructive. Cette approche a été testée et évaluée, depuis 2017, dans le cadre de 10 ateliers de la Fondation Mercator Suisse totalisant 64 participants ainsi que dans divers autres coachings, ateliers et perfectionnements. L’idée maîtresse de cette approche est que l’utilisation de modèles d’effets doit être repensée, pour passer de l’évaluation des effets vers une orientation en fonction des effets. Pour cela, nous avons précisé l’utilisation de la notion d’outcome, afin que celle-ci désigne systématiquement les effets directs d’un projet, tandis que les impacts englobent les effets indirects, en dehors du domaine d’influence d’un projet. Les évaluations des effets peuvent alors être réalisées de manière pragmatique, significative et formative. Car il est possible de mettre prioritairement l’accent sur le degré de réalisation des objectifs d’outcome, pour l’attestation de l’effet direct d’un projet. Sur la base de notre expérience, nous sommes convaincus que l’interprétation développée du modèle iooi favorise une attitude orientée vers l’efficacité et représente une valeur ajoutée aussi bien pour les responsables de projets que pour les institutions de promotion.

The question of project effectiveness remains ever present. Impact assessments are experiencing a boom. In most instances, however, such surveys are limited to services that are comparatively easy to quantify, i.e. the number of visitors, key user figures for an offer or for the “brand awareness” of campaign slogans. Impact assessments that actually record or measure changes are a rarity outside of research projects. The main reason behind this is confusion about terminology and the concerns about the benefits of impact assessments. After working with representatives of funding bodies and actors in project work, we have developed a pragmatic approach based on the established input-output-outcome-impact model that brings clarity to impact confusion, and enables “impact assessments” to be presented constructively. This approach has been tested and evaluated since 2017 in 10 workshops involving a total of 64 project participants by the Mercator Foundation Switzerland as well as in various other coaching sessions, workshops and professional development courses. The core idea of the approach is that the use of logic models must undergo a turnaround from impact assessment to outcome focus. To achieve this, the expression “outcome” needed to become more narrowly defined to the effect that outcomes consistently denote the direct effects of a project, while impacts comprise indirect effects outside of the sphere of influence of a project. “Impact assessments” can now be carried out pragmatically, meaningfully and formatively. This is because, when it comes to verifying the direct outcome of a project, the focus can be primarily on the degree to which the outcome objectives have been achieved. Based on our experience, we are convinced that the developed interpretation of the logic model promotes an outcome-focused mindset and consequently represents added value, both for project leaders and funding bodies.