Franco Angeli: Valutazione. Teoria, metodol. e ricerca

A partire da una rilettura dei concetti di “capitale sociale” e “competenza digitale” in base all'approccio delle 'capabilities', il libro illustra le procedure di indagine e i risultati principali di un lavoro triennale sulla valutazione delle competenze dei preadolescenti di un campione di scuole secondarie di I grado del Comune di Roma. La costruzione di uno schema analitico procedurale per l'analisi delle competenze, che tiene debitamente conto dell'influenza del capitale sociale familiare sullo sviluppo delle capabilities dei giovani, rappresenta il primo step del lavoro congiunto di ricerca delle autrici in tema di politiche formative centrate sulla digital literacy. Ripercorrendo le fasi del disegno di ricerca, dagli obiettivi generali e specifici alla formulazione delle ipotesi, alla costruzione delle domande valutative fino al testing di strumenti di valutazione delle competenze, il libro offre una chiave di lettura critica della complessa relazione tra “tipi familiari” (costruiti sulla base di stili educativi e di vita, consumi mediali, capabilities dei genitori) e sviluppo di competenze digitali dei giovani. L'utilizzo di una metodologia specifica per la valutazione della competenza, in base all'approccio innovativo proposto da J. Davidson, offre nuovi spunti per il dibattito metodologico e per l'approfondimento teorico, creando un ponte di connessione tra gli studi sugli effetti dei media digitali, l'analisi del capitale sociale familiare e la valutazione delle competenze.

Per molto tempo l’attenzione centrale della ricerca valutativa si è rivolta ai metodi e alle tecniche più adeguate per misurare la capacità di un programma di raggiungere i risultati o di adeguarsi a standard e performance preordinate dai pianificatori. L’elemento teorico che accomunava tutti questi modelli era la convinzione di poter individuare, con accettabile precisione, il nesso causale che consente di attribuire agli input di un programma sia gli effetti diretti e a breve termine (output), sia quelli indiretti e a medio-lungo termine (impatto), rilevabili nel contesto osservato. L’ampio dibattito critico che si è sviluppato negli ultimi vent'anni ha fortemente ridimensionato le pretese egemoniche di questo approccio. A esso ha contrapposto l’idea che le connessioni che legano gli input agli output o all'impatto di un programma non siano affatto riducibili a determinazioni semplici e lineari, ma siano invece esse stesse dei processi complessi e dipendenti dal ruolo giocato dai diversi soggetti attivati e coinvolti dal programma. Il volume ricostruisce i tratti più salienti del dibattito internazionale sui caratteri di complessità che connotano i programmi di policy, ne discute le implicazioni sulla pianificazione, sul monitoraggio e sulla valutazione, e individua alcuni tra i disegni di ricerca valutativa più adeguati a cogliere le nuove sfide aperte.

La valutazione si va configurando sempre più come una forma di apprendimento, per il numero crescente di attori sociali impegnati nella produzione di politiche pubbliche. Essa permette, infatti, di riflettere in modo critico e costruttivo sugli esiti, sul processo attuativo e sugli stessi obiettivi perseguiti, producendo apprendimenti di secondo livello (double loop learning), la cui portata è legata anche alla pluralità di approcci, metodologie e strumenti utilizzabili. Il concetto di capitale sociale, inteso come insieme di conoscenze, informazioni e interpretazioni messe in comune dagli attori sociali in relazione, offre potenzialità di rilievo per la lettura del processo di programmazione-valutazione e per comprendere se e come la valutazione possa contribuire al miglioramento delle politiche e rafforzare una cultura condivisa tra gli attori. La natura dinamica e mutevole dei contesti in cui le politiche pubbliche sono attuate implica continue e inevitabili modifiche nei modi di lettura dei problemi e delle loro possibili soluzioni. Attori sociali diversi hanno spesso punti di vista differenziati che, attraverso interazioni reciproche, essi continuano a ridefinire. La confrontabilità e compatibilità dei frame cognitivi è fortemente condizionata da tipo e intensità delle relazioni tra gli attori, che costituiscono il presupposto strutturale per la produzione e l'uso del capitale sociale.

Le scienze sociali debbono saper cogliere la sfida che le nuove dimensioni della democrazia partecipativa portano ai tradizionali strumenti di ricerca sociale e valutativa, per adeguarli ad un contesto mutato, in cui si riducono le distanze tra "osservatore" ed "osservato", al pari di quelle tra "rappresentante" e "rappresentato". È soprattutto a livello locale che questi fenomeni si manifestano in modo più nitido, per l'affannosa ricerca di legittimazione di poteri decentrati caratterizzati da "rappresentanza senza delega" e per la crescente richiesta dei cittadini di essere gli attori principali, non semplici comparse, delle nuove politiche urbane. A partire da uno studio di caso, il Piano Regolatore Sociale del Comune di Genova, il volume affronta a pieno campo il tema della partecipazione ai processi decisionali e valutativi. L'esperienza analizzata viene letta alla luce della riflessione teorica in argomento e questo consente di mettere a fuoco in chiave operativa le modalità ottimali con le quali gestire la partecipazione nelle diverse fasi del ciclo di una policy, ai molteplici livelli settoriali e territoriali, che coinvolgono stakeholder differenti, ivi inclusi i cittadini e i funzionari pubblici e richiedono l'impiego di strumenti adeguati ad ogni singola iniziativa. Pianificazione strategica e partecipazione sono declinati in termini operativi, con un continuo rimando alle implicazioni teoriche e metodologiche delle scelte adottate.

Indicatori sociali, indicatori di impatto, indicatori di qualità della vita, di contesto, economici, gli indicatori godono di una diffusione superiore al numero di testi a essi dedicati. Nella gestione di progetti e programmi, nelle grandi organizzazioni, non c'è ormai contesto amministrativo o decisionale in cui non sia richiesto di fornire dati e progettare indicatori, sovente mal compresi e scarsamente utili. Il problema fondamentale è la grande distanza che si registra fra i pochi testi specialistici che inquadrano l'argomento e la grande diffusione pratica, non solo valutativa, che negli anni pare avere imboccato la deriva della produzione massiccia di indicatori sterili, trascurando la riflessione sul loro significato, la loro corretta costruzione e il loro uso efficace. In seguito a una giornata di studio tenutasi a Roma fra sociologi ed economisti, metodologi e valutatori, è nato questo volume che accosta il sofisticato ragionamento teorico all'indicazione procedurale; il confronto fra modelli epistemologici alla ricchezza di casi empirici; il riferimento ai sistemi di monitoraggio e il loro collegamento alla valutazione. Il volume è destinato a un pubblico di ricercatori sociali, pianificatori o progettisti, valutatori, manager pubblici e operatori (sanitari, scolastici, delle politiche formative e sociali, ecc.).

Muovendo da specifiche esperienze sul campo, il testo propone una riflessione sull'inadeguatezza dell'attenzione riservata, sul piano teorico e metodologico, alle condizioni alle quali è possibile acquisire quelle informazioni che si rivelano essenziali per sostenere prospettive valutative così indirizzate. È venuta meno così una ridefinizione adeguata dei processi, degli strumenti e del ruolo del monitoraggio, che non ha ricevuto sin qui l'approfondimento che merita e le cui finalità, strumenti e pratiche appaiono oggi sempre più slegate dalla valutazione. Sulla base di tali riflessioni, il volume si propone di indicare le principali condizioni alle quali i sistemi di monitoraggio possono recuperare un ruolo informativo orientato alla valutazione e al miglioramento delle politiche, presentando un'esperienza triennale maturata nell'ambito di un Accordo di Programma Quadro che ha permesso di sperimentare l'elaborazione di uno specifico percorso di monitoraggio per la valutazione.

La valutazione dei programmi e più in generale la ricerca sociale scontano il rischio di una deriva tecnicista in cui, dato un problema, il ricercatore propone una soluzione tecnica (realizzare dei focus group, somministrare dei questionari) della quale raramente si comprende la ragione, gli eventuali vincoli di opportunità, il nesso col contesto, l'uso dei risultati. Ciò può produrre una mole di dati non sempre utili, a volte banali, e in ogni caso non bene argomentabili. Il volume raccoglie una novantina di brevi note, già apparse sul blog dell'autore (www.valutazione.it) dal 2006 al 2010, riadattate, annotate e precedute da un'ampia introduzione originale, che compongono un discorso organico che attraversa i grandi temi della ricerca sociale e della valutazione, da quelli epistemologico-metodologici fino alle principali tecniche di ricerca. Con linguaggio discorsivo, esempi empirici, riferimenti alla letteratura e figure esplicative, il volume sottolinea la necessità di un pensiero pluralista, dell'attenzione al metodo, dei vincoli del linguaggio, dell'uso della valutazione, illustrando in maniera semplice diverse soluzioni operative e mostrando limiti e potenzialità di molteplici tecniche. La linea d'ombra è rivolto a chi trova insoddisfacenti le ritualità metodologiche e desidera inserire il lavoro di ricerca in un orizzonte più rigoroso ma anche più libero da cliché.

Come si conduce una valutazione? Quali difficoltà si incontrano nel suo concreto svolgimento? I sette casi qui contenuti, elaborati da professionisti da anni impegnati in attività di analisi e valutazione, descrivono metodi e risultati, ma puntano soprattutto a raccontare la storia di esperienze realmente vissute dagli autori: come hanno gestito il rapporto col committente, quali errori hanno commesso e quali strade hanno seguito per tentare di correggerli; come hanno scelto un determinato approccio e come hanno tentato di far utilizzare al meglio gli esiti delle analisi condotte.

Il testo offre l'occasione di riflettere su alcune esperienze urbane: salvaguardia di un litorale, offerta di un servizio di trasporto pubblico metropolitano, gestione di un servizio idrico integrato, progetti di trasformazione e riqualificazione urbana, programmi integrati e micro-politica sociale. I contributi presentano diversi disegni valutativi e possono essere letti intendendo la valutazione come azione critica. Domenico Patassini è docente di Tecniche di valutazione e programmazione urbanistica presso la Facoltà di Pianificazione del Territorio dell'Università Iuav di Venezia dove dirige il corso di laurea in Scienze della pianificazione urbanistica e territoriale.

Negli ultimi anni le generali esigenze di innovazione e di razionalizzazione dei processi produttivi hanno portato a un'accentuazione generale della riflessione tecnica e metodologica sui temi della qualità degli interventi, anche nel campo delle politiche pubbliche e, tra questi, segnatamente delle politiche e dei servizi sociali. In particolare, la nuova consapevolezza circa il rilievo assunto dai vari portatori/attivatori di interesse (stakeholders), e dai cittadini-utenti, nella determinazione del processo e del risultato degli interventi spinge a considerare sempre più spesso tale riflessione come una funzione essenziale della governance dei sistemi organizzativi da questi messi in atto.

L'emersione del lavoro non regolare è un obiettivo recente delle politiche del lavoro e dello sviluppo, eppure intorno ad esso si è ormai costruito un quadro complesso di strumenti di incentivazione, sanzione e persuasione che vengono utilizzati tramite pratiche innovative di amministrazioni pubbliche ordinarie e di soggetti istituzionali appositamente creati. Questo lavoro si propone di individuare approcci e metodi di valutazione in grado di giudicare i risultati di queste politiche nella loro complessità. Le tematiche affrontate riguardano gli effetti diretti e indiretti di emersione, e il modo per individuare quali strumenti funzionano meglio: dove e perché, con quale combinazione e in quale sequenza.