Cómo medir el impacto sin un equipo de investigación

Esta guía es para organizaciones benéficas pequeñas a las que quienes dan fondos, los donantes o su propia junta directiva les preguntan "¿qué diferencia hacen ustedes?", y no saben bien qué contestar aparte de "mucha". No necesita un estadístico ni un programa caro para medir su impacto. Al terminar, entenderá la diferencia entre productos y resultados, podrá dibujar un modelo lógico sencillo, hacer una encuesta corta y reportar sus resultados con honestidad.

Para qué medir

Medir no es solo para quienes dan fondos. Si se hace bien, le ayuda a:

• Ver si su trabajo de verdad está ayudando, y a quién
• Detectar problemas temprano y arreglarlos
• Decidir dónde poner el poco tiempo y dinero que tiene
• Contar una historia verdadera y convincente a quienes lo apoyan

Si se hace mal, se come el tiempo de los voluntarios y produce números que nadie usa. La meta es medir un poco y usarlo bien.

Productos frente a resultados

Estas dos palabras causan mucha confusión. Significan cosas distintas.

• Los productos (outputs) son lo que usted hace y produce: el número de comidas servidas, talleres realizados, personas que recibieron tutoría, horas de mentoría. Son fáciles de contar.
• Los resultados (outcomes) son los cambios que ocurren en las personas gracias a lo que usted hace: los niños leen a un nivel más alto, las familias tienen suficiente para comer todo el mes, las personas encuentran trabajo, los adultos mayores se sienten menos solos.

Ejemplo inventado: Un programa de tutoría tuvo 80 sesiones con 25 niños (productos). Al final del año escolar, la mayoría de esos niños dijeron que se sentían con más confianza al leer en voz alta, y sus maestros reportaron que su nivel de lectura mejoró (resultados).

Los productos muestran que usted está ocupado. Los resultados muestran que está haciendo una diferencia. Necesita los dos. Los productos muchas veces son el primer paso hacia los resultados, y son mucho más fáciles de contar.

Un modelo lógico sencillo

Un modelo lógico es un dibujo de una página que muestra cómo se supone que funciona su programa. Los CDC (Centros para el Control y la Prevención de Enfermedades), que publican un marco muy usado para evaluar programas, lo describen como un gráfico de una página que muestra la conexión entre las actividades de un programa y los resultados que busca.

Las partes comunes son:

Ejemplo inventado para un programa de lectura:

• Insumos: 10 tutores voluntarios, libros donados, un salón en la biblioteca
• Actividades: sesiones semanales de lectura uno a uno
• Productos: sesiones realizadas, niños que asisten, libros enviados a casa
• Resultados a corto plazo: a los niños les gusta más leer y leen más seguido en casa
• Resultados a largo plazo: los niños leen al nivel de su grado

Dibújelo con su equipo y, si puede, con algunas de las personas que atiende. Los CDC recomiendan incluir desde el principio a las personas que tienen algo en juego en el programa. Dibujar el modelo muchas veces deja ver huecos, como un resultado al que ninguna actividad está apuntando de verdad.

Escoja unas pocas cosas para medir

Para cada resultado, pregúntese: "¿Cómo sabríamos si esto está pasando?" Esa respuesta es su indicador: una señal que puede observar o preguntar.

Los buenos indicadores son:

• Sencillos de reunir con el tiempo que tiene
• Importantes para las personas que atiende, no solo para quienes dan fondos
• Constantes, para poder comparar con el tiempo

Combine números con historias. Los números le dicen cuánto. Las historias y los comentarios le dicen por qué.

Formas sencillas de reunir información

• Registros de asistencia y actividades para los productos. Una hoja de cálculo compartida está bien.
• Encuestas cortas al principio y al final de un programa, o unos meses después.
• Conversaciones: unas cuantas entrevistas cortas o una charla en grupo pequeño.
• Observación: lo que notan los voluntarios, anotado con regularidad.
• Información de socios, como maestros o trabajadores sociales, con el consentimiento adecuado.

Cómo escribir una encuesta corta

• Que sea corta: de cinco a ocho preguntas. Respete el tiempo de la gente.
• Use lenguaje sencillo y ofrezca traducciones donde haga falta.
• Pregunte por el cambio: "Comparado con antes del programa, ¿cuánta confianza siente sobre...?"
• Use las mismas preguntas cada vez para poder comparar.
• Incluya una pregunta abierta: "¿Qué es una cosa que podríamos hacer mejor?"
• Que sea anónima si puede, y dígalo. La gente es más honesta cuando no la pueden identificar.
• Nunca haga que la ayuda dependa de llenarla.

Revisen los resultados juntos

Aparte una hora cada trimestre con su equipo:

• ¿Qué dicen los números?
• ¿Qué dicen los comentarios?
• ¿Qué nos sorprendió?
• ¿Qué vamos a cambiar?

Anote una o dos decisiones. Medir solo importa si cambia lo que usted hace.

Reporte con honestidad

Reportar con honestidad genera confianza. Quienes dan fondos y los donantes saben que no todo funciona.

• Use números reales y diga cómo los obtuvo. "18 de los 25 padres que contestaron nuestra encuesta dijeron..." es mejor que "la mayoría de los padres".
• Separe los productos de los resultados. No presente el número de comidas servidas como prueba de que bajó el hambre.
• No se lleve el crédito por todo. Otras cosas en la vida de las personas también causan cambios. Diga "contribuyó a" en vez de "causó", a menos que esté seguro.
• Cuente lo que no funcionó y lo que aprendió de eso.
• Proteja la privacidad. Reporte en grupos, no sobre personas que se puedan identificar, a menos que hayan dado su permiso.
• Ponga una o dos historias junto a los números, con consentimiento.

Su lista de verificación de impacto

• Haga una lista de sus productos principales y prepare una forma sencilla de contarlos
• Escoja uno o dos resultados que importen más
• Dibuje un modelo lógico de una página con su equipo
• Escoja uno o dos indicadores para cada resultado
• Escriba una encuesta corta en lenguaje sencillo y pruébela con dos personas
• Haga una revisión cada trimestre y anote una decisión
• Reporte números e historias con honestidad, incluido lo que aprendió

Medir el impacto no se trata de probar que es perfecto. Se trata de aprender, poco a poco, cómo hacer más bien.

Si quiere ayuda para dibujar su modelo lógico o escribir una encuesta, pida ayuda a una organización miembro a través del Intercambio.