Relief Applications

CIF-OIT - Evaluación de las actividades de formación en protección social 2025

El CIF-OIT, Centro Internacional de Formación de la OIT, encargó una evaluación externa (a través de The Alternatives Factory) de sus actividades de formación en protección social de 2024, que analizó el diseño, la impartición y los resultados de una selección de cursos en línea, mixtos y presenciales según los criterios de evaluación habituales y las normas de gestión de la calidad del CIF-OIT.

Cliente
ITCILO
Periodo
Jun–Aug 2025
Equipo
3 personas
Servicios
Gestión de la información y MEAL
Tecnologías
Python 3.11 (JupyterLab), Pandas, NumPy, SciPy, Pingouin, Statsmodels, Scikit-learn, Gemini, NotebookLM
Sector
Labour Rights
ODS
1. No poverty, 8. Decent work and economic growth, 10. Reduced inequalities, 16. Peace, justice and strong institutions
Sitio web del cliente
itcilo.org

Relief Applications y The Alternatives Factory realizaron una evaluación externa de la cartera de formaciones en protección social de 2024 del CIF-OIT para el programa SPGT. Esta evaluación externa analizó el diseño, la impartición y los resultados de una selección de formaciones en protección social en línea, mixtas y presenciales impartidas por el CIF-OIT en 2024. El alcance abarcó los criterios de evaluación habituales (pertinencia, coherencia, eficacia, eficiencia, impacto, sostenibilidad) y la alineación con la norma ISO 29993:2017 de servicios de aprendizaje y con el ciclo de gestión de la calidad Planificar, Hacer, Verificar, Actuar (PDCA) del CIF-OIT. El trabajo incluyó investigación documental, extracción de datos de MAP/eCampus y de los materiales de los cursos, una encuesta a participantes, entrevistas con informantes clave del personal del CIF-OIT y de clientes institucionales, grupos focales con alumnos y la elaboración de cinco estudios de caso que muestran buenas prácticas y resultados.

Metodología La evaluación aplicó un enfoque de métodos mixtos que combinó técnicas cuantitativas y cualitativas para evaluar la pertinencia, la calidad y el impacto de las actividades de formación en protección social de 2024 del CIF-OIT. La metodología se estructuró en torno a los criterios de evaluación de la OCDE-CAD y al marco de la Comunidad de Indagación (CoI) para evaluar la presencia docente, social y cognitiva en el aprendizaje en línea y mixto. Los métodos principales incluyeron:

Revisión documental: análisis de los documentos de formación, los materiales de los cursos y las evaluaciones posteriores a la formación para establecer el contexto y orientar las herramientas de recolección de datos. Encuesta en línea: enviada a más de 1.800 participantes de todas las modalidades, para recoger datos sobre perfil demográfico, diseño de la formación, apoyo al alumnado, preferencias de impartición y resultados. Entrevistas con informantes clave (KII): realizadas con personal del CIF-OIT, gestores de programas y clientes institucionales para obtener información estratégica y operativa. Grupos focales (FGD): realizados con participantes diversos para explorar sus experiencias de aprendizaje, la aplicación de lo aprendido y el impacto. Estudios de caso: se seleccionaron cinco casos en profundidad para ilustrar ejemplos concretos de aplicación de la formación y de impacto organizativo. Los datos de estas fuentes se triangularon mediante análisis estadístico (p. ej., ANOVA, modelos de regresión) y codificación temática para generar conclusiones y recomendaciones basadas en la evidencia.

Tecnología utilizada

Análisis cuantitativo: Python 3.11 (JupyterLab); pandas, numpy, scipy, pingouin (fiabilidad; KMO/Bartlett/Cronbach), statsmodels (OLS/logit/ordinal), scikit‑learn (validación y diagnóstico); matplotlib y seaborn (figuras). El registro de versiones garantizó la plena reproducibilidad. Apoyo cualitativo: Gemini (transcripción de entrevistas); NotebookLM (consulta de documentos). La codificación y la interpretación finales se hicieron manualmente, con verificaciones cruzadas entre evaluadores. Reproducibilidad y control de calidad: entorno con versiones fijadas, notebooks documentados (.ipynb), análisis con semillas fijas, libro de códigos y archivo completo del pipeline y de los registros.

En colaboración con The Alternatives Factory, Relief Applications combina un liderazgo en evaluación centrado en las partes interesadas con un conjunto de herramientas analíticas reproducible y alineado con la ISO, que convierte los datos de formación en evidencia auditable y en mejoras aplicables en todos los programas. Resumen del informe: https://www.itcilo.org/external-evaluation-2025-report-brief

El reto

  • Medir la calidad de la formación y la transferencia del aprendizaje en todas las modalidades.
  • Evaluar la alineación con las normas de calidad del CIF-OIT e identificar mejoras.
  • Generar conocimiento práctico mediante estudios de caso para su ampliación.

Lo que hicimos

  • Diseño de métodos mixtos basado en los criterios de la OCDE-CAD y en el marco de la Comunidad de Indagación (CoI) (presencia docente, social y cognitiva). La recolección de evidencia combinó una encuesta a gran escala a participantes, KII con gestores de programas y clientes institucionales, y FGD con alumnos. La modelización estadística y el análisis temático triangularon las conclusiones en resultados y visualizaciones claros.
  • Relacionar las prácticas con la ISO 29993 y el ciclo PDCA, mapear y triangular la evidencia, documentar las limitaciones y su mitigación, y formular recomendaciones específicas y aplicables para el diseño, la impartición y los sistemas de datos.
  • Identificar y desarrollar cinco estudios de caso que abarcan las modalidades en línea, mixta y presencial, seleccionados por la aplicación demostrada tras la formación, la diversidad geográfica e institucional y su potencial de réplica. Cada caso documenta el problema o la necesidad, las acciones realizadas, la evidencia del cambio, los factores de sostenibilidad y la replicabilidad.

I would like to take this opportunity to thank you all for the professionalism, dedication, and collaborative spirit demonstrated throughout the evaluation. Your constructive approach and engagement with colleagues at all levels greatly contributed to the smooth conduct of the process and to the production of a well-balanced and insightful report.

Eiman Elmasry, Quality Assurance, Data and Analytics officer - International Training Centre of the ILO
Evaluación de las actividades de formación en protección social 2025, ITCILO: screen 1 Evaluación de las actividades de formación en protección social 2025, ITCILO: screen 2 Evaluación de las actividades de formación en protección social 2025, ITCILO: screen 3 Evaluación de las actividades de formación en protección social 2025, ITCILO: screen 4 Evaluación de las actividades de formación en protección social 2025, ITCILO: screen 5 Evaluación de las actividades de formación en protección social 2025, ITCILO: screen 6

Más proyectos