Medindo o que é importante: Das conversas ao impacto coletivo

Como a mudança nos sistemas pode ser realmente medida? E se o processo de medição do impacto pudesse estimular ativamente o aprendizado, criar confiança e impulsionar a ação coletiva?

Essas foram apenas algumas das perguntas que exploramos em nosso último bate-papo com Erin Simmons (diretora de operações da Imaginable Futures), Enyi Okebugwu (gerente sênior de programas da Imaginable Futures), Jewlya Lynn (fundadora da Policy Solve e consultora sênior de aprendizado e impacto da IF) e Nathalie Zogbi (gerente líder de programas da Imaginable Futures). Juntos, eles discutiram como ir além dos KPIs tradicionais, reunir e integrar insights baseados em conversas, aproveitar a IA na análise qualitativa e reimaginar a medição como uma ferramenta de aprendizado e conexão.

Desbloqueio de insights sobre mudança de sistemas por meio de conversas

Jewlya entrou na discussão desafiando as abordagens tradicionais para medir o impacto: "É fácil, quando começamos a pensar sobre o impacto, ir direto para uma teoria da mudança... O problema com isso é que... você está centralizando seu próprio entendimento e seu próprio trabalho, mas o sistema é muito mais do que isso." Em vez disso, ela defendeu que se começasse com as perguntas fundamentais: "Como vamos usar essas informações, com quem e para que finalidade? O que está acontecendo no sistema que não podemos ver? Quais são as informações que precisamos saber?"

Essa mentalidade que prioriza o aprendizado e é orientada por valores está no centro do Guia de Conversação sobre Sistemas e Impacto da Imaginable Futures, uma ferramenta central de coleta de dados em nossa estrutura de medição que centraliza o diálogo como método principal para compreender a mudança em sistemas complexos.

Desenvolvido com a contribuição de parceiros e inspirado por colegas, o guia começa com um prompt aberto. "A primeira pergunta é incrivelmente aberta", disse Jewlya. "Ela simplesmente pergunta: Quais são as mudanças que você está observando no sistema? Alguns participantes às vezes levam 20, 30 ou até 40 minutos para responder a essa única pergunta. O restante do protocolo apenas solicita e se baseia nas coisas sobre as quais eles falaram." 

Erin destacou como essa abordagem cria espaço para insights mais profundos:

Ela também acrescentou: "A beleza é que não tivemos que perder o rigor nessa escolha [de usar o Guia de Conversação], mas redefinimos o rigor em relação às ações que sabíamos [com base nos resultados da coleta de dados] que poderíamos tomar... e que nossos beneficiários e o ecossistema mais amplo poderiam tomar".

Nathalie compartilhou como o Guia de Conversação foi inesperadamente significativo para fortalecer os relacionamentos com os parceiros: "Conseguimos construir um relacionamento mais íntimo com nossos parceiros... por meio do protocolo e da estrutura. Muitos de nossos parceiros disseram que as perguntas que fizemos a eles foram úteis para estimular um pensamento mais estratégico e os convidaram a se distanciar da ocupação diária para pensar sistemicamente sobre os sistemas dos quais fazemos parte."

Enyi ofereceu outro exemplo poderoso de seu próprio trabalho: "Um de nossos parceiros entrou em contato em resposta à pesquisa de histórias e basicamente disse: 'Temos uma história realmente interessante para compartilhar, mas gostaríamos de dar mais nuances e contexto e também conversar ao vivo sobre como nosso trabalho se alinha com o que estamos vendo em diferentes esforços'. Isso levou a uma maior transparência, construção de confiança e diálogo aberto sobre uma preocupação emergente no sistema."

Aproveitando a IA e centralizando as histórias humanas

A profundidade dessas conversas criou tanto uma oportunidade quanto um desafio. Com mais de 60 conversas gerando aproximadamente 1.500 páginas de dados qualitativos valiosos, a equipe precisava encontrar uma maneira de traduzir rapidamente essas conversas valiosas em insights acionáveis sem perder suas nuances e fazer isso com capacidade limitada.

Embora alguns possam ver a IA como incompatível com uma abordagem centrada no ser humano, Jewlya explicou como ela se tornou uma ferramenta prática para avançar: "É sempre um pouco controverso conversar sobre IA, especialmente quando você está fazendo um trabalho que é muito orientado e conectado às vozes das pessoas mais afetadas pelo sistema... Sabíamos que se adotássemos uma abordagem tradicional para codificar e analisar esses dados, isso levaria meses... e perderíamos o ritmo. Em vez de gastar de 60 a 80 horas por análise, todo o processo levou cerca de 20 horas, o que significa que conseguimos fazer tudo em um mês."

Para manter o rigor e reduzir os vieses, a equipe incorporou várias salvaguardas: a equipe conduziu reuniões estruturadas imediatamente após cada conversa para capturar as principais conclusões; o analista revisou as transcrições e as anotações para identificar jargões, citações, políticas e linguagem específica do contexto relevantes antes de acionar a IA; e os resultados finais foram avaliados em relação aos insights humanos para garantir que os principais padrões não fossem perdidos ou deturpados.

Abraçando a jornada de aprendizado

Durante toda a conversa, os palestrantes enfatizaram a natureza contínua e iterativa da abordagem e a paciência, adaptação e colaboração essenciais para o seu sucesso:

• Nathalie foi sincera sobre os desafios: "Muitos de nossos parceiros têm recebido perguntas de tipos muito diferentes dos financiadores há muitos anos... por isso, ser solicitado a adotar uma visão mais orientada para os sistemas... é um novo tipo de força [para eles]." 
• Jewlya fez eco a isso, enfatizando o processo em vez da replicação: "Não replique essa estrutura, não porque ela não tenha sido eficaz para a Imaginable Futures, mas porque o que foi mais poderoso aqui foi o processo que essa equipe adotou para descobrir o que eles precisavam e o compromisso real de analisar o sistema primeiro, em vez de centralizar tudo em seu próprio trabalho."
• Enyi acrescentou: "O aprendizado é uma jornada não linear e constante. Ainda estamos ajustando a cada semana a forma como realizamos nosso trabalho de aprendizagem."
• O bate-papo na lareira terminou com Erin dizendo:

A transcrição completa do evento está disponível para leitura aqui. O evento faz parte da nossa série de bate-papos virtuais "The Future We Imagine", em que exploramos diferentes abordagens para promover a equidade e a mudança sistêmica na educação e em outras áreas.