08.25.25
privado
Abaixo está a transcrição do bate-papo intitulado "Measuring What Matters: From Conversations to Collective Impact" (Das conversas ao impacto coletivo), realizado em 15 de agosto de 2025. Para acessar a tradução em português da transcrição, mude o idioma para português no canto superior direito.
Erin Simmons: Bem-vindo ao nosso Fireside Chat, que mede o que importa, das conversas ao impacto coletivo. Eu sou Erin Simmons, diretora de operações da Imaginable Futures. Também lidero nosso trabalho de aprendizado e impacto. Sou uma mulher branca, com um vestido cor de salmão e cabelos loiros curtos, e estou aqui hoje na Califórnia, onde morei durante minha infância.
Estamos muito felizes por tê-los conosco. A conversa de hoje é particularmente empolgante porque estamos revelando como pensamos sobre sistemas e impacto, e a estrutura que usamos para medi-los e como torná-los realidade. Em todo o nosso trabalho no Brasil, no Quênia e nos EUA, a medição da mudança de sistemas pode ser confusa e complexa, mas o que aprendemos é que o processo de medição também pode estimular o aprendizado, criar confiança e impulsionar o progresso coletivo, especialmente quando abordado com cuidado.
Por isso, hoje, exploraremos como nós da Imaginable Futures estamos reimaginando o que significa medir o que importa, colocando o aprendizado, nossos valores e a humildade no centro de nossa abordagem.
Antes de começarmos, uma palavra sobre acessibilidade: há legendas disponíveis em inglês para todos os participantes. Para ativar essas legendas, clique no botão CC live transcript na parte inferior da janela de zoom. Infelizmente, devido a problemas técnicos, não poderemos oferecer tradução e legendas ao vivo em português hoje. No entanto, poderemos traduzir o evento de hoje na gravação que será compartilhada na sequência. Lamentamos muito por esse inconveniente.
Teremos algumas perguntas e respostas no final. Se tiver alguma pergunta que gostaria de compartilhar com nossos palestrantes durante a conversa, coloque-a no espaço de perguntas e respostas. Com isso, gostaria de passar a palavra aos meus maravilhosos colegas para que também se apresentem.
Enyi Okebugwu: Obrigado, Erin. Boa tarde, bom dia, boa noite, dependendo de onde vocês estiverem participando hoje. Meu nome é Enyi, como "qualquer um", e sou gerente sênior de programas da Imaginable Futures, e ajudo a conduzir nossa jornada de aprendizado nos EUA. Para referência, sou um homem afro-americano que usa camiseta roxa e óculos de aro dourado, e tenho dreadlocks na altura do pescoço. Meus pronomes são ele/ele.
Sou membro da nossa equipe principal de aprendizagem, que é uma equipe multifuncional, na qual os facilitadores de aprendizagem de cada equipe de programa se reúnem para aprender uns com os outros, desenvolver novas habilidades, explorar novas estruturas e identificar quando e como se envolver na aprendizagem em toda a organização. Essencialmente, nossa equipe central de aprendizagem orienta nosso trabalho de aprendizagem e impacto em toda a organização. Com isso, passo a palavra à Nathalie.
Nathalie Zogbi: Obrigada, Enyi. Olá a todos. Meu nome é Nathalie, falo com vocês de São Paulo, Brasil. Sou uma mulher branca, de cabelos castanhos, vestindo uma camiseta azul. Sou gerente de programa do nosso trabalho no Brasil. Com essa introdução, deixem-me passar a Jewlya para se apresentar e, em seguida, darei o pontapé inicial.
Jewlya Lynn: Olá a todos. Meu nome é Jewlya Lynn e sou consultora independente. Tenho me concentrado em apoiar os esforços filantrópicos para influenciar sistemas complexos e promover a equidade e a justiça, o que é uma grande parte do que estou fazendo com a Imaginable Futures. Participei do desenvolvimento e da implementação de sua estrutura e do apoio às suas práticas de aprendizado. Para referência, sou uma mulher branca. Estou vestindo uma camiseta preta. Tenho cabelos castanhos curtos e óculos azuis prateados, e meus pronomes são ela e ela. Vou passar o microfone de volta para você, Nathalie.
Nathalie Zogbi: Obrigada, Jewlya. Para começar, deixe-me falar um pouco sobre o que nos levou a desenvolver essa estrutura. Há alguns anos, eu diria que talvez há quatro ou cinco anos, ainda estávamos usando algumas métricas relacionadas ao impacto que, à medida que começamos a fazer a transição para estratégias mais conscientes dos sistemas com uma lente de sistemas, começamos a sentir que esses KPIs mais tradicionais, baseados em quantificação, não estavam realmente nos ajudando a entender nosso trabalho, o impacto de nosso trabalho, o impacto do trabalho de nossos parceiros no campo.
Por um tempo, logo depois de começarmos a perceber que essas métricas não estavam nos servindo bem, viramos o pêndulo para o outro lado. Durante algum tempo, não usamos métricas. Assim, quando começamos a implementar nossas estratégias no Brasil, nos EUA e no Quênia, que tinham uma visão sistêmica, começamos a nos perguntar: o que podemos usar? Porque a ausência de tentativas de entender nosso trabalho também não estava nos servindo bem.
Assim, depois que o pêndulo oscilou nesse sentido, decidimos que precisávamos ficar em algum lugar entre os KPIs muito rígidos e nada do que tínhamos há algum tempo. E esse meio-termo é o que hoje chamamos de nossa estrutura de sistemas e impacto, em que tentamos ter uma espécie de abordagem em várias camadas, que Erin explicará daqui a pouco, para realmente tentar capturar nossos aprendizados do campo e de nosso trabalho diretamente. Portanto, vou passar a você, Erin, para que nos explique a estrutura.
Erin Simmons: Obrigada, Nathalie. Assim, como Nathalie mencionou, nossa estrutura funciona em quatro níveis interconectados, e cada um deles foi projetado para capturar diferentes dimensões de mudança e impacto. Quando começamos no centro, é sobre isso que sentimos que temos mais controle como financiador e parceiro.
Portanto, o nível um se concentra em nossa própria organização e examina como estamos nos apresentando. Estamos vivendo de acordo com nossos valores? Estamos sendo colaboradores eficazes? E para medir isso, usamos principalmente o Relatório de Percepção dos Beneficiários do Center for Effective Philanthropy, a cada dois ou três anos, o que nos dá um feedback direto de nossos parceiros sobre como eles estão trabalhando conosco. É claro que esse não é o único lugar em que coletamos esse tipo de dados.
O nível dois centraliza nossos beneficiários e seu trabalho. Portanto, saindo do centro, capturando todo o espectro do bem que eles estão criando no mundo, desde o serviço direto em suas comunidades até a mudança no nível dos sistemas. Para esse nível, desenvolvemos uma pesquisa de histórias que permite que os beneficiários compartilhem narrativas e histórias sobre seu impacto com suas próprias palavras, o que nos dá uma compreensão mais rica das diversas maneiras pelas quais eles estão criando esse impacto.
Níveis três e quatro - trata-se realmente de mudanças no campo e nos sistemas, as transformações mais amplas que ocorrem além das organizações individuais, as maneiras pelas quais estamos fundamentalmente moldando, mudando e contribuindo para a dinâmica do sistema. Foi aí que implantamos nosso guia de conversação sobre sistemas e impacto, sobre o qual Jewlya falará um pouco mais daqui a pouco. Esse protocolo de conversação nos permite ter diálogos intencionais e aprofundados com os parceiros, entender as mudanças que estão ocorrendo no campo e no sistema e compreender melhor nosso próprio papel na catalisação dessas mudanças.
É claro que foi aqui que chegamos como organização. A Jewlya desempenhou um papel fundamental para que chegássemos até aqui e, talvez o mais importante, nos ajudou a estabelecer, em primeiro lugar, nossa prática de aprendizado. Mas há muitas maneiras de as organizações pensarem sobre como medir o impacto. Jewlya, gostaria de convidá-la para o diálogo com os profissionais que desejam evoluir suas abordagens de medição. Por onde você sugere que eles comecem?
Jewlya Lynn: Vou sugerir por onde você não deve começar, que é onde geralmente começamos. Portanto, é fácil, quando estamos começando a pensar sobre o impacto, ir direto para uma teoria da mudança e dizer: quais são os resultados que queremos promover? Quais são os fatos que queremos saber sobre esses resultados? Quais são as informações concretas que nos dirão que tivemos impacto? De certa forma, isso é um pouco como "o que queremos provar? Pelo que queremos dizer que fomos responsáveis e como promovemos a mudança?"
O problema é que, se estiver trabalhando em sistemas complexos e dinâmicos, você estará centralizando sua própria compreensão e seu próprio trabalho, mas o sistema é muito mais do que isso, é imprevisível, tem muitas partes móveis e há muita coisa acontecendo na qual você pode se apoiar. Ao centralizar seu próprio trabalho, você está perdendo esse quadro maior e realmente acionável.
Então, em vez disso, queremos começar com: como vamos usar essas informações? Com quem, para qual finalidade? E então começar a fazer perguntas como: o que está acontecendo no sistema que não podemos ver? Quais são as informações que precisamos saber? Onde estão faltando coisas essenciais que mudariam a forma como pensamos sobre nosso trabalho?
Uma das coisas com as quais queremos nos desafiar quando começamos a desenvolver uma estrutura como essa é: como evitaremos reforçar o que já sabemos e, em vez disso, coletaremos e usaremos informações que se integrem ao nosso conhecimento atual, mas que muitas vezes também possam desafiá-lo? E, muitas vezes, essa nuance de que estou falando é realmente entender como, por que e sob quais condições o sistema está mudando. Portanto, centralizar o sistema, não centralizar suas estratégias, e depois descobrir seu próprio impacto nessa história mais ampla.
Então, Imaginable Futures fez isso. Eles já tinham uma prática de aprendizado muito forte antes de passar para o impacto, portanto, estavam prontos para ouvir essas histórias. E uma das partes realmente importantes desse processo, no início, foi dizer: qual é o nosso objetivo ao fazer a medição do impacto e quais são os princípios de design que correspondem ao que somos como organização?
Portanto, um desses princípios de design - Imaginable Futures realmente faz um trabalho emergente - é a reavaliação regular. Não tem grandes planos que você implementa por três a cinco anos e continua. Assim, para eles, o princípio de design significava que essa medição de impacto tinha de oferecer contexto e informações para apoiar a adaptação, e tinha de fazê-lo em prazos específicos e com bastante rapidez quando as equipes estivessem prontas para usar essas informações para adaptação.
A próxima parte do processo: Então você descobriu: "Ei, é por isso que estamos usando os dados. Quando queremos usar os dados, as mudanças que vamos promover, o que realmente nos interessa aqui", você também precisa pensar: "Bem, que tipo de ferramenta nos ajuda a aprender essas coisas?
Muitas vezes, vemos organizações que têm métricas de resultados e resultados realmente concretos e específicos. Talvez elas sejam coletadas por meio de pesquisas ou relatórios dos beneficiários. Elas talvez saibam o número de pessoas atendidas, as atividades implementadas ou até mesmo se concentrem na distribuição de seus recursos financeiros. Mas muito do que importa na mudança sistêmica, a verdadeira nuance, é perdida quando nos concentramos nisso.
Assim, com a Imaginable Futures, decidimos criar um guia de conversação sobre sistemas e impacto. Esse é um protocolo de conversação bastante flexível. Ele ajuda os parceiros e a nós também a ver as mudanças que estão ocorrendo nos sistemas em que trabalhamos. Ele é um pouco diferente de uma entrevista típica. Portanto, a primeira pergunta é incrivelmente aberta. Ela simplesmente pergunta: "Quais são as mudanças que você está observando em [definição curta do sistema que é relevante]?" E alguns estímulos para pensar sobre a gama de mudanças.
Na verdade, às vezes as pessoas levavam 20 minutos, 30 ou até 40 minutos para responder a essa única pergunta. E o restante do protocolo apenas solicita e se baseia nas coisas sobre as quais elas falaram. Assim, talvez eles tenham nos dado uma tonelada de informações sobre essas mudanças realmente visíveis e tangíveis - políticas, mudanças de recursos, mudanças de liderança - bem, então poderíamos dedicar mais tempo e solicitar coisas como mudanças em normas e crenças ou dinâmicas de poder.
Essa abordagem significa que nossos participantes nas conversas estão nos contando histórias. Eles estão nos contando a história deles sobre como a mudança está acontecendo. Não estamos definindo para eles o que é importante e o que eles precisam nos contar. Em vez disso, eles estão definindo para nós o que é importante sobre como o sistema está mudando. Isso remete à ideia de que queremos informações que não podemos ver por nós mesmos e queremos ser desafiados em nosso pensamento.
Portanto, essa foi uma escolha muito grande. É muito diferente de obter as mesmas informações de forma altamente sistemática de todas as pessoas. Então, Erin, você pode nos contar um pouco sobre como Imaginable Futures tomou a decisão de usar um guia de conversação como peça central da estrutura?
Erin Simmons: Com certeza. Em primeiro lugar, sabíamos que não estávamos sozinhos no esforço de repensar as métricas de impacto tradicionais, portanto, nosso primeiro passo foi inspirar-nos naqueles que já haviam feito o mesmo - muitos financiadores, beneficiários e parceiros que estavam experimentando outras formas de coletar dados, como relatórios orais, por exemplo. E descobrimos algo poderoso: quando você cria espaço para conversas íntimas, obtém insights que simplesmente não seriam obtidos por meio das métricas tradicionais.
A medição tradicional geralmente pede que as pessoas encaixem sua realidade incrivelmente complexa em categorias pequenas, restritas e predeterminadas. Mas a mudança de sistemas, como você sabe, não funciona dessa forma e, por isso, elaboramos nosso guia de conversação com a pergunta aberta que Jewlya acabou de mencionar: "Como o sistema está mudando?"
E com a implementação dessa abordagem, descobrimos que estávamos no caminho certo. Ouvimos de colegas internos que, embora esse processo demandasse muito tempo, foi a melhor conversa que tiveram durante todo o ano. E dos beneficiários - os que estão na teleconferência nos responsabilizarão por isso hoje - ouvimos constantemente que é uma dádiva poder sair do trabalho diário e pensar sobre a mudança do quadro geral que estamos buscando coletivamente.
E a beleza é que não tivemos que perder o rigor nessa escolha, mas redefinimos o rigor em relação às ações que sabíamos que poderíamos tomar como resultado da coleta de dados e que nossos beneficiários e o ecossistema mais amplo poderiam tomar. Portanto, começamos com esse senso de humanidade compartilhada, de interconexão por estarmos juntos nesse sistema.
Portanto, eu realmente gostaria de convidar as vozes de Enyi e Nathalie, que estão fazendo esse trabalho no contexto, para ouvir como essa implementação mudou seu próprio entendimento e o entendimento de seus beneficiários sobre a mudança. Então, Enyi, vou passar a palavra para você. Gostaria muito de saber sobre uma percepção que você conseguiu obter com a nossa pesquisa de histórias ou com o guia de conversação.
Enyi Okebugwu: Sem dúvida, Erin. Talvez eu me concentre em nosso guia de conversação. Mesmo que tenhamos comunicações regulares com nossos parceiros em todo o ecossistema, ter um guia de conversação para nossos sistemas e trabalho de impacto é útil porque nos ajuda a caminhar na linha do aprendizado em várias frentes.
Primeiro, o processo de finalização de um modelo que pode ser usado por todos os nossos parceiros nos ajuda a esclarecer as principais questões que temos no sistema relacionadas às nossas prioridades estratégicas atuais.
Em segundo lugar, o guia nos ajuda a nos concentrarmos na situação atual do sistema, onde há energia, onde há lacunas críticas no sistema e, em seguida, nos debruçarmos sobre essas perguntas por meio do guia nos ajuda a ter clareza sobre águas desconhecidas ou novas prioridades no sistema, e isso pode nos ajudar a decidir se vamos nos concentrar em uma determinada área ou planejar um novo trabalho exploratório que responda diretamente às necessidades e percepções do campo.
E, por fim, ter um guia consistente para essas conversas nos ajuda a reunir insights que são: a) representativos do campo - aqueles que validam ou complementam uma suposição estratégica que mantemos, e b) aqueles que são discrepantes ou estão nas bordas do sistema, mas ainda assim são uma inteligência útil para nós, e nos ajudam a interpretar esses insights no contexto.
Vou pedir a você, Nathalie, que fale sobre sua própria experiência usando as ferramentas e a estrutura em seu trabalho no Brasil.
Nathalie Zogbi: Obrigada, Enyi. Acho que Enyi destacou uma espécie de aprendizado com o uso das ferramentas e do guia de conversação especificamente. Talvez eu queira destacar um insight relacionado ao sistema que obtivemos - um dos muitos - no ano passado, quando aplicamos a estrutura pela primeira vez no Brasil.
Um de nossos aprendizados no ano passado foi que - e isso foi uma síntese de várias dessas conversas - o então novo governo federal, que tinha acabado de completar um ano de mandato, embora o novo governo federal tenha apresentado uma oportunidade realmente incrível para o sistema em termos de participação mais democrática, também estávamos vendo uma influência desproporcional - ou nossos parceiros estavam vendo uma influência desproporcional - da filantropia na agenda educacional do governo federal e o tipo de dinâmica de poder que estava ocorrendo.
O tipo de papel que o capital desempenhava na determinação de algumas das principais agendas no nível do Ministério da Educação era algo de que precisávamos estar realmente atentos como participantes do sistema de filantropia. Assim, a obtenção de muitos insights sobre as nuances dessas dinâmicas nos ajudou - foi um insight realmente útil para garantir que, ao planejarmos e executarmos nosso trabalho, estivéssemos mais atentos, por exemplo, para garantir que apoiássemos - em qualquer trabalho relacionado a políticas que realizássemos, estivéssemos apoiando organizações da sociedade civil que tivessem ampla participação social por trás delas para garantir a legitimidade real das mudanças que elas defendem e que estamos ajudando a financiar. Esse é apenas um exemplo.
Jewlya Lynn: Adoro esses exemplos. Então, no exemplo da Nathalie, você está ouvindo sobre como dar sentido à dinâmica do poder, tanto oculta quanto mais visível, e a maneira como o poder financeiro está aparecendo dentro do sistema, ajuda a entender por que a mudança está acontecendo do jeito que está. Onde precisamos nos manifestar? Quem não tem poder? Como podemos equilibrar parte disso com diferentes formas de influência do sistema? E isso leva a decisões muito concretas.
E com Enyi, você também ouviu falar sobre como o processo de passar por isso e começar a ser muito sistemático com as informações coletadas desencadeia um novo pensamento e cria espaço para se sentir desafiado e seguir novos caminhos e novas direções com a estratégia.
Então, sei que outra mudança que ocorreu em ambas as equipes foi relacionada à forma como essas conversas funcionaram em seus relacionamentos com seus parceiros. Então, como vocês garantiram que as conversas não fossem apenas para vocês, que fossem mutuamente benéficas e não apenas extrativistas? E, em parte, porque às vezes essas conversas eram realmente longas, então elas precisavam trazer valor mútuo. Nathalie, você quer ser a primeira desta vez?
Nathalie Zogbi: Sim, esse foi um ponto muito importante para nós. Queríamos ter certeza absoluta de que não estávamos sendo extrativistas e que as conversas eram mutuamente benéficas. Não tínhamos certeza se conseguiríamos, mas essa era a nossa intenção, e nos certificamos de coletar feedback de nossos parceiros no final de cada processo para tentar ter uma noção de como eles estavam vivenciando o processo também.
E o que descobrimos, Jewlya, foi que o nível de confiança que conseguimos construir, de um tipo de relacionamento mais íntimo com nossos parceiros, de um tipo de relacionamento muito mais próximo, foi possibilitado, na verdade, pelo protocolo e pela estrutura. Muitos de nossos parceiros disseram que as perguntas que fizemos foram tão úteis para estimular um pensamento mais estratégico e convidá-los, como Erin disse no início, a se afastarem da ocupação do dia a dia e dos exercícios de incêndio para realmente pensar de forma estratégica e sistêmica sobre os sistemas dos quais fazemos parte e dos quais eles fazem parte, que muitos deles realmente levaram as perguntas do guia de conversação para a reunião de planejamento anual com suas equipes de liderança.
Por isso, ficamos muito satisfeitos em ouvir isso. Acho que foi aí que realmente conseguimos perceber o valor desse tipo de conversa. Enyi, e você?
Enyi Okebugwu: Tenho muitos exemplos. Tentarei me concentrar em apenas um que é realmente importante, porque aconteceu na semana passada, e isso é em resposta aos nossos esforços de coleta de histórias, porque já tínhamos um relacionamento com um de nossos parceiros e um canal estabelecido para o diálogo por meio dos sistemas e conversas sobre o impacto.
Um de nossos parceiros entrou em contato em resposta à pesquisa de histórias e disse, basicamente, que temos uma história muito interessante para compartilhar relacionada a um estado específico em que eles estão trabalhando, mas eles queriam dar mais nuances e contexto e também conversar ao vivo sobre como seu trabalho e seu impacto se alinham com o que estamos vendo no trabalho e no ecossistema em diferentes esforços.
Isso levou a uma maior transparência e à construção de confiança em um relacionamento já existente com um parceiro beneficiário e a um diálogo aberto sobre uma preocupação emergente em um sistema, nesse caso, no que se refere às oportunidades de políticas estaduais e às implicações de como a nossa estratégia pode mudar ou se adaptar ou não, como, por exemplo, inclinar-se mais para apoiar tipos específicos de abordagens de defesa em nível estadual.
Tivemos muitas dessas conversas como organização. Realizamos mais de 60 com nossos parceiros no Brasil, no Quênia e nos EUA. Trata-se de uma quantidade significativa de informações que precisavam ser analisadas para revelar insights acionáveis e exemplos importantes de progresso. Uma das principais maneiras de fazer isso com eficiência foi usar uma abordagem orientada por IA, o que pode parecer contraintuitivo quando um dos princípios principais desse trabalho é capturar histórias de vida e insights, de modo que nos concentramos primeiro na humanidade e também aproveitamos a IA para trazer à tona e matizar insights que podemos perder quando nos concentramos em estar totalmente presentes na conversa.
Jewlya, gostaria de saber se você pode nos explicar a decisão de utilizar a IA, as vantagens que ela oferece e quais são suas preocupações ao utilizar a IA e, nesse estágio, quais são suas principais conclusões e aprendizados do processo, e como você continua a garantir que estamos reconhecendo as oportunidades e as deficiências desses tipos de tecnologias nos processos de avaliação?
Jewlya Lynn: Portanto, é sempre um pouco controverso conversar sobre IA, principalmente quando se está fazendo um trabalho que é muito orientado e conectado às vozes das pessoas mais afetadas pelo sistema. Portanto, em meu trabalho mais amplo, tenho pensado muito sobre onde, dentro do trabalho de mudança sistêmica, precisamos usar a IA para nos levar ao próximo nível, não para substituir os humanos, mas para fazer coisas que não podemos fazer, e uma delas é entender o que está acontecendo em sistemas incrivelmente complexos com rapidez suficiente para usar as informações antes que o sistema continue.
E, neste caso, estamos falando da Imaginable Futures, uma equipe pequena e enxuta em que o aprendizado acontece diretamente nas equipes do programa. Não há um escritório independente que realize todo o trabalho de aprendizado. E sabíamos que se adotássemos uma abordagem tradicional para uma pilha gigante de dados qualitativos, codificando-os e analisando-os, isso levaria meses ou exigiria uma pessoa dedicada, e perderíamos o ímpeto. Os insights não seriam oportunos o suficiente para informar nossas decisões estratégicas.
Ao mesmo tempo, entendemos que a IA tem muitas limitações e sabíamos que estávamos fazendo experiências. Estávamos particularmente preocupados com o viés na análise de IA e, na verdade, com uma grande questão: será que uma análise de IA pode realmente funcionar com a complexidade que vemos quando observamos como um sistema está mudando? E estávamos lidando com informações qualitativas muito densas e densas.
Portanto, para mitigar esses riscos, fizemos algumas coisas. Pedimos à equipe que estava conduzindo as conversas que escrevesse notas de debriefing logo depois, e esse tipo de debriefing estruturado, com apenas três perguntas, foi criado para capturar a compreensão das principais conclusões e como o participante havia descrito o sistema.
O analista, que no primeiro ano era eu, examinava todas as transcrições e as anotações e extraía as palavras-chave, o jargão, as citações, as ideias, as organizações citadas, as políticas e os projetos de lei. E o motivo pelo qual fizemos isso é que era muito importante garantir que não estivéssemos fazendo solicitações genéricas à IA, mas sim incentivando e orientando a IA a analisar o conteúdo por meio da linguagem e das lentes que as pessoas estavam oferecendo nessas discussões.
Também avaliamos os produtos finais de IA que foram gerados em relação a esses insights humanos originais e pudemos mapear se determinados temas ou padrões importantes haviam sido perdidos, exagerados ou levados na direção errada, observando como eles se alinhavam com os insights.
Portanto, a IA realmente acelerou a análise. Tínhamos cinco sistemas distintos que analisamos no primeiro ano. Tínhamos cerca de 300 páginas de dados, algumas delas por análise. Portanto, 1500 páginas de dados. Em vez de gastar de 60 a 80 horas, no mínimo, por análise, todo o processo de análise e elaboração de relatórios, incluindo a revisão de todas as transcrições, levou cerca de 20 horas para cada um deles. Isso significava que poderíamos concluir tudo em um mês. Pudemos usar as informações rapidamente e usar esse relatório em um processo de detecção de sistema que levou rapidamente ao ajuste de estratégias.
Portanto, saímos disso com um compromisso: Certo. A IA está nos oferecendo algo útil. Sem dúvida, você perde algumas nuances, mas está equilibrando diferentes prioridades. Podemos agir com rapidez suficiente em um cenário de mudança sistêmica? Estamos obtendo informações profundas o suficiente para nos proporcionar valor? E nosso objetivo é encontrar esse equilíbrio e mantê-lo ao longo do tempo. Portanto, isso nos ajudou a nos aprofundar sem nos tornar muito lentos.
Também vou fazer uma observação rápida. Não vou falar sobre plataformas. Não faça perguntas sobre plataformas, e o motivo é que usamos várias no ano passado. Estamos usando outras este ano, e isso se deve ao fato de a IA estar se desenvolvendo muito rapidamente. Cada uma tem suas limitações. Nós as combinamos intencionalmente para que possamos superar as limitações de uma com os pontos fortes de outra. E não existe um modelo perfeito. Há muitos modelos excelentes por aí, mas você precisa dedicar algum tempo para avaliar se eles vão atender às suas necessidades.
Então, Erin, como as organizações podem equilibrar melhor essa ideia de serem muito orientadas para a ação e capazes de agir rapidamente com o sistema, com o horizonte de longo prazo da mudança sistêmica? Que tipo de conselho você daria sobre como equilibrar o trabalho confuso de mudança de sistemas hoje, a medição rigorosa que queremos fazer sobre ele e o horizonte de tempo de longo prazo do compromisso com o trabalho de mudança sistêmica?
Erin Simmons: Obrigada, Jewlya. Vou me basear em sua resposta final sobre a IA como ponto de partida. Acho que o que aprendemos rapidamente é que não há uma única resposta certa, e que ser muito claro sobre como e por que você usará os dados é o melhor ponto de partida. Portanto, para nós, isso veio no contexto do desenvolvimento de nossas metas para a estrutura de impacto e de nossos princípios sobre como ela deveria ser, e ter clareza sobre coisas como o fato de sermos uma organização pequena e de que ela precisa ser dimensionada de acordo com as pessoas, o tempo e a energia - isso foi importante. Então, como e por quê? Começando por aí.
Acho que também é importante trazer nossa diretoria para essa jornada. Acho que seríamos negligentes se não reconhecêssemos esse aspecto importante e crítico - que a diretoria teve de vir conosco. Eles estiveram conosco em cada etapa do caminho, desde a concepção das metas e dos princípios até os resultados reais da estrutura. E compartilhamos essas percepções, tanto o como quanto o quê, ao longo do caminho e em uma cadência regular com eles.
Acho que outra lição importante que aprendemos e que ainda estamos colocando em prática é que precisamos absolutamente pilotar e experimentar. Portanto, precisamos aprender com nossos parceiros e beneficiários como eles estão lidando com isso. Precisamos ter certeza de que não estamos aumentando o ônus para eles e, ao mesmo tempo, aprendendo para nós. E não devemos ter medo de deixar para trás o que não está funcionando, o que geralmente é a coisa mais difícil de todas.
E, por fim, acho que outro componente importante disso foi a humildade na busca - reconhecer que há muitos amigos, muitos colegas, muitas organizações filantrópicas, muitas organizações comunitárias que também estão pensando profundamente nessas questões e, portanto, encontrar maneiras explícitas de nos convidar para essa conversa e para essas percepções também foi fundamental.
Essas são algumas das coisas que me vêm à mente quando penso nas principais conclusões. Há uma grande variedade de perguntas no bate-papo. Por isso, gostaríamos de convidar outras pessoas a responderem às perguntas que tiverem. Jewlya, como você estava adivinhando, há muitas perguntas relacionadas à ferramenta de IA, mas também muitas perguntas relacionadas a algumas das outras ferramentas, como o guia de conversação real, etc. Portanto, vamos analisá-las e ficaremos felizes em compartilhar algumas delas com todos vocês no acompanhamento.
Mas eu gostaria de prosseguir e encaminhar essa pergunta para a Jewlya. Então, há algumas perguntas no QA sobre - você falou muito sobre o que é bom aqui. Quais são alguns dos desafios? Então, Jewlya, se você puder começar com uma pergunta, fique à vontade para passá-la para Enyi ou Nathalie.
Jewlya Lynn: Houve muitos desafios. Quero dizer, acho que sempre que se começa algo novo, é um experimento. Falamos ativamente sobre isso como um experimento. Fizemos um piloto e depois fizemos um experimento, o que significa que reconhecemos que, embora tivéssemos feito um piloto da ferramenta, o primeiro ano ainda era um experimento grande e confuso.
Acho que aprendemos várias coisas. Quando as equipes estavam realizando as conversas sozinhas, era um grande pedido de capacidade, mas elas também estavam aprendendo muito, e a conversa era realmente poderosa. Mas há etapas de limpeza e próximas etapas após a conclusão de uma conversa. Portanto, agora algumas das equipes estão fazendo a ponte. Elas têm um parceiro de consultoria que trabalha muito com elas, que participa das conversas e faz o tipo de trabalho braçal, mas muitas vezes elas ainda estão nessas mesmas sessões, de modo que estão aprendendo e fazendo parcerias. Portanto, há um processo de iteração que está acontecendo.
Além disso, digamos que, no primeiro ano, tentamos traduzir as conversas em português para o inglês e depois analisá-las. E bem, a IA parece fazer um bom trabalho de análise em português para resultados em português. E você sabe, é possível obter um bom conjunto de descobertas. Ela não sabe o que fazer com o português traduzido para o inglês, porque as estruturas das frases, as metáforas e outras coisas simplesmente a confundem. Por isso, foi muito importante, no segundo ano, ter um pesquisador que falasse português e pudesse fazer essa análise e parceria com a IA, em vez de depender de uma etapa de tradução no meio.
Gostaria muito de saber quais foram alguns dos desafios. Talvez Nathalie, de sua perspectiva?
Nathalie Zogbi: Sim, acho que um dos primeiros desafios que enfrentamos - talvez este seja o que eu vou destacar. Muitos de nossos parceiros, na verdade, há muitos, muitos anos, têm recebido um tipo de pergunta muito diferente dos financiadores, certo? Eles têm relatado os KPIs tradicionais e as métricas de impacto e, portanto, ser questionados, ser solicitados a ter uma visão mais orientada para os sistemas e refletir sobre os sistemas mais amplos, e não necessariamente sobre seu trabalho direto em relação ao sistema, é um novo tipo de músculo, e muitos deles, inicialmente, acho que acharam realmente desafiador ter esse tipo de reflexão nesse nível em relação ao seu trabalho direto e às mudanças que estavam relacionadas ao seu trabalho direto.
E isso exigiu, você sabe, algumas conversas múltiplas. Às vezes, começávamos com uma conversa de uma hora e meia e marcávamos outra para continuar explorando as partes que não havíamos conseguido abordar. Também foi necessário mudar um pouco os estímulos e realmente se aprofundar para fazer com que as pessoas pensassem em mudanças nesse nível. Portanto, eu chamaria esse desafio de desafio. Mas, novamente, foi um desafio com o qual as pessoas realmente se envolveram, assim como nós.
Então, talvez eu esteja vendo aqui uma pergunta sobre como preparar os parceiros para a conversa. Isso é um requisito do contrato de subsídio? Vocês compartilham as perguntas com antecedência, e também outra pergunta sobre como capturamos as informações da conversa? Então, talvez eu possa responder a elas.
Portanto, não incluímos isso como um requisito no contrato de subsídio. Mas toda vez que aprovamos um novo subsídio, sinalizamos aos nossos parceiros que também esperamos aprender com eles de uma forma que não pareça extrativista. Portanto, uma conversa por ano é o mínimo com o qual concordamos, como uma espécie de meio para esse aprendizado, e para que também possamos ser bons parceiros ao oferecer outros tipos de suporte não financeiro.
Por isso, compartilhamos as perguntas antes da conversa. Essa é uma parte importante, justamente porque pode ser a primeira vez que eles estão sendo solicitados a pensar sobre questões como essas. Por isso, tentamos enviar essas perguntas com antecedência, talvez uma semana antes, e convidamos uma ou duas pessoas da organização para participar da conversa, não muito mais do que isso, pois o excesso de vozes também pode dificultar a análise aprofundada das perguntas.
Tentamos quando perguntam quem deveria estar, quem, do nosso lado, deveria estar na conversa? Costumamos dizer que seria bom. Não precisa ser necessariamente o CEO ou alguém do nível C, mas certamente alguém que tenha visibilidade de várias partes do sistema. E assim, naturalmente, muitas vezes tende a ser alguém como o CEO ou alguém nesse nível.
Depois, pedimos para gravar, gravamos as conversas e também fazemos anotações durante o processo. Assim, essa síntese - assim que terminamos as conversas, a pessoa responsável por conduzi-las faz uma rápida síntese de quais foram alguns dos principais insights produzidos. E então, como disse Jewlya, temos esse tipo de transcrição mais completa que também é usada por meio da análise de IA que alimenta nosso processo mais amplo.
Erin Simmons: Obrigada, Nathalie. Também vi uma pergunta relacionada a: "Ei, você pode descrever seu como e por quê?" Na verdade, compartilhamos um blog sobre isso há algumas semanas, talvez meses, e vou pedir aos meus colegas que o incluam no bate-papo, mas só para dar uma breve visão geral, os objetivos que identificamos, em primeiro lugar, relacionados à estrutura, foram:
- Tornar visíveis nossas estratégias e as ações que tomamos alinhadas a essas estratégias e as mudanças que estamos observando.
- Para informar a ação estratégica. Portanto, primeiro, torne-a visível. Em seguida, informe.
- Para nos responsabilizarmos, e isso significava nossos valores, nossos parceiros, nossa diretoria e a comunidade e o campo mais amplos.
- E, em quarto lugar, o que é importante para nós, como vocês ouviram de Enyi e Nathalie, é inspirar uma conversa mais ampla e compartilhar nossas percepções com a área de modo a apoiar, mudar, acrescentar e criar um diálogo generativo com todos vocês.
E os princípios que identificamos são realmente específicos para nós como organização, mas eles funcionam e descobrimos que, mesmo depois de três ou quatro anos, eles ainda estão valendo para nós. Que assim seja:
- Orientado para a ação, e não algo em que reunimos um monte de dados e relatórios para pensar
- Que ela aflora nosso pensamento, deixa claras nossas suposições sobre mudanças
- Que seja autêntico para nós e que realmente represente quem somos e como nos apresentamos em campo, para que não crie uma personalidade totalmente nova para nós no contexto da coleta de informações e dados
- Adota a flexibilidade, como você ouviu da Jewlya, somos uma organização emergente. As mudanças são regulares. Os pivôs são regulares.
- E, por fim, redefiniu o rigor em nosso próprio contexto, ainda rigoroso, mas o redefiniu para nós e como estávamos usando as informações.
Portanto, acho que essa é a maneira perfeita de passar para a Jewlya para que ela fale um pouco sobre - há muitas perguntas no bate-papo sobre rigor e diferentes tipos de medição tradicional. Por isso, pedirei à Jewlya que vá até lá.
Jewlya Lynn: Há muitas perguntas, então provavelmente não poderei responder a todas, mas vejo um pouco de um tema. Portanto, essa não é uma avaliação de impacto tradicional. Não tínhamos um conjunto de indicadores para os quais estávamos tentando obter dados em resposta. Tínhamos um conjunto de grandes perguntas sobre o que estava acontecendo no sistema, e a abordagem intencional e aberta de contar histórias do protocolo significava que, se tivéssemos chegado dizendo que queríamos saber A, B, C e D, que queríamos medir como a mudança está acontecendo ao longo do tempo nessas coisas específicas, perderíamos um pouco disso.
E se for realmente fundamental capturar esse nível de "há uma parte muito específica do sistema que estamos tentando mudar", acho que essa é uma parte separada, realmente importante e complementar. Mas o que estávamos fazendo aqui era ter o cuidado de não presumir que sabíamos o que importava no sistema e, em vez disso, perguntar a pessoas de perspectivas muito diferentes como elas entendiam que o sistema estava mudando.
Havia algumas perguntas diferentes que eram essencialmente: "Bem, como você valida essas descobertas? Como saber se o que alguém está dizendo é verdade?" Em primeiro lugar, trata-se de dados de percepção, portanto, temos que reconhecer isso. Sim, podemos nos sentir mais confiantes quando várias pessoas dizem a mesma coisa. Mas também, todo mundo tem uma lente ligeiramente diferente no sistema, e vamos receber algumas coisas que apenas uma voz diz. Queremos rejeitá-las porque foi uma única voz, ou queremos avaliar a seriedade com que elas influenciarão nossas mudanças se não tivermos tempo para acompanhá-las? Acho que é mais isso que faríamos.
Mas devo dizer que uma das coisas que foi realmente fascinante é que, após seis ou sete conversas, estávamos obtendo informações que já havíamos obtido antes. Portanto, realmente não precisávamos de 20 conversas, porque não estávamos perguntando às pessoas sobre seu próprio trabalho e seus próprios resultados. Estávamos pedindo que descrevessem um sistema no qual todos estavam trabalhando. Assim, a nuance e as novas informações realmente vieram do fato de não ser uma conversa que eles normalmente tinham conosco, em vez de serem informações realmente minuciosas e específicas às quais somente eles tinham acesso.
E esse protocolo, na verdade, funcionou tão bem que, desde então, usei uma abordagem muito semelhante em um grande estudo de mudança de sistemas de 10 anos e descobri que você realmente pode, se quiser se aprofundar, investigar os principais tipos de vínculos causais que existem nessas histórias maiores e começar a desvendar onde, por que e como a mudança aconteceu de uma forma muito mais rigorosa. Penso no que obtemos com isso como um andaime de uma história de mudança sistêmica, e sempre há espaço para ir mais fundo.
Eu recomendaria que, para muitas das perguntas que vocês estão fazendo sobre rigor e qualidade, acessem a estrutura do Rigor Inclusivo, e podemos enviar alguns recursos de acompanhamento. Mas esse é um trabalho incrível que está acontecendo globalmente, com pessoas em muitas áreas diferentes de prática que estão tentando repensar e redefinir o rigor usando uma lente participativa e orientada para a ação e realmente honrando a complexidade inerente do trabalho que estamos fazendo juntos nos espaços de mudança de sistemas. Obrigado.
Erin Simmons: Obrigada, Jewlya. Enyi, gostaria de convidá-la para responder a duas perguntas. A primeira é: você pode falar sobre um insight que realmente o levou a um pivô no trabalho que você está fazendo? Talvez você possa pensar sobre isso. A segunda é: como você compartilha essas percepções com os beneficiários?
Enyi Okebugwu: A primeira pergunta tem várias respostas. Tentarei me limitar a uma. O foco de nossos dois anos de conversas sobre sistemas e percepções e conversas sobre o impacto concentrou-se no campo da primeira infância e, especificamente, nas creches. Um dos insights que surgiram no ano passado e que foi aprofundado este ano, já que estamos em um contexto de um clima político muito carregado nos EUA, é onde devemos concentrar nossa energia? Há energia no sistema para proteger o que há de bom no sistema hoje, ou há energia no sistema para explorar o que poderia mudar, o que poderia ser novo no sistema, em um horizonte de 5, 10, 15 anos?
E percebemos que a percepção que realmente se destacou para nós, como equipe, foi a de que todos estão pensando em causar impacto para proteger o que existe hoje, e ainda há um espaço emergente, mas não há muitos esforços para sintetizar e catalisar o espaço para reimaginar como o futuro poderia ser, especialmente no sistema de creches. Portanto, para nós, o ponto de partida é: podemos ajudar a criar esse espaço? Isso é algo que estamos explorando nos estágios iniciais, ou seja, como podemos catalisar a reimaginação do sistema de cuidados infantis para a próxima década?
E, para responder à sua segunda pergunta, acho que ainda estamos tentando descobrir qual é a melhor maneira de compartilhar percepções com o campo. Pegamos os insights de nossas conversas e os reduzimos para fins de privacidade e compartilhamos o que chamamos de nossos sistemas e relatórios de conversas de impacto com as pessoas com quem tivemos as conversas, para que possam aproveitá-los de forma semelhante à forma como os estamos aproveitando em nosso trabalho e em nossos objetivos estratégicos.
Mas uma maneira de pensarmos em como podemos aprofundar esse impacto é saber com quem compartilhamos além daqueles com quem conversamos para o benefício do campo, sem deixar de honrar a intimidade da conversa que estamos tendo. Portanto, farei uma pausa e voltarei a você, Erin, para encerrar um pouco o assunto.
Erin Simmons: Obrigada, Enyi. Vou falar com a Nathalie mais uma vez para um subconjunto de perguntas semelhante, mas que se relaciona a como reunimos os parceiros nisso?
Nathalie Zogbi: Sim, estou vendo aqui uma pergunta da Vanessa. Ela diz: "Parece que todas as conversas são entre a IF e cada parceiro beneficiário. Como vocês incentivam o aprendizado ou a colaboração entre seus parceiros beneficiários? E, em caso afirmativo, você viu os benefícios?" Essa é uma ótima pergunta. Na verdade, estamos criando protótipos e testando diferentes maneiras de fazer isso.
Um exemplo no Brasil - em nosso trabalho no Brasil, temos reunido o que chamamos de mesa redonda de detecção do sistema com seis beneficiários nos últimos dois anos e meio. Essa tem sido uma iniciativa consistente, na qual seis beneficiários que trabalham em diferentes níveis do sistema, desde intervenções baseadas na comunidade até o nível mais político, têm se reunido quase que mensalmente, com algumas imersões de uma semana por ano, para realmente se aprofundar em práticas compartilhadas de monitoramento, avaliação e aprendizado, principalmente com base em práticas participativas de monitoramento e avaliação.
Portanto, esse tipo de cruzamento, esse aprendizado entre as organizações no campo, tem sido extremamente rico. Acho que tem sido muito rico do ponto de vista de ajudar todos a entender melhor a dinâmica do sistema, mas também de ajudar a fortalecer cada uma de suas intervenções e táticas, aprendendo uns com os outros, entendendo que muitos dos desafios que enfrentaram são semelhantes e sendo capazes de identificar padrões comuns.
Portanto, ficaríamos felizes em compartilhar mais sobre essa iniciativa, mas esses ainda são experimentos e não estão realmente incorporados ao nosso sistema principal e à estrutura de impacto em toda a empresa. Portanto, continuamos evoluindo e, como disse Enyi, acho que ainda temos muito a dizer sobre como compartilhamos esses insights no campo de forma a honrar a privacidade, as conversas aprofundadas que às vezes revelam coisas que talvez não queiram ser mencionadas, com esse tipo de conhecimento e nível, e esses insights podem ser transmitidos de forma mais ampla e acessíveis ao sistema. Portanto, mais informações sobre como evoluímos nessa frente estão por vir.
Erin Simmons: Obrigada. Considerando o tempo, só nos resta uma pergunta, e eu a devolverei a cada um de nossos palestrantes de hoje. Gostaria que cada um de vocês compartilhasse apenas um conselho ou sua maior lição. Enyi?
Enyi Okebugwu: Meu maior conselho: o aprendizado é uma jornada não linear e constante. Portanto, ainda estamos, sabe, ajustando a cada semana a forma como realizamos nosso trabalho de aprendizagem. Então, vou fazer uma pausa e passar para a Nathalie.
Nathalie Zogbi: Sim, acho que da mesma forma, embora eu sinta, sabe, sinto que é uma tremenda responsabilidade apresentar nossa estrutura de sistemas e impacto para colegas incríveis da área. E, sabe, às vezes, apresentar algo assim faz parecer que achamos que está pronto para ser apresentado, mas, na verdade, é um trabalho constante em andamento e, como disse Enyi, evolui a cada dia, e ainda há muito que não sabemos.
Por isso, gostaria de agradecer às pessoas que estão nesta chamada por, às vezes, serem inspirações que nos ajudaram aqui sem saber, mas também de nos colocar ao lado de todos que estão ouvindo e dizer que estamos ansiosos para continuar aprendendo juntos e trocando ideias e que, por favor, entrem em contato se tiverem ideias sobre como podemos colaborar. Vou passar a Jewlya para ela.
Jewlya Lynn: Certo, então acho que meu maior conselho é não replicar essa estrutura, não porque ela não tenha sido uma ferramenta muito eficaz para a Imaginable Futures. Mas porque o que realmente, na minha opinião, foi mais poderoso aqui foi o processo que essa equipe adotou para descobrir o que precisava e, dentro desse processo, o compromisso real de olhar para o sistema primeiro, em vez de centralizar tudo em seu próprio trabalho e sentar-se e sentir-se confortável com a incerteza.
Eles não tentaram criar um plano completo de monitoramento, aprendizado e avaliação, mas sim um processo de aprendizado que fosse bom o suficiente para valer a pena ser experimentado, e depois continuaram a adaptá-lo. Portanto, acho que vale a pena replicar essa jornada que eles percorreram até onde quer que ela os leve. Erin?
Erin Simmons: Muito obrigada, vocês três. Acho que vou encerrar com meu último conselho, que é: arranje alguns amigos que possam lhe dizer tudo com sinceridade. Acho que essa foi a maior dádiva de ter parceiros que podem estar nessa jornada conosco, que estão dispostos a nos dizer quando erramos e também quando acertamos, e convidamos a comunidade a estar nessa jornada conosco.
Que conversa maravilhosa tivemos hoje. Em nosso site, temos uma seção especial sobre o que estamos aprendendo. Tentamos compartilhar nosso processo transparente e contínuo de trabalho em andamento e "bom o suficiente" em várias dimensões do nosso trabalho, e adoramos ouvir sua opinião. Gostamos de saber o que você está fazendo que pode nos tornar melhores. Gostamos de saber o que está experimentando, o que funcionou e o que não funcionou. Portanto, continue fazendo isso.
E, o mais importante, aos nossos parceiros, obrigado por estarem dispostos a compartilhar sua transparência. Somos muito gratos por estarmos aqui com vocês. E muito obrigado a todos os que participaram hoje e aos que estarão assistindo na sequência por fazerem parte desta conversa, por suas perguntas profundas e envolventes, e esperamos vê-los no próximo fireside chat. Muito obrigado por todo o seu tempo hoje e muito obrigado a Enyi, Jewlya e Nathalie.
Leia o blog de recapitulação do fireside chat aqui.
