Evidence summaries tailored to health policy-makers in low- and middle-income countries

Bull World Health Organ. 2011 Jan 1;89(1):54-61. doi: 10.2471/BLT.10.075481. Epub 2010 Nov 24.

Abstract

Objective: To describe how the SUPPORT collaboration developed a short summary format for presenting the results of systematic reviews to policy-makers in low- and middle-income countries (LMICs).

Methods: We carried out 21 user tests in six countries to explore users' experiences with the summary format. We modified the summaries based on the results and checked our conclusions through 13 follow-up interviews. To solve the problems uncovered by the user testing, we also obtained advisory group feedback and conducted working group workshops.

Findings: Policy-makers liked a graded entry format (i.e. short summary with key messages up front). They particularly valued the section on the relevance of the summaries for LMICs, which compensated for the lack of locally-relevant detail in the original review. Some struggled to understand the text and numbers. Three issues made redesigning the summaries particularly challenging: (i) participants had a poor understanding of what a systematic review was; (ii) they expected information not found in the systematic reviews and (iii) they wanted shorter, clearer summaries. Solutions included adding information to help understand the nature of a systematic review, adding more references and making the content clearer and the document quicker to scan.

Conclusion: Presenting evidence from systematic reviews to policy-makers in LMICs in the form of short summaries can render the information easier to assimilate and more useful, but summaries must be clear and easy to read or scan quickly. They should also explain the nature of the information provided by systematic reviews and its relevance for policy decisions.

الغرض: وصف كيف أَعدَّ تنسيق مشروع المراجعات والتجارب الداعمة للسياسات SUPPORT نموذجاً ملخصاً موجزاً لتقديم نتائج المراجعات المنهجية إلى راسمي السياسات في البلدان المنخفضة والمتوسطة الدخل.

الطريقة: أجرى الباحثون 21 اختباراً على مستخدمي النموذج المُلخَّص في ستة بلدان لاستكشاف خبراتهم حول النموذج المُلخَّص. وعدّل الباحثون المُلخَّصات وفقاً للنتائج وراجعوا استنتاجاتهم عن طريق 13 مقابلة للمتابعة. ولحل المشاكل التي اكتشفها مستخدمو الاختبار، أحضر الباحثون أيضاً مجموعة استشارية لاستقصاء الآراء وأجروا حلقات عمل لمجموعة العمل.

النتائج: فضّل راسمو السياسات نموذج إدخال متدرج (أي ملخص قصير مع رسائل أساسية على الواجهة). واستحسنوا على وجه الخصوص القسم الخاص بارتباط المُلخَّصات براسمي السياسات في البلدان المنخفضة والمتوسطة الدخل، والذي عوّض نقص التفاصيل المحلية الهامة في المراجعة الأصلية. وجد البعض صعوبة في فهم النصوص والأرقام. وهناك ثلاثة مواضيع على وجه الخصوص جعلت إعادة تصميم الملخصات مثيرة للتحدي وهي: (1) سوء إدراك المشاركين بماهية المراجعة المنهجية؛ (2) المشاركون توقّعوا معلومات لم تكن موجودة في المراجعات المنهجية؛ (3) أراد المشاركون ملخصات أصغر حجماً وأكثر وضوحاً. وتضمنت الحلول إضافة معلومات للمساعدة على فهم طبيعة المراجعة المنهجية، وإضافة المزيد من المراجع، وجعل المحتوى أكثر وضوحاً، والوثيقة أسرع للاطلاع.

الاستنتاج: إن تقديم بيّنات المراجعات المنهجية لراسمي السياسات في البلدان المتوسطة والمنخفضة الدخل في شكل ملخصات قصيرة يمكن أن يجعل المعلومات أكثر سهولة في الاستيعاب والاستفادة، ولكن يجب أن تكون الملخصات واضحة وسهلة للقراءة والاطّلاع السريع. ويجب أن تشرح أيضاً طبيعة المعلومات التي تقدمها المراجعات المنهجية وعلاقتها بمتخذي القرار السياسي.

Objetivo: Describir cómo la colaboración SUPPORT ha desarrollado un formato de resumen breve que presenta los resultados de las revisiones sistemáticas para los responsables políticos en los países de ingresos medios y bajos (PIMB).

Métodos: Hemos llevado a cabo 21 pruebas de usuario en seis países distintos, con el fin de conocer las experiencias de los usuarios con este formato de resumen. Hemos modificado los resúmenes en función de los resultados y hemos comprobado nuestras conclusiones mediante 13 entrevistas de seguimiento. Con el fin de solucionar los problemas que las pruebas de usuario evidenciaron, hemos consultado la opinión de un grupo de asesores y hemos llevado a cabo talleres de grupos de trabajo.

Resultados: A los responsables políticos les gustó el formato de entradas clasificadas (es decir, un resumen breve con los mensajes clave al principio). Valoraron positivamente el apartado sobre la importancia de los resúmenes para los PIMB, que compensaba la falta de información más detallada con interés local en la revisión original. A algunos les costó trabajo entender el texto y los números. La reestructuración de los resúmenes resultó especialmente compleja por tres cuestiones en particular: (a) los participantes contaban con escasos conocimientos sobre lo que era una revisión sistemática; (b) esperaban disponer de información que no se incluye en las revisiones sistemáticas y (c) preferían resúmenes más cortos y claros. Entre las posibles soluciones se encontraban la de añadir información para ayudar a entender el concepto de revisión sistemática, añadir más referencias y hacer que el contenido resultara más claro y que el documento pudiera escanearse más rápido.

Conclusión: La presentación de los datos extraídos de las revisiones sistemáticas a los responsables sanitarios de los PIMB en forma de resúmenes breves puede contribuir a que la información resulte más fácil de asimilar y más útil, si bien los resúmenes deben ser claros, así como fáciles y rápidos de leer. También deben explicar la naturaleza de la información que se facilita en las revisiones sistemáticas y su relevancia para la toma de decisiones sobre políticas sanitarias.

Objectif: Décrire la façon dont la collaboration SUPPORT a développé un format synthétique permettant de présenter les résultats d’évaluations systématiques aux décideurs de la santé dans les pays à revenu faible ou intermédiaire.

Méthodes: Nous avons réalisé 21 tests utilisateur dans six pays afin d’étudier l’expérimentation du format synthétique par les utilisateurs. Nous avons modifié les synthèses en fonction des résultats et vérifié nos conclusions par le biais de 13 entretiens de suivi. Afin de résoudre les problèmes dont les tests utilisateur ne traitaient pas, nous avons également recueilli les commentaires du groupe consultatif et organisé des ateliers de groupe de travail.

Résultats: Les responsables appréciaient le format d’entrée progressive (par ex. une synthèse courte introduite par des messages clés). Ils avaient une préférence notable pour la section dédiée à l’importance des synthèses pour les PRFI car elle compensait l’absence de détails locaux essentiels de l’évaluation d’origine. Certains ont eu du mal à saisir le texte et les chiffres. Trois problèmes ont fait de la reconception des synthèses une véritable gageure : (i) les participants avaient une compréhension médiocre de l’évaluation systémique; (ii) ils attendaient des informations que les évaluations systématiques ne contenaient pas et (iii) ils souhaitaient des synthèses plus courtes et plus précises. Les solutions comprenaient l’ajout d’informations afin de mieux saisir la nature d’une évaluation systématique, un surcroît de références, la rédaction d’un contenu plus clair ainsi qu’une analyse plus rapide du document.

Conclusion: La présentation d’éléments de preuve provenant d’évaluations systématiques aux responsables de la santé dans les pays à revenu faible ou intermédiaire sous forme de brèves synthèses peut faciliter l’assimilation des informations et les rendre plus utiles, mais ces synthèses doivent être claires, faciles à lire ou rapidement analysables. Elles doivent également expliquer la nature des informations fournies par les évaluations systématiques et leur pertinence en matière de décision de politiques.

Цель: Рассказать о том, как организация SUPPORT разработала краткую форму отчета для представления результатов систематических обзоров разработчикам политики в странах с низким и средним доходом (СНСД).

Методы: Мы провели 21 тест с пользователями в восьми странах с целью обобщить опыт использования ими типовой формы отчета. На основе результатов мы внесли изменения в отчеты и проверили наши выводы путем проведения 13 интервью на этапе последующего наблюдения. Для решения проблем, не учтенных при тестировании пользователей, мы также обратились за помощью к экспертам и провели семинары для рабочих групп.

Результаты: Разработчикам политики понравилась нумерованная форма входящего документа (т. е. краткое резюме с основными выводами, вынесенными в начало). Они особенно высоко оценили раздел о возможностях применения резюме в СНСД, который компенсировал отсутствие привязки к местным условиям в первоначальном обзоре. Некоторые с трудом воспринимали текст и цифры. Три проблемы создавали особые трудности при доработке резюме: (i) участники плохо понимали, что такое систематический обзор; (ii) они ожидали информации, которая не содержится в систематических обзорах и (iii) они хотели, чтобы резюме были короче и изложены более понятным языком. Для решения этих проблем в текст была добавлена информация, помогающая понять особенности систематического обзора, увеличено число ссылок, содержание упрощено, и документ был приспособлен для быстрого просмотра.

Вывод: Представление данных систематических обзоров разработчикам политики в СНСД в форме кратких резюме может облегчить восприятие информации и сделать ее более полезной, но резюме должны быть понятными и удобными для быстрого прочтения или просмотра. В них также должны быть объяснены характер информации, содержащейся в систематических обзорах, и ее полезность для принятия политических решений.

目的: 旨在描述SUPPORT协作如何开发出一个简短的概要格式,从而为中低收入国家(LMICs)决策者呈现系统综述结果。

方法: 我们在六个国家进行了21个用户测试,以探讨用户的概要格式经验。我们基于调查结果修改了概要并通过13个后续采访检验了结论。为了解决用户测试未曾涉及的问题,我们还获得了顾问组的反馈并开展了工作小组研讨会。

结果: 决策者喜欢一种分级登录格式(即在前面有关键信息的简短概要)。他们特别重视有关中低收入国家概要关联性的部分,这弥补了原始综述中缺乏本地相关细节的不足。一些人则努力了解文本和数字。下述三个问题使得重新设计概要特别具有挑战性:(1)参与者对系统综述缺乏了解;(2)他们期待的信息不能在系统综述中找到;且(3)他们想要更简短、更清晰的概要。解决方案包括增加信息以帮助了解系统综述的性质、增加更多参考文献并使内容更清晰、使文件更易于浏览。

结论: 以简短概要的形式为中低收入国家的决策者呈现系统综述得出的证据,能够使信息更易吸收且更有用,但是概要必须清楚且易于阅读和浏览。其还应该解释系统综述所提供的信息的性质和其与决策的关联性。

Publication types

  • Research Support, Non-U.S. Gov't

MeSH terms

  • Administrative Personnel*
  • Developing Countries*
  • Evaluation Studies as Topic
  • Health Policy*
  • Humans
  • Periodicals as Topic*
  • Research / organization & administration*