霍尔顿·卡诺夫斯基谈透明研究分析金宝博娱乐

路加福音Muehlhauser: GiveWell因其对一些难以量化的现象的高质量分析而赢得了尊敬:特定慈善干预的影响。你已经在几篇博客文章中写了面对这个挑战的方法，例如(1)标准化指标的无用性:一个例子, (2)在防御路灯效果, (3)为什么我们不能按字面意思来估计期望值(4)如何评估影响(5)一些反对在成本效益评估上进行更多投资的考虑，（6）通过关键询问最大化成本效益（7）我们改变研究方法背后的一些历史金宝博娱乐，（8）我们评估研究的原则金宝博娱乐，（9）调查主题研究金宝博娱乐(10)我们如何评估一项研究, (11)被动与Rational Vs.量化．

在我的第一个问题中，我想问你关于你通过分析难以量化的现象来解决一个特定问题所做的一件特别的事情。我想到的问题是读者通常很难知道他们应该相信对难以量化现象的给定分析．在数学研究中，对于其他数学家来金宝博娱乐说，什么是好的，什么是不好的，通常是很直接的。但是，结合直觉、专家意见、多种有些冲突的科学研究、各种“软科学”的一般研究等等的分析又如何呢?金宝博娱乐在这种情况下，读者很难区分高质量和低质量的分析，读者也很难判断分析是否在特定方面存在偏见。

为解决这一问题，GiveWell所做的一件事就是努力使其分析具有异常高的透明度。例如，你的分析通常包括:

• 良好的摘要和粗体，使分析更加易用
• 外部评估
• 公开对话与资深专家
• 详细讨论你的想法和原因
• 许多引文，直接引用研究和脚注
• 所引用的网站和论文的存档副本

你同意这种对你所做事情的解释吗?你还做了什么其他的事情，让读者更容易地告诉他们应该如何更新他们的观点来回应你的分析?

霍尔顿Karnofsky是的，这很好地描述了我们正在尝试做的事情。

我想说，我们的透明度工作分为两类:“支持”(确保那些寻求我们决策过程的人能够获得所有相关信息)和“外展”(主动提出话题和观点，并邀请人们就这些问题向我们提问)。我们发现，“支持”往往是不够的:为了让人们有意义地参与我们的工作，并帮助他们对工作变得自信，我们需要进行高层对话，并邀请他们来来回回地参与。否则，人们通常会觉得他们没有时间去评估我们所写的所有内容，也不会投入其中。

慈善评论和我们主页(不是博客)上的大多数其他页面都倾向于“支持”框架。这个框架的核心是，对于我们所做的每一个陈述，都应该清楚陈述的基础是什么。如果这个陈述的基础仅仅是“我们的猜测”，那就很清楚了(所以我们经常使用像“we’d guess that ___”这样的语言，而不是简单地陈述我们的信念，没有这样的限定词)。如果这个陈述的基础是一个更复杂的推理链，它在概念上不适合这个空间，那么这样的推理应该放在其他地方，并与我们的陈述上下文相连。如果我们陈述的基础是一份文件、一个网站或一段对话，我们就使用脚注。我们对脚注的约定超出了学术论文中常见的内容:我们通常旨在包括关键引用(不仅仅是一个引用)在一个脚注,我们采取措施(如Webcite)以确保原始文档和完整的上下文可以被读者访问甚至在事件源的原始主机或改变它。我们还试图以合乎逻辑的方式组织慈善评论，并提供不同细节层次的摘要内容，这样就能相对快速地发现我们对某个特定主题的想法，并决定如何深入研究其中的某一部分。

我们通过我们的观点获得的大多数实际参与通过“OutReach”方法，特别是博客和电话会议和现场活动（以及一对一的主要捐助者赠送和我们的主要捐助者最佳慈善机构）.博客可能是让人们参与、理解和信任我们的研究的唯一最有效的方式。金宝博娱乐通过这些媒体所创造的讨论，我们可以更好地了解人们最大的问题和分歧在哪里，我们也试图在更多的博客文章和常见问题中解决这些问题。“外联”方法是围绕“人们想知道什么和我们想告诉他们什么”而组织的，而不是“我们对X慈善机构或干预Y的看法”，而且往往更加非正式，尽管他们会在适当的时候链接回“支持”内容。

在这两个框架中，我们很少在发布内容时不仔细检查并询问“这里的关键点是什么?”它们能否在文章开头进行总结，并/或在正文中加粗?”

路加福音： 你识别赠送作为的一部分有效的利他主义运动，你也是写“有效的利他主义是不寻常的和争议” - 我们可能会说逆势地位。

罗宾汉森笔记“平均而言，反向投资者的观点不如一般人的观点准确……诚实的反向投资者希望有理性的外界人士会给予他们的反向投资者观点更多的信任，他们应该指出强大的外部指标，这些指标与倾向于更正确的反向投资者足够相关。”

你是否同意汉森的分析那篇文章？如果是这样，那么你是否认为，given well通常会认为，有理性的外部人士会对你的反向投资观点给予高于正常水平的信任?你是否能够指出，“强大的外部指标足以证明反向投资人士倾向于更正确”?

霍尔顿我不完全同意那个帖子。它意味着逆向论证需要“强有力的外部指标”;我认为一个好的论点是内部观点和外部观点的结合，在一个领域有足够的实力可以弥补在另一个领域的严重弱点。我会用不同的方式来表达。我说谁是试图改变思想通过理性说服需要思考的头脑他们试图改变和精神能量多少这样的人可以被合理预期投入评估他们的论点(记住相当强劲低分参数可以创建足够的阴谋让听众to increase their mental energy investment and understand higher-detail arguments). What I agree with in Robin’s post is that there is a non-trivial hurdle to overcome when espousing contrarian views, and (at least initially) a limited amount of mental energy one can expect the audience to invest in one’s argument.

在我们的案例中，到目前为止，我们主要针对的是那些已经认同有效利他主义的人。因此，我们并没有具体地处理太多的“反向”动态。我认为我们必须“克服逆向思维的障碍”的地方是，我们推荐那些人们不一定听说过的慈善机构，而不是传统精英所推荐的慈善机构。在为这类慈善机构辩护时，我们必须考虑如何把一个不太详细的案例放在前面，而不是把人们作为一个整体介绍给我们冗长的研究机构。金宝博娱乐我们试图遵循这样的原则:“总结我们的主要观点，并明确如何深入研究其中的任何一个。”这让人们可以通过抽查来获得对我们的信心，而不是通过阅读我们所写的所有内容(我相信很少有人这样做)。

此外，像博客这样的工具可以相信人们随着时间的推移，我们一般都信任和聪明的相关问题，这可以让他们在不评估他们的所有细节的情况下购买我们的索赔。（我认为很多人都遵循了支持Miri的类似途径。）

但即使是在推荐不太知名的慈善机构方面，我们也有很大的优势，因为我们的目标对象是谁。我们的许多用户都是那些已经认同有效利他主义的人，并且已经觉得关于给予的对话质量非常低。他们也经常通过信得过的朋友或媒体来源来找我们。所以他们到达我们的网站时，很容易相信我们的说法是可信的。

作为一个侧视，我认为有效的利他主义在“逆势观”和“不寻常的味道之间的频谱上。我对有效的利他主义的承诺可能最好是“想要/选择是一个有效的利他主义”，而不是“相信有效的利他主义是正确的。”我认为，减轻了一些必须“评估”有效利他主义的负担，尽管肯定不是所有的东西。

路加福音：最近你在赠送众多召唤中开始了一个新的计划尤加尔实验室，其目的是调查一些原因的有效性，这些原因甚至比全球卫生干预措施更难分析。在全球健康领域，你经常会从医学中学习，针对特定干预措施的多个随机对照试验，等等。但是，要调查旨在改善科学、改善政治或经济政策、减少灾难性风险等的干预措施的成本效益要困难得多。

因此，我可以想象，开发GiveWell Labs迫使您开发额外的工具来分析复杂的现象，并将您的分析结果与他人交流。在开发GiveWell Labs的过程中，到目前为止你学到了什么?

霍尔顿：我们肯定开发了新的分析和评估方法。我们的工作框架浅侦查用“重要的、容易处理的、不拥挤的”取代“经过证明的、具有成本效益的、可扩展的慈善机构”原因“我们在寻找什么。到目前为止，我们的大部分工作在本质上是定性的，目的是澄清和理解原因的基本景观，而不是评估哪些方法是“被证明的”。我们也做了大量的“浸”——试图大致了解一个领域没有pre-choosing组关键问题和目标(例如,当我开始研究科学研究,我读了一半的生物学教科书,多个机会参加会议的科学家)。金宝博娱乐相对于我们的传统工作，到目前为止，我们在实验室前线的更多学习来自于对话而不是研究，因此我们强调(和量)谈话记录大大增加了。

据说，它仍然很早。我认为我们非常远离具体的建议，当我们有具体的建议时，我们可以更容易，更高效地在参与和令人信服的外人方面变得更加容易。我们肯定尝试使用之前提到的同一基本工具：“支持”导向页面（例如，浅侦查撰写)和以“外联”为导向的沟通(例如，专注于实验室博客帖子和实验室专注于人员问答）.

路加福音我认为，对于如何对难以量化的现象进行有价值的分析研究，GiveWell提供了一个有用的模型。金宝博娱乐是否有其他群体在做你欣赏的类似的事情(但可能是其他主题)，或者你认为他们在做一些重要的事情是正确的，或者你认为在某些方面值得模仿?你称赞Cochrane协作在过去，还有其他的吗?

霍尔顿：

• 我们绝对是科克伦的粉丝。他们的工作是不断“透明”,一个可以阅读评论,了解大局,知道向下钻取任何一个想要钻,并最终——如果一个人想要回答任何问题,他们的结论形式。
• 我们对有用性印象深刻，通常，透明度全球发展中心的工作(更多的在这篇博客）.
• 我一般都是Nate Silver的粉丝。虽然我希望他披露了他模型的完整细节，但我通常觉得我对他在概念上的事情上有一个非常好的想法，而不必为理解它而努力。
• While there are many others whose work we use and/or enjoy, those are the only people that jump to mind in terms of “consistently providing transparent, convincing, reasonable analysis of difficult-to-analyze topics and/or topics relevant to GiveWell’s work.” I often see isolated cases of such work, such as particularly good academic papers.

路加福音为什么你认为你提供的这种透明度是相对罕见的，因为它似乎有一些可信度的好处?

霍尔顿我们提供的这种透明度需要很多工作。其中一些是因为我们的方法是相对罕见的——例如，我们不得不这样做重复很多（并处理一些尴尬的情况）能够分享从对话中分享笔记。我们与一些似乎潜在对透明度的潜在似乎有兴趣的组织进行了讨论，但随着他们建立的流程和关系，让他们与购买的所有第三方都是一个巨大的项目和斗争。我们对我们来说更容易，因为我们从一开始就把这个目标放在我们的DNA中，但即使是我们为我们所做的事情感到舒服的挑战，即使是我们所做的事情也是重要的。

即使我们不处理来自第三方的抵抗，我们写入我们的思想的时间也将是我们在研究中的总时间的重要组成部分。金宝博娱乐也许是一半。因此，在某种意义上，如果我们没有觉得我们不必广泛分享我们的学习，我们就可以学到两倍。

话虽如此，我认为好处也很显著，我认为它们超越了我们所获得的可信度和影响力提升以及反馈。仅仅是写作和支持我们的想法的过程，往往会让我们思考得更清楚。我们等到我们的研究感到“完成”来写,但我们发现,写作金宝博娱乐的过程中不断地让我们重新思考我们的结论和重开调查,问题已经褪去进我们的头脑重新出现的背景,同时我们试图让我们的情况。现在，因为这个原因，我们试着把我们研究的东西写出来。金宝博娱乐把内容写下来给普通观众也意味着新员工(以及那些记忆不太好的老员工)更容易吸收旧内容，所以我们在内部失去的知识更少。

Even if we were allocating all of the “money moved” ourselves (rather than making giving recommendations to others) and even if no outsiders could ever see what we wrote, I’d still want to put a great deal of time – maybe almost as much as we do now – into creating clear, supported writeups and summaries.

路加福音:谢谢,霍尔顿!