统计学家非凡的内特银因准确预测了2008年美国50个州中的49个州的总统选举结果而名声大噪。2012年，他又在所有50个州锁定了获胜者。
他在2016年表现如何?好吧，我们只能说，他没有像大多数统计学家那样错，因为他认为克林顿获胜的几率略高于70%(与特朗普竞选团队自己的预测相差不远)，而其他人则认为她的胜率高达99%。
因此，在经历了一个令人惊讶的选举季之后，《华尔街日报》的创始人兼主编做了什么呢FiveThirtyEight.com不得不对软件和分析专业人士的听众说New Relic的未来16会议上周在旧金山?事实证明，有很多。(爆料:我白天的工作是New Relic的主编，我也写了关于Silver的演讲)。
西尔弗谈到了出人意料的选举结果，他指出，有相当多的选民尚未做出决定，而且摇摆州的选举结果是相互关联的，而不是相互独立的。
超出了选举
但Silver关注的是围绕统计和分析的优势、劣势和持续存在的误解，他谈到了他所从事的工作与软件行业运作方式之间的差异和相似性。(他说，政治民意调查“还算复杂”，但比起许多软件专业人员每天都要处理的问题，要复杂得多。)最重要的是，他就如何最好地利用“大数据”做出更准确的预测提供了一些现实世界的小建议。
西尔弗承认，最近发生的一些关键性事件，如2008年的房地产泡沫和经济崩溃，9/11恐怖袭击，以及福岛地震和海啸造成的意外巨大破坏，都被人们冠以“耻辱之墙”。
+也在网络世界:足球竞猜app软件特朗普的意外胜利是大数据的失败吗?不是真正的+
他还指出了一些引人注目的误报，包括对大规模爆发禽流感和SARS的预测，但这两种预测都没有发生。利用对20世纪80年代计算机革命的怀疑态度，西尔弗指出，新技术证明其价值的时间往往比预期的要长。他说，很多人会在那个时候放弃，但当这些技术最终成熟时，“走在前面的公司往往会真正受益”。
常见的数据分析问题
为了解释进行现实世界预测的困难，Silver分享了在许多软件商店都会引起共鸣的三个关键问题:
问题1:你拥有的数据越多，解释的空间就越大
当然，更多的数据是一件好事，但它也使情况更加复杂。西尔弗说，过去每周只有三到四次选举投票;现在有几十个投票和聚合网站，投票过程也变得带有政治色彩。
"在解读民意调查方面，我们仍处于非常幼稚的阶段，" Silver说。
问题2:信噪比
卖弄他的书名(信号和噪音:为什么这么多预测都失败了——但有些却没有)，西尔弗的观点是，随着数据集越来越大，它们的复杂性会呈指数级增长。例如，参加过很多会议的人都知道，将会议规模从5人增加到10人，可能会增加一倍的复杂性和障碍。也就是说，噪声的增长速度比信号的增长速度快。
西尔弗解释说，问题在于，更大的数据集极大地增加了误报的几率，即无因果关系的相关性。他表示:“在你不确定因果关系的情况下押注两者之间的相关性……这是一种非常危险的押注。”
问题3:特性还是bug?
西尔弗说，常识和直觉在预测中的作用经常被误解。如果你在错误的时间运用“常识”，你就会冒着通过观察者偏见和其他因素来掩盖数据和模型价值的风险。通过在适当的时候应用人的洞察力，您可以根据需要修正您的模型，同时仍然可以从数据中提取最大的价值。
做出更好预测的可能解决方案
西尔弗还分享了如何更好地进行预测的建议:
建议1:从概率角度思考
西尔弗说，预测者倾向于低估不确定性，但传达不确定性的预测通常是更好的预测。例如，处理二元结果的概率可能会令人困惑，但特朗普之所以能当上总统，并不是因为选举结果很接近。
他补充说，视觉辅助工具——比如风暴路径图——通常可以帮助人们更清楚地感知不确定性。“一张照片可以带来很多好处，”他说。
建议2:知道你来自哪里
了解自己的偏见很重要，西尔弗说，但大多数人都不知道。例如，当具有相同资格的男性和女性求职者申请一份工作时，测试表明，那些自称没有性别偏见的人实际上表现得很好更多的性别偏见。
“避免群体思维，”西尔弗警告说。“观点的多样性可以降低风险。”
正确的经验会有所帮助。西尔弗指出，FiveThirtyEight.com比其竞争对手对选举的判断“少错”的一个原因是，他的团队在这个舞台上比其他许多机构有更多的实际经验。有赌钱经验的预测者，比如扑克玩家或体育分析师——内特·西尔弗都是这类人——往往比那些没有经历过艰难的教训的学者做得更好，因为他们需要挑战自己的假设。
建议3:尝试并犯错
西尔弗说，学习和完善你的模型对提高你的预测能力至关重要，但这在数据丰富的环境中效果最好。他说，天气预报已经有了显著的改进，因为气象学家进行了大量的实践:“如果你的模型不好，你很快就会被打败。”总统选举预报员每四年才受审一次。”
西尔弗总结说，关键是永远不要满足于你的现状。虽然你的模型很容易过于自信，但“真实的数据是对现实的检验。”