2.4　独立性

到目前为止，我们所看到的随机变量都是完全不相关的。我们从一个分布中抽取一个值的动作与我们之前抽取过其他任何的值都没关系，每次都是在一个全新的世界抽取一个新的随机变量。

我们称这些变量为自变量（independent），它们不依赖于任何其他的值。这种变量是最简单的随机变量，因为我们不用考虑两个或多个随机变量是如何相互影响的。

相反，有的随机变量是相互依赖的。例如，假设我们有几种不同动物的毛发长度的分布：狗、猫、仓鼠等。我们需要先从动物列表中随机选择一种动物，然后据此来选择适当的毛发长度分布，之后从这个分布中得到一个值并以此作为动物毛发的值。在这里，对动物种类的选择不依赖于其他因素，所以它是一个自变量。但是毛发长度取决于所选择的动物，所以它是一个因变量（dependent）。

独立同分布（i.i.d）变量

许多机器学习技术中的数学和算法都是被设计来处理从具有相同分布的随机变量中提取的多个值的，并且这些值之间相互独立。

这种要求已经非常普遍了，以至于这些变量都有了一个特殊的名称i.i.d，即独立同分布（independent and identically distributed）（这个首字母缩略词很不同寻常，因为它几乎都是用小写字母书写的，字母之间用句点隔开）。例如，我们可能会看到用这种方法描述的一种技术：“当输入为i.i.d时，该算法会提供最好的结果。”

而短语“同分布”只是“从相同分布中选择”的一种简洁的表达方式。