维纳指出，“正如熵是无组织(无序)程度的度量一样，消息集合所包含的信息就是组织(有序)程度的度量。事实上，完全可以将消息所包含的信息解释为负熵”。()