概述 C.E.仙农 信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。若信源有m种消息，且每个消息是以相等可能产生的,则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究，还是从1948年C.E.仙农的奠基性工作开始的。 信息的统计特征描述是早在1948年申农把热力学中熵的概念与熵增原理引入信息理论的结果。先行考察熵增原理。热力学中的熵增原理是这样表述的：存在一个态函数－… [ 进入词条 ][ 进入信息量维吧 ]