有的，信息会随时间丢失
熵的概念越来越普及
版主： SOD
Re: 熵的概念越来越普及
ai给出以下内容：
- 香农熵与热力学熵的区别虽然两者在数学公式上非常相似，但物理上的孤立体系与信息论中的体系有本质区别：热力学的孤立体系：指既不与外界交换能量，也不与外界交换物质的物理系统。根据热力学第二定律，这类系统的熵总是自发增加的（即走向无序）。香农熵的孤立体系（信源）：指一个不需要从外界输入新条件或数据，自身内部状态概率完全确定的信息系统。2. 孤立体系下的香农熵表现当一个包含独立随机事件的概率空间被视为“孤立”时，有以下规律：不确定性的度量：该系统的香农熵公式为 \(H(X) = - \sum p(x) \log_{2} p(x)\)。它定量描述了如果想完全确定该体系当前的状态，平均需要多少个比特（bit）的信息。系统状态的演化：对于这样一个信息闭合的系统，如果没有新的信息注入，其不确定性（香农熵）的最大极限是恒定的。根据信息论中的“数据处理不等式”，在不引入外部干预、仅仅进行内部计算或编码的情况下，香农熵只会保持不变或减少，而不会无中生有地增加。