作业帮熵在生活各方面的应用?
来源：学生作业帮 编辑：拍题作业网作业帮 分类：物理作业 时间：2024/04/30 10:25:14
熵在生活各方面的应用?
科技名词定义
中文名称：熵
英文名称：entropy
定义1：
表示物质系统状态的一个物理量(记为S),它表示该状态可能出现的程度.在热力学中,是用以说明热学过程不可逆性的一个比较抽象的物理量.孤立体系中实际发生的过程必然要使它的熵增加.
所属学科：
大气科学（一级学科）；动力气象学（二级学科）
定义2：
热力系中工质的热力状态参数之一.在可逆微变化过程中,熵的变化等于系统从热源吸收的热量与热源的热力学温度之比,可用于度量热量转变为功的程度.
所属学科：
电力（一级学科）；通论（二级学科）
定义3：
系统中无序或无效能状态的度量.熵在信息系统中作为事物不确定性的表征.
所属学科：
生态学（一级学科）；数学生态学（二级学科）
熵（entropy）指的是体系的混乱的程度,它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用,在不同的学科中也有引申出的更为具体的定义,是各领域十分重要的参量.熵由鲁道夫•克劳修斯（Rudolf Clausius）提出,并应用在热力学中.后来在,克劳德•艾尔伍德•香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来.
基本释义
熵 shang 【拼音】：[shāng]
详细释义
1：物理学上指热能除以温度所得的商,标志热量转化为功的程度.
2: 科学技术上用来描述、表征体系混乱度的函数.亦被社会科学用以借喻人类社会某些状态的程度.
3：熵是生物亲序,是行为携灵现象.科学家已经发明了测量无序的量,它称作熵,熵也是混沌度,是内部无序结构的总量.
历史
概念提出
1850年,德国物理学家鲁道夫•克劳修斯首次提出熵的概念,用来表示任何一种能量在空间中分布的
熵
均匀程度,能量分布得越均匀,熵就越大.一个体系的能量完全均匀分布时,这个系统的熵就达到最大值. 在克劳修斯看来,在一个系统中,如果听任它自然发展,那么,能量差总是倾向于消除的.让一个热物体同一个冷物体相接触,热就会以下面所说的方式流动：热物体将冷却,冷物体将变热,直到两个物体达到相同的温度为止.克劳修斯在研究卡诺热机时,根据卡诺定理得出了对任意可逆循环过程都都适用的一个公式 ：dS=（dQ/T）.
证明
对于绝热过程Q＝0,故S≥0,即系统的熵在可逆绝热过程中不变,在不可逆绝热过程中单调增大.这就是熵增加原理.由于孤立系统内部的一切变化与外界无关,必然是绝热过程,所以熵增加原理也可表为：一个孤立系统的熵永远不会减少.它表明随着孤立系统由非平衡态趋于平衡态,其熵单调增大,当系统达到平衡态时,熵达到最大值.熵的变化和最大值确定了孤立系统过程进行的方向和限度,熵增加原理就是热力学第二定律.
1948年,香农在Bell System Technical Journal上发表了《通信的数学原理》（A Mathematical Theory of Communication）一文,将熵的概念引入信息论中.
熵函数的来历
热力学第一定律就是能量守恒与转换定律,但是它并未涉及能量转换的过程能否自发地进行以及可进行到何种程度.热力学第二定律就是判断自发过程进行的方向和限度的定律,它有不同的表述方法：
克劳修斯的描述①热量不可能自发地从低温物体传到高温物体,即热量不可能从低温物体传到高温物体而不引起其他变化；
开尔文的描述②不可能从单一热源取出热量使之全部转化为功而不发生其他影响；
因此第二类永动机是不可能造成的.热力学第二定律是人类经验的总结,它不能从其他更普遍的定律推导出来,但是迄今为止没有一个实验事实与之相违背,它是基本的自然法则之一.
由于一切热力学变化（包括相变化和化学变化）的方向和限度都可归结为热和功之间的相互转化及其转化限度的问题,那么就一定能找到一个普遍的热力学函数来判别自发过程的方向和限度.可以设想,这种函数是一种状态函数,又是一个判别性函数（有符号差异）,它能定量说明自发过程的趋势大小,这种状态函数就是熵函数.
如果把任意的可逆循环分割成许多小的卡诺循环,可得出
∑(δQi/Ti)r＝0 (1)
即任意的可逆循环过程的热温商之和为零.其中,δQi为任意无限小可逆循环中系统与环境的热交换量；Ti为任意无限小可逆循环中系统的温度.上式也可写成
∮(δQr/T)＝0 (2)
克劳修斯总结了这一规律,称这个状态函数为“熵”,用S来表示,即
dS＝δQr/T (3)
对于不可逆过程,则可得
dS＞δQr/T (4)
或 dS－δQr/T＞0 (5)
这就是克劳修斯不等式,表明了一个隔离系统在经历了一个微小不可逆变化后,系统的熵变大于过程中的热温商.对于任一过程（包括可逆与不可逆过程）,则有
dS－δQ/T≥0 (6)
式中：不等号适用于不可逆过程,等号适用于可逆过程.由于不可逆过程是所有自发过程之共同特征,而可逆过程的每一步微小变化,都无限接近于平衡状态,因此这一平衡状态正是不可逆过程所能达到的限度.因此,上式也可作为判断这一过程自发与否的判据,称为“熵判据”.
对于绝热过程,δQ＝0,代入上式,则?
dSj≥0 (7)
由此可见,在绝热过程中,系统的熵值永不减少.其中,对于可逆的绝热过程,dSj＝0,即系统的熵值不变；对于不可逆的绝热过程,dSj＞0,即系统的熵值增加.这就是“熵增原理”,是热力学第二定律的数学表述,即在隔离或绝热条件下,系统进行自发过程的方向总是熵值增大的方向,直到熵值达到最大值,此时系统达到平衡状态.
熵函数的统计学意义
玻尔兹曼在研究分子运动统计现象的基础上提出来了公式：
S＝k×LnΩ (8)
其中,Ω为系统分子的状态数,k为玻尔兹曼常数.
这个公式反映了熵函数的统计学意义,它将系统的宏观物理量S与微观物理量Ω联系起来,成为联系宏观与微观的重要桥梁之一.基于上述熵与热力学几率之间的关系,可以得出结论：系统的熵值直接反映了它所处状态的均匀程度,系统的熵值越小,它所处的状态越是有序,越不均匀；系统的熵值越大,它所处的状态越是无序,越均匀.系统总是力图自发地从熵值较小的状态向熵值较大（即从有序走向无序）的状态转变,这就是隔离系统“熵值增大原理”的微观物理意义.
基本特性
•熵均大于等于零,即,H_s \ge 0.
•设N是系统S内的事件总数,则熵H_s \le log_2N.当且仅当p1=p2=...=pn时,等号成立,此时熵最大.
•联合熵：H(X,Y) \le H(X) + H(Y),当且仅当X,Y在统计学上相互独立时等号成立.
•条件熵：H(X|Y) = H(X,Y) - H(Y) \le H(X),当且仅当X,Y在统计学上相互独立时等号成立.
•社会学意义：从宏观上表示世界和社会在进化过程中的混乱程度.
按照一些后现代的西方社会学家观点,熵的概念被其移植到社会学中.表示随着人类社会随着科学技术的发展及文明程度的提高,社会“熵”——即社会生存状态及社会价值观的混乱程度将不断增加.按其学术观点,现代社会中恐怖主义肆虐,疾病疫病流行,社会革命,经济危机爆发周期缩短,人性物化都是社会“熵”增加的表征.
如今年多次获诺贝尔文学奖提名的托马斯．品钦在大学毕业之后发表在杂志上的短篇小说《熵》,即阐释了熵的社会学概念.这篇小说将热力学的第二定律运用到对人类社会的描述上,其敏感性令人大吃一惊.所谓的热力学第二定律,指的就是孤立系统熵恒定的定律.熵指的是物质系统的热力学函数,在整个宇宙当中,当一种物质转化成另外一种物质之后,不仅不可逆转物质形态,而且会有越来越多的能量变得不可利用.也就是说,大量人类制造的化工产品、能源产品一经使用,不可能再变成有利的东西,宇宙本身在物质的增殖中走向“热寂”,走向一种缓慢的熵值不断增加的死亡.眼下人类社会正是这个样子：大量的产品和能源转化成不能逆转的东西,垃圾越来越多,人类社会逐步地走向一个恶化的热寂死亡状态.托马斯．品钦后来主要的小说多次地、不断地阐释着这个熵的世界观.
应用
热力学
熵在热力学中是表征物质状态的参量之一,通常用符号S表示.在经典热力学中,可
熵
用增量定义为dS＝(dQ/T),式中T为物质的热力学温度；dQ为熵增过程中加入物质的热量.下标“可逆”表示加热过程所引起的变化过程是可逆的.若过程是不可逆的,则dS＞(dQ/T)不可逆.从微观上说,熵是组成系统的大量微观粒子无序度的量度,系统越无序、越混乱,熵就越大.热力学过程不可逆性的微观本质和统计意义就是系统从有序趋于无序,从概率较小的状态趋于概率较大的状态.
单位质量物质的熵称为比熵,记为s.熵最初是根据热力学第二定律引出的一个反映自发过程不可逆性的物质状态参量.
热力学第二定律是根据大量观察结果总结出来的规律,有下述表述方式：
①热量总是从高温物体传到低温物体,不可能作相反的传递而不引起其他的变化；
②功可以全部转化为热,但任何热机不能全部地、连续不断地把所接受的热量转变为功,而不产生其他任何影响（即无法制造第二类永动机）；
③在孤立系统中,实际发生的过程总使整个系统的熵值增大,此即熵增原理.摩擦使一部分机械能不可逆地转变为热,使熵增加.热量dQ由高温(T1)物体传至低温(T2)物体,高温物体的熵减少dS1=dQ/T1,低温物体的熵增加dS2=dQ/T2,把两个物体合起来当成一个系统来看,熵的变化是dS＝dS2+dS1＞0,即熵是增加的.
物理学家玻尔兹曼将熵定义为一种特殊状态的概率：原子聚集方式的数量.可精确表示为：
S=K㏑W
K是比例常数,现在称为玻尔兹曼常数.
科学哲学
科学技术上泛指某些物质系统状态的一种量（liàng）度,某些物质系统状态可能出现的程度.亦被社会科学用以借喻人类社会某些状态的程度.熵是不能再被转化做功的能量的总和的测定单位.这个名称是由德国物理学家鲁道尔夫•克劳修斯〔鲁道尔夫•克劳修斯(1822—1888)〕德国物理学家,热力学的奠基人之一.于1868年第一次造出来的.但是年轻的法国军官沙迪•迦诺〔沙迪•迦诺(1796—1832)〕一般译作“卡诺”,法国物理学家、工程师,在研究热机效率的过程中,提出了“卡诺循环”定理.却比克劳修斯早41年发现了熵的原理.迦诺在研究蒸汽机工作原理时发现,蒸汽机之所以能做功,是因为蒸汽机系统里的一部分很冷,而另一部分却很热.换一句话说,要把能量转化为功,一个系统的不同部分之间就必须有能量集中程度的差异(即温差).当能量从一个较高的集中程度转化到一个较低的集中程度(或由较高温度变为较低温度)时,它就做了功.更重要的是每一次能量从一个水平转化到另一个水平,都意味着下一次能再做功的能量就减少了.比如河水越过水坝流入湖泊.当河水下落时,它可被用来发电,驱动水轮,或做其他形式的功.然而水一旦落到坝底,就处于不能再做功的状态了.在水平面上没有任何势能的水是连最小的轮子也带不动的.这两种不同的能量状态分别被称为“有效的”或“自由的”能量,和“无效的”或“封闭的”能量.
熵的增加就意味着有效能量的减少.每当自然界发生任何事情,一定的能量就被转化成了不能再做功的无效能量.被转化成了无效状态的能量构成了我们所说的污染.许多人以为污染是生产的副产品,但实际上它只是世界上转化成无效能量的全部有效能量的总和.耗散了的能量就是污染.既然根据热力学第一定律,能量既不能被产生又不能被消灭,而根据热力学第二定律,能量只能沿着一个方向——即耗散的方向——转化,那么污染就是熵的同义词.它是某一系统中存在的一定单位的无效能量.
信息论
在信息论中,熵表示的是不确定性的量度.信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量.他把信息定义为“用来消除不确定性的东西”.
熵在信息论中的定义如下：
如果有一个系统S内存在多个事件S = {E1,...,En}, 每个事件的机率分布 P = {p1, ..., pn},则每个事件本身的讯息为
Ie = − log2pi
（对数以2为底,单位是位元(bit)）
Ie = − lnpi
（对数以e为底,单位是纳特/nats）
如英语有26个字母,假如每个字母在文章中出现次数平均的话,每个字母的讯息量为
I_e = -\log_2 {1\over 26} = 4.7
；而汉字常用的有2500个,假如每个汉字在文章中出现次数平均的话,每个汉字的信息量为
I_e = -\log_2 {1\over 2500} = 11.3
整个系统的平均消息量为
H_s = \sum_{i=1}^n p_i I_e = -\sum_{i=1}^n p_i \log_2 p_i
这个平均消息量就是消息熵.因为和热力学中描述热力学熵的玻耳兹曼公式形式一样,所以也称为“熵”.
如果两个系统具有同样大的消息量,如一篇用不同文字写的同一文章,由于是所有元素消息量的加和,那么中文文章应用的汉字就比英文文章使用的字母要少.所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短.即使一个汉字占用两个字母的空间,汉字印刷的文章也要比英文字母印刷的用纸少.
实际上每个字母和每个汉字在文章中出现的次数并不平均,因此实际数值并不如同上述,但上述计算是一个总体概念.使用书写单元越多的文字,每个单元所包含的讯息量越大.
I(A)度量事件A发生所提供的信息量,称之为事件A的自信息,P(A)为事件A发生的概率.如果一个随机试验有N个可能的结果或一个随机消息有N个可能值,若它们出现的概率分别为p1,p2,…,pN,则这些事件的自信息的和：[H=-SUM(pi*log(pi)),i=1,2…N]称为熵. 如英语有26个字母,假如每个字母在文章中出现次数平均的话,每个字母的讯息量为
I_e = -log_2 （1\26） = 4.7
而汉字常用的有2500个,假如每个汉字在文章中出现次数平均的话,每个汉字的信息量为
I_e = -log_2 （1\2500） = 11.3
整个系统的平均消息量为
H_s = sum_（i=1^n）p_i
I_e = -sum_（i=1^n） p_i * log_2 p_i
生命科学
生命体是一个开放的系统,时刻与外界进行着物质、能量、信息的交换,符合“耗散结构”,可以用熵来分析一个生命体从生长、衰老、病死的全过程,用“生命熵”来独立定义.
生命熵的内容包含生命现象的时间序、空间结构序与功能序,生命熵变就直接反应这三个序的程度变化之和.
中文名称：熵
英文名称：entropy
定义1：
表示物质系统状态的一个物理量(记为S),它表示该状态可能出现的程度.在热力学中,是用以说明热学过程不可逆性的一个比较抽象的物理量.孤立体系中实际发生的过程必然要使它的熵增加.
所属学科：
大气科学（一级学科）；动力气象学（二级学科）
定义2：
热力系中工质的热力状态参数之一.在可逆微变化过程中,熵的变化等于系统从热源吸收的热量与热源的热力学温度之比,可用于度量热量转变为功的程度.
所属学科：
电力（一级学科）；通论（二级学科）
定义3：
系统中无序或无效能状态的度量.熵在信息系统中作为事物不确定性的表征.
所属学科：
生态学（一级学科）；数学生态学（二级学科）
熵（entropy）指的是体系的混乱的程度,它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用,在不同的学科中也有引申出的更为具体的定义,是各领域十分重要的参量.熵由鲁道夫•克劳修斯（Rudolf Clausius）提出,并应用在热力学中.后来在,克劳德•艾尔伍德•香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来.
基本释义
熵 shang 【拼音】：[shāng]
详细释义
1：物理学上指热能除以温度所得的商,标志热量转化为功的程度.
2: 科学技术上用来描述、表征体系混乱度的函数.亦被社会科学用以借喻人类社会某些状态的程度.
3：熵是生物亲序,是行为携灵现象.科学家已经发明了测量无序的量,它称作熵,熵也是混沌度,是内部无序结构的总量.
历史
概念提出
1850年,德国物理学家鲁道夫•克劳修斯首次提出熵的概念,用来表示任何一种能量在空间中分布的
熵
均匀程度,能量分布得越均匀,熵就越大.一个体系的能量完全均匀分布时,这个系统的熵就达到最大值. 在克劳修斯看来,在一个系统中,如果听任它自然发展,那么,能量差总是倾向于消除的.让一个热物体同一个冷物体相接触,热就会以下面所说的方式流动：热物体将冷却,冷物体将变热,直到两个物体达到相同的温度为止.克劳修斯在研究卡诺热机时,根据卡诺定理得出了对任意可逆循环过程都都适用的一个公式 ：dS=（dQ/T）.
证明
对于绝热过程Q＝0,故S≥0,即系统的熵在可逆绝热过程中不变,在不可逆绝热过程中单调增大.这就是熵增加原理.由于孤立系统内部的一切变化与外界无关,必然是绝热过程,所以熵增加原理也可表为：一个孤立系统的熵永远不会减少.它表明随着孤立系统由非平衡态趋于平衡态,其熵单调增大,当系统达到平衡态时,熵达到最大值.熵的变化和最大值确定了孤立系统过程进行的方向和限度,熵增加原理就是热力学第二定律.
1948年,香农在Bell System Technical Journal上发表了《通信的数学原理》（A Mathematical Theory of Communication）一文,将熵的概念引入信息论中.
熵函数的来历
热力学第一定律就是能量守恒与转换定律,但是它并未涉及能量转换的过程能否自发地进行以及可进行到何种程度.热力学第二定律就是判断自发过程进行的方向和限度的定律,它有不同的表述方法：
克劳修斯的描述①热量不可能自发地从低温物体传到高温物体,即热量不可能从低温物体传到高温物体而不引起其他变化；
开尔文的描述②不可能从单一热源取出热量使之全部转化为功而不发生其他影响；
因此第二类永动机是不可能造成的.热力学第二定律是人类经验的总结,它不能从其他更普遍的定律推导出来,但是迄今为止没有一个实验事实与之相违背,它是基本的自然法则之一.
由于一切热力学变化（包括相变化和化学变化）的方向和限度都可归结为热和功之间的相互转化及其转化限度的问题,那么就一定能找到一个普遍的热力学函数来判别自发过程的方向和限度.可以设想,这种函数是一种状态函数,又是一个判别性函数（有符号差异）,它能定量说明自发过程的趋势大小,这种状态函数就是熵函数.
如果把任意的可逆循环分割成许多小的卡诺循环,可得出
∑(δQi/Ti)r＝0 (1)
即任意的可逆循环过程的热温商之和为零.其中,δQi为任意无限小可逆循环中系统与环境的热交换量；Ti为任意无限小可逆循环中系统的温度.上式也可写成
∮(δQr/T)＝0 (2)
克劳修斯总结了这一规律,称这个状态函数为“熵”,用S来表示,即
dS＝δQr/T (3)
对于不可逆过程,则可得
dS＞δQr/T (4)
或 dS－δQr/T＞0 (5)
这就是克劳修斯不等式,表明了一个隔离系统在经历了一个微小不可逆变化后,系统的熵变大于过程中的热温商.对于任一过程（包括可逆与不可逆过程）,则有
dS－δQ/T≥0 (6)
式中：不等号适用于不可逆过程,等号适用于可逆过程.由于不可逆过程是所有自发过程之共同特征,而可逆过程的每一步微小变化,都无限接近于平衡状态,因此这一平衡状态正是不可逆过程所能达到的限度.因此,上式也可作为判断这一过程自发与否的判据,称为“熵判据”.
对于绝热过程,δQ＝0,代入上式,则?
dSj≥0 (7)
由此可见,在绝热过程中,系统的熵值永不减少.其中,对于可逆的绝热过程,dSj＝0,即系统的熵值不变；对于不可逆的绝热过程,dSj＞0,即系统的熵值增加.这就是“熵增原理”,是热力学第二定律的数学表述,即在隔离或绝热条件下,系统进行自发过程的方向总是熵值增大的方向,直到熵值达到最大值,此时系统达到平衡状态.
熵函数的统计学意义
玻尔兹曼在研究分子运动统计现象的基础上提出来了公式：
S＝k×LnΩ (8)
其中,Ω为系统分子的状态数,k为玻尔兹曼常数.
这个公式反映了熵函数的统计学意义,它将系统的宏观物理量S与微观物理量Ω联系起来,成为联系宏观与微观的重要桥梁之一.基于上述熵与热力学几率之间的关系,可以得出结论：系统的熵值直接反映了它所处状态的均匀程度,系统的熵值越小,它所处的状态越是有序,越不均匀；系统的熵值越大,它所处的状态越是无序,越均匀.系统总是力图自发地从熵值较小的状态向熵值较大（即从有序走向无序）的状态转变,这就是隔离系统“熵值增大原理”的微观物理意义.
基本特性
•熵均大于等于零,即,H_s \ge 0.
•设N是系统S内的事件总数,则熵H_s \le log_2N.当且仅当p1=p2=...=pn时,等号成立,此时熵最大.
•联合熵：H(X,Y) \le H(X) + H(Y),当且仅当X,Y在统计学上相互独立时等号成立.
•条件熵：H(X|Y) = H(X,Y) - H(Y) \le H(X),当且仅当X,Y在统计学上相互独立时等号成立.
•社会学意义：从宏观上表示世界和社会在进化过程中的混乱程度.
按照一些后现代的西方社会学家观点,熵的概念被其移植到社会学中.表示随着人类社会随着科学技术的发展及文明程度的提高,社会“熵”——即社会生存状态及社会价值观的混乱程度将不断增加.按其学术观点,现代社会中恐怖主义肆虐,疾病疫病流行,社会革命,经济危机爆发周期缩短,人性物化都是社会“熵”增加的表征.
如今年多次获诺贝尔文学奖提名的托马斯．品钦在大学毕业之后发表在杂志上的短篇小说《熵》,即阐释了熵的社会学概念.这篇小说将热力学的第二定律运用到对人类社会的描述上,其敏感性令人大吃一惊.所谓的热力学第二定律,指的就是孤立系统熵恒定的定律.熵指的是物质系统的热力学函数,在整个宇宙当中,当一种物质转化成另外一种物质之后,不仅不可逆转物质形态,而且会有越来越多的能量变得不可利用.也就是说,大量人类制造的化工产品、能源产品一经使用,不可能再变成有利的东西,宇宙本身在物质的增殖中走向“热寂”,走向一种缓慢的熵值不断增加的死亡.眼下人类社会正是这个样子：大量的产品和能源转化成不能逆转的东西,垃圾越来越多,人类社会逐步地走向一个恶化的热寂死亡状态.托马斯．品钦后来主要的小说多次地、不断地阐释着这个熵的世界观.
应用
热力学
熵在热力学中是表征物质状态的参量之一,通常用符号S表示.在经典热力学中,可
熵
用增量定义为dS＝(dQ/T),式中T为物质的热力学温度；dQ为熵增过程中加入物质的热量.下标“可逆”表示加热过程所引起的变化过程是可逆的.若过程是不可逆的,则dS＞(dQ/T)不可逆.从微观上说,熵是组成系统的大量微观粒子无序度的量度,系统越无序、越混乱,熵就越大.热力学过程不可逆性的微观本质和统计意义就是系统从有序趋于无序,从概率较小的状态趋于概率较大的状态.
单位质量物质的熵称为比熵,记为s.熵最初是根据热力学第二定律引出的一个反映自发过程不可逆性的物质状态参量.
热力学第二定律是根据大量观察结果总结出来的规律,有下述表述方式：
①热量总是从高温物体传到低温物体,不可能作相反的传递而不引起其他的变化；
②功可以全部转化为热,但任何热机不能全部地、连续不断地把所接受的热量转变为功,而不产生其他任何影响（即无法制造第二类永动机）；
③在孤立系统中,实际发生的过程总使整个系统的熵值增大,此即熵增原理.摩擦使一部分机械能不可逆地转变为热,使熵增加.热量dQ由高温(T1)物体传至低温(T2)物体,高温物体的熵减少dS1=dQ/T1,低温物体的熵增加dS2=dQ/T2,把两个物体合起来当成一个系统来看,熵的变化是dS＝dS2+dS1＞0,即熵是增加的.
物理学家玻尔兹曼将熵定义为一种特殊状态的概率：原子聚集方式的数量.可精确表示为：
S=K㏑W
K是比例常数,现在称为玻尔兹曼常数.
科学哲学
科学技术上泛指某些物质系统状态的一种量（liàng）度,某些物质系统状态可能出现的程度.亦被社会科学用以借喻人类社会某些状态的程度.熵是不能再被转化做功的能量的总和的测定单位.这个名称是由德国物理学家鲁道尔夫•克劳修斯〔鲁道尔夫•克劳修斯(1822—1888)〕德国物理学家,热力学的奠基人之一.于1868年第一次造出来的.但是年轻的法国军官沙迪•迦诺〔沙迪•迦诺(1796—1832)〕一般译作“卡诺”,法国物理学家、工程师,在研究热机效率的过程中,提出了“卡诺循环”定理.却比克劳修斯早41年发现了熵的原理.迦诺在研究蒸汽机工作原理时发现,蒸汽机之所以能做功,是因为蒸汽机系统里的一部分很冷,而另一部分却很热.换一句话说,要把能量转化为功,一个系统的不同部分之间就必须有能量集中程度的差异(即温差).当能量从一个较高的集中程度转化到一个较低的集中程度(或由较高温度变为较低温度)时,它就做了功.更重要的是每一次能量从一个水平转化到另一个水平,都意味着下一次能再做功的能量就减少了.比如河水越过水坝流入湖泊.当河水下落时,它可被用来发电,驱动水轮,或做其他形式的功.然而水一旦落到坝底,就处于不能再做功的状态了.在水平面上没有任何势能的水是连最小的轮子也带不动的.这两种不同的能量状态分别被称为“有效的”或“自由的”能量,和“无效的”或“封闭的”能量.
熵的增加就意味着有效能量的减少.每当自然界发生任何事情,一定的能量就被转化成了不能再做功的无效能量.被转化成了无效状态的能量构成了我们所说的污染.许多人以为污染是生产的副产品,但实际上它只是世界上转化成无效能量的全部有效能量的总和.耗散了的能量就是污染.既然根据热力学第一定律,能量既不能被产生又不能被消灭,而根据热力学第二定律,能量只能沿着一个方向——即耗散的方向——转化,那么污染就是熵的同义词.它是某一系统中存在的一定单位的无效能量.
信息论
在信息论中,熵表示的是不确定性的量度.信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量.他把信息定义为“用来消除不确定性的东西”.
熵在信息论中的定义如下：
如果有一个系统S内存在多个事件S = {E1,...,En}, 每个事件的机率分布 P = {p1, ..., pn},则每个事件本身的讯息为
Ie = − log2pi
（对数以2为底,单位是位元(bit)）
Ie = − lnpi
（对数以e为底,单位是纳特/nats）
如英语有26个字母,假如每个字母在文章中出现次数平均的话,每个字母的讯息量为
I_e = -\log_2 {1\over 26} = 4.7
；而汉字常用的有2500个,假如每个汉字在文章中出现次数平均的话,每个汉字的信息量为
I_e = -\log_2 {1\over 2500} = 11.3
整个系统的平均消息量为
H_s = \sum_{i=1}^n p_i I_e = -\sum_{i=1}^n p_i \log_2 p_i
这个平均消息量就是消息熵.因为和热力学中描述热力学熵的玻耳兹曼公式形式一样,所以也称为“熵”.
如果两个系统具有同样大的消息量,如一篇用不同文字写的同一文章,由于是所有元素消息量的加和,那么中文文章应用的汉字就比英文文章使用的字母要少.所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短.即使一个汉字占用两个字母的空间,汉字印刷的文章也要比英文字母印刷的用纸少.
实际上每个字母和每个汉字在文章中出现的次数并不平均,因此实际数值并不如同上述,但上述计算是一个总体概念.使用书写单元越多的文字,每个单元所包含的讯息量越大.
I(A)度量事件A发生所提供的信息量,称之为事件A的自信息,P(A)为事件A发生的概率.如果一个随机试验有N个可能的结果或一个随机消息有N个可能值,若它们出现的概率分别为p1,p2,…,pN,则这些事件的自信息的和：[H=-SUM(pi*log(pi)),i=1,2…N]称为熵. 如英语有26个字母,假如每个字母在文章中出现次数平均的话,每个字母的讯息量为
I_e = -log_2 （1\26） = 4.7
而汉字常用的有2500个,假如每个汉字在文章中出现次数平均的话,每个汉字的信息量为
I_e = -log_2 （1\2500） = 11.3
整个系统的平均消息量为
H_s = sum_（i=1^n）p_i
I_e = -sum_（i=1^n） p_i * log_2 p_i
生命科学
生命体是一个开放的系统,时刻与外界进行着物质、能量、信息的交换,符合“耗散结构”,可以用熵来分析一个生命体从生长、衰老、病死的全过程,用“生命熵”来独立定义.
生命熵的内容包含生命现象的时间序、空间结构序与功能序,生命熵变就直接反应这三个序的程度变化之和.