Entropie            zurück    



Diese WWW-Seite stammt von R.Ho, rho54@gmx.de

www.madeasy.de


Einleitung:

Entropie ist ein Begriff in der Physik und der Informationstheorie der gern gebraucht , aber wenig verstanden wird. Da ich ihn auch nur schlecht verstehe, versuche ich im Folgenden etwas Klarheit in den Begriff zu bringen.

Wenn man den Begriff wirklich verstehen will , muß man mit ihm rechnen oder ihn messen.

Entstanden ist der Begriff zunächst in der Physik . Heute hat er in vielen Disziplinen seine Anhänger gefunden . Meines Erachtens muß den wichtigsten Beitrag zum Verständnis des Begriffes die Mathematik liefern. Gefragt ist vor allem die Stochastik , die man am besten als Mathematik des Zufalls bezeichnen kann. Siehe auch Zufall  und Gesamtzufallsmenge

==> Je mehr Zufall in einem System zu finden ist , desto höher ist die Entropie des Sytems. <==

Die Entropie ist somit ein Maß für die Menge an Zufall oder die Gesamtzufallsmenge, die in einem oder mehreren Zufallsereignissen steckt.

==> Die Entropie eines idealen Münzwurfes hat definitionsgemäß die Größe 1 bit .<== Wenn man einen idealen Münzwurf mehrfach wiederholt , dann addiert sich die Entropie einfach. Die Entropie eine Reihe von 20 idealen Münzwürfen berechnet sich einfach ;  H = Summe (x = 1 bis 20) H = å Heinzel = 20 * 1 bit = 20 bit .

Die Entropie eines sicheren Ereignisses ist 0 bit , die Entropie eines unmöglichen Ereignisses ist 0 bit , denn in beiden steckt kein Zufall.

Ein sehr einfaches Beispiel der Entropie hat Chaitin geliefert:

Chaitins Beispiel für 2 binäre Zahlen mit 20 Stellen

Physik:

In der klassischen Thermodynamik ist die Entropie über die Wärme definiert. Wärme ist eine sehr "unordentliche" Energieform mit hoher Entropie.

In der Physik ist die Entropie am einfachsten zu verstehen,  wenn man den Übergang eines Stoffes in einen anderen Aggregatzustand betrachtet :

Man betrachtet zb einen Eisblock aus gefrorenem Wasser.

Will man diesen Eisblock auftauen , dann muß man am Gefrierpunkt Energie hineinstecken , ohne daß sich die Temperatur erhöht . Man spricht von der Schmelzwärme. Diese Energie dient nur dazu die bestehende Ordnung der festen Wasserteilchen aufzulösen , mehr Unordnung zu ermöglichen, das Wasser wird flüssig , die Unordnung wird größer , die Entropie wird größer.

Die Entropie beim Phasenübergang fest => flüssig entspricht der Schmelzwärme = der Schmelzenergie gemessen in Joule , da sich hier die Temperatur nicht ändert.

Man kann beim Phasenübergang die Wärmemenge also einfach durch die Temperatur des Phasenübergangs teilen und erhält die Entropiedifferenz des Vorgangs in Joule / Grad Kelvin .

( Schmelzen = Delta E positiv , Gefrieren = Delta E negativ ) 

( Verdampfen = Delta E positiv , Kondensieren = Delta E negativ ) 

siehe auch Bildbeispiele

siehe auch http://www.math.psu.edu/gunesch/Entropy/phys.html

Die Entropie in der Physik ist eine Bilanz- aber keine Erhaltungsgröße. Sie hat die ungewöhnliche Eigenschaft, zuzunehmen, und zwar um so mehr, je weniger man aufpaßt.


Kurze Definitionen

In der Mathematik, Statistik und Informationstheorie ist die Entropie eine Maß für die Menge an Zufall, der in einem Zufallsprozeß steckt.

Weiteres zum Thema Entropie als Maß der Gesamtzufallsmenge siehe hier

Physik :

In der klassischen Thermodynamik ist die Entropie über die Wärme definiert. Wärme ist eine sehr "unordentliche" Energieform mit hoher Entropie.

Führt man einem System etwas Wärme, dQ, zu, wird man seine Entropie, d.h.seinen Unordnungsgrad, um einen Betrag dS vergößern. Dabei ist aber die Temperatur zu berücksichtigen: Bei kleinen Temperaturen steigt der Unordnungsgrad bei Zufuhr von dQ viel mehr als bei hohen Temperaturen. Dies wird berücksichtigt in der klassische Definition der Entropie:

dS = dQrev/T

Der Index "rev" berücksichtigt, daß dies in voller Strenge nur für reversible Prozesse gilt.

Die Entropie ist, neben der Temperatur, die wichtigste Größe der Wärmelehre. Sie ist die zur intensiven Temperatur gehörende extensive Größe. Entropie und Temperatur gehören genauso zusammen wie elektrische Ladung und elektrisches Potenzial oder wie Impuls und Geschwindigkeit. Entropieströme sollten demnach in der Wärmelehre dieselbe Rolle spielen, wie elektrische Ströme in der Elektrizitätslehre oder Kräfte (Impulsströme) in der Mechanik.

In der Natur sind entropiereiche, ungeordnete Zustände wahrscheinlicher als entropiearme, geordnete. Ein geordnetes System geht irgendwann wieder in einen ungeordneten Zustand über, während ein ungeordnetes System nie spontan in ein geordnetes übergeht.

Ein gutes Beispiel zur Veranschaulichung des Entropiebegriffs sind die Mauern von Gebäuden. Hier befinden sich die Steine in einem hochgeordneten, entropiearmen Zustand. Dieser Zustand konnte nur durch Einsatz von Energie erreicht werden.

Überläßt man eine solche Mauer sich selbst, so verfällt sie im Laufe der Jahrhunderte, die Steine bröckeln ab, und nach einigen 100 Jahren herrscht der ungeordnete, entropiereiche Zustand.

Ungeordnete, entropiereiche Zustände sind wahrscheinlicher als geordnete, entropiearme Zustände.

Geordnete Zustände gehen sehr leicht in ungeordnete über, der umgekehrte Weg erfordert die Zufuhr von Energie.

Bei irreversiblen (realen) Vorgängen im abgeschlossenen System gilt Delta S > 0  

D S > 0

S ist ein Maß für die vergeudete Arbeit, die in Wärme umgewandelt wird

Das Entropieprinzip bestimmt die Richtung der Vorgänge, die nach dem Energieprinzip möglich sind

Die Entropie kann nur verwendet werden, wo viele Teilchen statistisch betrachtet werden.


Aus einem englischen Lexikon:

Main Entry: en·tro·py

Inflected Form(s): plural -pies

Etymology: International Scientific Vocabulary 2en- + Greek tropE change, literally, turn, from trepein to turn

Date: 1875

1 : a measure of the unavailable energy in a closed thermodynamic system that is also usually considered to be a measure of the system's disorder and that is a property of the system's state and is related to it in such a manner that a reversible change in heat in the system produces a change in the measure which varies directly with the heat change and inversely with the absolute temperature at which the change takes place; broadly : the degree of disorder or uncertainty in a system

2 a : the degradation of the matter and energy in the universe to an ultimate state of inert uniformity b : a process of degradation or running down or a trend to disorder

3 : CHAOS, DISORGANIZATION, RANDOMNESS

- en·tro·pic /en-'trO-pik, -'trä-pik/ adjective

- en·tro·pi·cal·ly /-pi-k(&-)lE/ adverb

1. Symbol S For a closed thermodynamic system, a quantitative measure of the amount of thermal energy not available to do work.

2. A measure of the disorder or randomness in a closed system.

3. A measure of the loss of information in a transmitted message.

4. A hypothetical tendency for all matter and energy in the universe to evolve toward a state of inert uniformity.

5. Inevitable and steady deterioration of a system or society.

aus wikipedia com

The concept of entropy is used for two related, but not identical, concepts in

The relationship between the two concepts reveals deep connections between information theory and thermodynamics.

For the information theory usage, see information entropy.

In thermodynamics, entropy (S) is a measure for the part of energy of a system which cannot be used to do work. In a wider sense, it can also be interpreted as a measure for the disorder of a system.

Entropy is defined as

where k is Boltzman's constant and

Omega is the number of possible states that a system may be in.


Zusammenhang Entropie - Energie :

Es muß Energie eingesetzt werden , wenn die Entropie abnehmen soll. Wenn der chaotische Schreibtisch (große Entropie) aufgeräumt werden soll (geringe Entropie), so sind wir hinterher schweißgebadet (hoher Energieeinsatz).

Liegt dagegen bereits ein geordneter Zustand vor (z.B. viel Wasser oben im Staubecken, wenig Wasser unten), so kann beim Übergang in den ungeordneten Zustand viel Energie erzeugt werden.

Die Entropie ist zunächst eine Art Wärmeenergie , zb die Schmelz- oder Siedewärme bei Phasenübergängen

Entropie und 2.Hauptsatz

Die Entropie als Maß für die zufällige Verteilung hat zunächst nichts mit dem 2.Hauptsatz der Thermodynamik zu tun. Wenn man die Entropie noch nicht verstanden hat sollte man sich nicht gleich auf den 2.Hauptsatz einlassen . Dann versteht man noch weniger.

Es gibt sehr geordnete Systeme zb Kristalle ==> wenig Entropie

Es gibt sehr ungeordnete Systeme zb gasförmige Stoffe ==> hohe Entropie

Entropie und Teilchenzahl oder Zahl der Möglichkeiten

Die Entropie eines physikalischen oder chemischen Systems mit Atomen oder Molekülen ist abhängig von der Teilchenzahl . Je größer die Teilchenzahl desto größer kann auch die Entropie sein.

Allerdings gibt es Anordnungen von Teilchen , die sehr geordnet sind , deren Entropie vergleichsweise niedrig ist . Dieselbe Anzahl von Teilchen können gasförmig eine viel höher Entropie besitzen.

Entropie und Temperatur:  siehe Bildbeispiele

Physik

Bei der Umwandlung von Energie aus einer in eine andere Form - wie es z.B. bei der Stromerzeugung aus Wasserkraft geschieht - gilt das Gesetz der Energieerhaltung: keine Energie geht verloren, und es kommt keine hinzu. Dieses Gesetz, das die Physiker bis heute nicht ein einziges Mal im Stich gelassen hat, der erste Hauptsatz der Thermodynamik, ist axiomatischer Natur; es kann nicht abgeleitet werden.

Jede Form von Energie strebt danach, sich - unter Wahrung des Erhaltungssatzes - gleichmäßig auf alle erreichbaren Quantenzustände zu verteilen. Dabei wird hochwertige, »geordnete« Energie in minderwertige, »entropiereiche« Energie zerstreut.

paradox erscheint folgendes :

Will man einen Stoff zum Schmelzen bringen , also seine Entropie erhöhen , muß man erst mal ordentlich Wärmeenergie zuführen. Eigentlich sollte dies doch von alleine gehen.

Andererseits wird beim Kristallisieren Wärme frei.

Biologie

Lebewesen stellen hochgeordnete Gebilde dar, die eigentlich im Laufe der Zeit zerfallen müßten. Warum existieren Lebewesen trotzdem ?

Weil sie ständig Energie (Nahrung, Sonnenlicht) aufnehmen , um den Zustand der geringen Entropie aufrecht zu erhalten. Außerdem geben Lebewesen überschüssige Entropie an die Umwelt ab: Tiere nehmen entropiearme Nährstoffe wie Glucose auf und stellen daraus entropiereiche Produkte wie Kohlendioxid und Wasserdampf her.

Das Grundprinzip dieser Energieaufnahme wird am Beispiel der heterotrophen Lebewesen (Tiere, Pilze) erläutert:

Energiereiche Nährstoffe wie z.B. Fett oder Glucose werden vom Lebewesen aufgenommen und dann in energiearme Verbindungen wie Wasser und Kohlendioxid abgebaut. Bei diesen exothermen Reaktionen wird sehr viel Energie freigesetzt. Die so gewonnene Energie kann zur Aufrechterhaltung des entropiearmen Zustandes eingesetzt werden.

Lebewesen sind entropiearme Systeme hoher Ordnung. Dieser unwahrscheinliche Zustand kann nur durch permanente Zufuhr von Energie sowie durch Abgabe von Entropie aufrecht erhalten werden.


Abkürzungen Einheiten Extremwerte

Abkürzungen

Die Entropie wird meist mit H oder S abgekürzt.

Einheiten

Extremwerte

Die Entropie eines reinen Stoffes in einer perfekten kristallisierten Form ist am Absoluten Nullpunkt der Temperatur ( - 273 Grad Celsius) gleich Null !!

Die Entropie eines Wasserstoffgases zb bei 1000 Grad

Entropie im Urknall

Entropie des jetzigen Universums

Entropie beim Wärmetod des Universums

Entropiezuwachs und Energieverlust der Sonne

Energieaufnahme und - abgabe und Entropieaufnahme und Entropieabgabe der Erde

Die Entropie eines sicheren Ereignisses = 0

Die Entropie eines unmöglichen Ereignisses = 0

Die Entropie eines idealen Münzwurfes = 1

Die Entropie einer fiktiven Lottoziehung 1 aus 1 Million Möglichkeiten

Negative Werte der statistischen Entropie gibt es per Definition nicht.


Formeln

1. Clausiusformel    dS = dQrev / T

2. Boltzmannformel:  S = k * ln W     im Orginal bei Herrn Boltzmann S = k * ln Omega

3. Shannonformel : H = - å pn* ld(pn)   = å pn* ld(1/pn)

4.Clausiusformel für ideale Gase

Variablenbezeichnungen

h

Enthalpie

H

molare Enthalpie

u

innere Energie

U

molare innere Energie

q

einem System zugeführte Wärmemenge

Q

einem System zugeführte molare Wärmemenge

s

Entropie

S

molare Entropie

c

Wärmekapazität (konstante Größe als Index)  

C

molare Wärmekapazität (konstante Größe als Index)

V

Volumen

VM

molares Volumen

n

Stoffmenge

p

Druck

R

Gaskonstante (R = 8.31451 JK-1mol-1)

T 

absolute Temperatur

w

an einem System verrichtete Arbeit

 

 


Didaktik und Verständnisprobleme

Denn meisten Leuten bereitet das Verstehen des Begriffes Entropie große Probleme . Mir bereitet er auch große Probleme .

Welcher Weg hat sich bewährt

1. Schritt: Verstehen der Entropie in der Statistik = Gesamtzufallsmenge

Stufen :

2.Schritt: Verstehen der Entropie  in der Thermodynamik

Stufen :

3.Schritt : Boltzmann Formel verstehen

4.Schritt: Kritisch auf falsche Erklärungen reagieren


Übungsaufgaben

1.Übungen aus der Thermodynamik

2.Übungen aus der Statistik 

3.Sonst noch was


1.Übungen aus der Thermodynamik

Sie haben in einer kalten Nacht mit Null Grad Celsius  einen Liter Wasser zu Eis frieren lassen . Wieviel Entropie hat das Wasser verloren ?

Berechnen Sie die Änderung der Entropie für dieses Beispiel (R = 8,31 J / (mol K))

b) Ein Tauchsieder mit 2,7 kW wird in einem großen Wasserbehälter bei 300 K für 10 Sekunden eingeschaltet. Wie ändert sich die Entropie in diesem Wasserbehälter ?

c) 1 Mol Eis schmilzt bei 273 K und nimmt dabei 6 kJ auf.

Lösungen:

b.)  Delta S = 2700 Watt * 10 Sek / 300 Kelvin = 27000 Joule / 300 Kelvin = 90 J / Kelvin

( 1 Watt = 1 Joule /sek )

c.)  Delta S  = 6000 Joule / 273 K = 22 Joule / Kelvin

( 0 Grad Celsius = 273 Grad Kelvin )


In den folgenden Aufgaben wird die spezifische Wärmekapazität des Wassers cw = 4,19 J / (g * Kelvin) zugrunde gelegt

Welchen Wert hat die auf 0 Grad Celsius bezogene Entropie von 5 Liter wasser bei  25 Grad Celsius ?

Lösung:

S = Integral ( dQ / T ) = c * m * Integral ( dT / T ) = c * m * ln ( T2 / T1 ) =

4,19 kJ / (kg * K) * 5 kg * ln ( 298 / 273 ) = 1,83 kJ / K

( ln = Logarithmus zur Basis e )

Bei welcher Temperatur beträgt die auf 0 Grad Celsius bezogene spezifische Entropie des Wassers s = 1,227 kJ / ( kg * K ) ?

s = c * ln ( T / T0 )

Dies Gleichung muß nach T aufgelöst werden

s / c = ln ( T / T0)

man nimmt beide Seiten hoch e

es/c = eln (T/ T0)

es/c = T / T0   ==> T = T0 * e(s/ c) = T0 * e^(s/ c)

s/c = 1,277 / 4,187 = 0,305

T = 273 * 2,71 ^ 0,305 = 273 * 2,7180,305 = 273 * 1,357  = 370,461  

==> T in Grad Celsius  = 370 - 273 =  97 Grad

(Hilfe :  e= 2,718 und  e^ln(x) = x    )

Aufgabe:

Welche Wassermenge hat bei 80 Grad C die gleiche Entropie wie 500 g Wasser bei 40 Grad Celsius ?

m1* ln ( T1 / T0 )   = m2 * ln ( T2 / T0 )

m2  =  m1* ln ( T1 / T0 ) / ln ( T2 / T0 )

m2  =  500 g * ln ( 313 / 273 ) / ln ( 353 / 273 ) = 500 g * ln ( 1,1465 ) / ln ( 1,2930)

       = 500 g * 0,1367  / 0,257 = 500 G * 0,532  = 266 g


Aufgaben zur Thermodynamik:

Aufgabe

a) Ein Gefäß besitzt ein Volumen von 200 cm^3  und ist mit einem idealen Gas bei einer Temperatur von 0 °C und einem Druck von 30 kPa gefüllt. Wie viele Teilchen befinden sich in dem Behälter?

b) Nun wird der Behälter auf die halbe Größe zusammengedrückt. Das Gas soll dabei seine Temperatur beibehalten. Wie groß ist der Druck?

c) Schließlich wird der Behälter auf eine Temperatur von T=500 °C erwärmt. Welcher Druck stellt sich ein?

Aufgabe

Wie groß ist die Dichte eines idealen Gases bei einer Temperatur von T=10°C und einem Druck von 10 mbar?

Aufgabe

Berechnen Sie für ein Gas im thermodynamischen Gleichgewicht die wahrscheinlichste ( W v ) sowie die mittlere ( v ) Teilchengeschwindigkeit in Abhängigkeit von der Temperatur. Zeigen Sie insbesondere, dass die beiden Ausdrücke nicht gleich sind.

Aufgabe

Berechnen Sie den effektiven Adiabatenindex ! für eine Gasmischung von 3g Ar und 4g N2 bei Raumtemperatur.

Aufgabe

Ein Stück Eisen der Masse 70 g wird auf 200° C erhitzt und dann in ein Gefäß mit 0,56 kg Wasser der Temperatur 20° C gegeben. Die sich einstellende Gleichgewichtstemperatur beträgt 22,4° C (Spezifische Wärmekapazität des Wassers cW = 4186 J/(kg * K)). Wie groß ist die spezifische Wärmekapazität des Eisens?


Aufgaben zur Entropie in der Statistik

Sie werfen eine ideale Münze 2 mal .

Sie werfen einen 4erWürfel = Tetraeder einmal ?  Wieviel Entropie steckt in einem Wurf ?


Thermische Zustandsgrößen:

massenbezogene Zustandsgrößen = normiert auf 1kg Masse erhalten einen Stern:

z.B. V* = V/m (in m3/kg), S*, H*, Wu*

Von der Vorgeschichte unabhängige Größen eines sich im thermischen Gleichgewicht befindlichen Systems z.B.:

Prozeßgrößen:

Die Größen, die den Ablauf des Prozesses über die Systemgrenzen hinweg beschreiben, z.B.:

Zustandsänderungen und Prozesse:

Isochore   V* konstant

Isotherme   T konstant

Isobare   p konstant

Isentrope   S* konstant

Isenthalpe   H* konstant

quasistationäre Überführung von einem ersten in einen zweiten Zustand.

Reversibler oder idealer Prozeß:

Irreversibler oder realer Prozeß:

Adiabatischer Prozeß:

Isentroper Prozeß:

Energieformen:

Exergie Wex ist Energie, die sich unter Mitwirkung einer vorgegebenen Umgebung in jede andere Energieform umwandeln läßt.

Anergie Wan ist Energie, die sich nicht in Exergie umwandeln läßt.

Energie: W = Wex + Wan (kJ)

spezf. Energie: W* = Wex* + Wan* (kJ/kg)

Die Grenze zwischen Exergie und Anergie ist durch den Zustand der Umgebung (z.B. Temperatur) festgelegt.

Wärme Wq (kJ) bzw. Wq* (kJ/kg) ist Prozeßgröße.

Innere Energie Wu bzw. Wu* (kJ/kg) ist gespeicherte innere Energie eines ruhenden Systems und damit eine Zustandsgröße.


Wie kann man Entropie messen ?

Physik:                                         Berechnung in der Wahrscheinlichkeitstheorie

Am einfachsten kann man die Entropie bei Phasenübergängen messen , denn dann ist die Entropie unabhängig von der Temperatur .

Wenn ein Stoff schmilzt bleibt seine Temperatur gleich. Dann entspricht die Entropie , die beim Schmelzen in dem Stoff vermehrt wird  der Schmelzwärme , die man zuführen muß um den Stoff komplett zum schmelzen zu bringen. Diese Schmelzwärme muß man dann noch durch den Schmelzpunkt , dh also die Temperatur des Schmelzens , in Grad Kelvin teilen .

Bei Wasser liegt der Schmelzpunkt unter normalem Druck bei 273 Grad Kelvin .

1 kg Eis braucht ca 335 kJ zum Schmelzen.

==> Entropiedifferenz beim Schmelzen  von 1 kg Eis    335 kJ / 273 Grad Kelvin =  1,23 kJ / K

Siehe zb http://www.unibas.ch/phys-ap/vers26/vers26.htm

Erstaunlicherweise wird aber bei den Versuchen zur Bestimmung zur Schmelzwärme oder Verdampfungswärme die Entropie nicht erwähnt, obwohl sie hier sehr nahe liegt.

Dazu ein Zitat von E. Schrödinger " Was ist Leben ? " Seite 126 Was ist Entropie ?

" Um ein Beispiel zu geben : Wenn man einen festen Körper zum Schmelzen bringt , so nimmt seine Entropie um den Betrag der Schmelzwärme , dividiert durch die Temperatur des Schmelzpunktes , zu . Daraus ersieht man, daß die Einheit , mit der die Entropie gemessen wird , cal / Grad Celsius ( Anmerkung : heutige Einheit   Joule / Grad Kelvin = J / K ) ist  ( Gerade soe wie die Kalorie die Wärmeeinheit oder der Zentimeter die Lämgeneinheit )."


Die nächsten Texte wurden von folgender Quelle übernommen http://www-tfp.physik.uni-karlsruhe.de/~didaktik/altlast/index.html

Die Entropie ist, neben der Temperatur, die wichtigste Größe der Wärmelehre. Sie ist die zur intensiven Temperatur gehörende extensive Größe. Entropie und Temperatur gehören genauso zusammen wie elektrische Ladung und elektrisches Potenzial oder wie Impuls und Geschwindigkeit. Entropieströme sollten demnach in der Wärmelehre dieselbe Rolle spielen, wie elektrische Ströme in der Elektrizitätslehre oder Kräfte (Impulsströme) in der Mechanik.

Der wohl wichtigste Mangel bei der Erklärung des Begriffes Entropie ist, dass man kein Messverfahren vorstellt. Die komplizierte Einführung der Größe hinterlässt dann den Eindruck, die Messung der Entropie sei schwierig, vielleicht sogar unmöglich.

Tatsächlich ist die Entropie aber eine der am leichtesten zu messenden Größen überhaupt. Man kann Entropiewerte mit recht guter Genauigkeit mit Hilfe von Geräten bestimmen, die man in jeder Küche findet.

Wie misst man Entropien?

Wir formulieren zunächst die Messaufgabe genauer: Man bestimme die Entropiedifferenz zwischen 5 Liter Wasser von 60 °C und 5 Liter Wasser von 20 °C.

Man beginnt mit dem Wasser bei 20 °C und heizt es mit einem Tauchsieder auf 60 °C. Man rührt gut um, so-dass die Temperatur überall im Wasser gleich ist, und man misst während des Heizens die Temperatur als Funktion der Zeit. Der Energiestrom P, der aus dem Tauchsieder ins Wasser fließt (die Leistung) ist bekannt. Aus dE = T · dS folgt dS = dE / T = P * dt  / T.  Eine kleine Entropiezunahme dS erhält man also einfach als Quotienten aus der Energiezufuhr dE = Pdt und der Temperatur T. Da sich die Temperatur des Wassers beim Heizen ändert, muss man, um die gesamte zugeführte Entropie zu erhalten, von der niedrigen Temperatur T 1 bis zur hohen Temperatur T 2 aufintegrieren oder aufsummieren:

P = Energiestrom des Tauchsieders

Delta S = P * ò ( Integral von T1 nach T2) dt / T = ca P * å ( Summe i ) Delta ti / Ti

Solange die Temperaturänderung beim Heizen klein gegen die mittlere absolute Temperatur ist, kann man aber statt der veränderlichen Temperatur getrost diese mittlere Temperatur verwenden, und man erhält

Delta S = P * Delta t   / T

Also: Entropiezunahme gleich Energiestrom des Tauchsieders mal Heizzeit durch mittlere Temperatur.

/1/ Gerthsen – Kneser – Vogel: Physik. – Springer-Verlag, Berlin, 1977. – S. 183

/2/ Job, G.: Altlasten der Physik (8), Entropie


Statistik:       Entropie und Zufall  

In der Statistik wird die Entropie meist nicht gemessen , sondern berechnet oder abgeschätzt .

Erstaunlicherweise beschäftigt sich die Statistik , Stochastik oder Wahrscheinlichkeitstheorie kaum mit dem Begriff Entropie . Man überläßt den Begriff der Informationstheorie . Dort wird der Begriff meist sehr schwer verständlich erklärt .

Ich habe versucht den Begriff in meinem  Text Gesamtzufallsmenge zu erklären

Je mehr Zufall in einem System steckt , desto höher ist die Entropie

Je geordneter ein System ist desto geringer ist die Entropie und desto geringer war der Zufall bei der Entstehung im Spiel

Entropie = Null , Zufall = 0 :     zb 00000000000000000000    

Entropie groß , Menge an Zufall groß ( 20 * Zufall )   zb 10110110101010011100

H math = Anzahl der elementaren binären Zufallsentscheidungen,  die in einer Zahl oder einem System stecken.

H math = Anzahl ze    = Anzahl der elementaren Zufallsereignisse

H math = Zahl der Münzwürfe einer idealen 50 / 50 Münze

In der Chaitin B reihe ist die Entropie demnach 20 bit , denn sie wurde mit einem 20 maligen Münzwurf gewonnen .


Entropie und Wahrscheinlichkeit

siehe Makrozustand und Mikrozustand


Entropie und Ordnung

Mit dem Begriff Ordnung verbinden sich ganz verschiedene Vorstellungen. Will man Ordnung als Gegensatz von Entropie ansehen , als gegensätzliche Größe zur Entropie,  dann kann man folgende Formel aufstellen

O = 1/ S    Ordnung = 1 / Entropie     ==>   Entropie = 1 / Ordnung

Ordnung ist also der Kehrwert der Entropie !

Wird die Ordnung sehr groß , dann strebt die Entropie gegen Null .  

Wird die Entropie groß, dann wird die Ordnung sehr klein.

Man hat damit eine ganz eingeschränkte Ansicht von Ordnung im Blickfeld , wie sie in den folgenden Sätzen aus der Kristallchemie und - physik zum Ausdruck kommt.

Wie mißt man den Grad an Ordnung oder Unordnung in einem System?

Ordnung heißt: Jedes Ding ist an seinem Platz und es gibt nur einen Platz für jedes Ding.

Im Umkehrschluß bedeutet dies: Es gibt nur eine einzige Möglichkeit, perfekte Ordnung einzustellen! Im perfekten Kristall ist jedes Atom an seinem Platz.

Es gibt aber viele Möglichkeiten, einen unordentlichen Kristall zu produzieren.

Entropie = Null :  Ordnung maximal :  

Entropie maximal : Ordnung Null :

Alle höheren Ordnungen , alle komplizierten Strukturen sind hier nicht mit dem Begriff Ordnung gemeint !

Eine Schneeflocke hat also in diesem Sinne eine geringere Ordnung als ein Einkristall aus Wassermolekülen derselben Temperatur , denn Ihre Entropie ist höher als die Entropie eines Einkristalles .

Vielleicht kann man das auch messen , wenn man die Wärmemenge mißt die zum Schmelzen einer bestimmten Masse an Schneeflocken und derselben Masse eines Wassereinkristalles notwendig ist.

Theoretisch müßten die Schneeflocken mit einer geringeren Wärmemenge schmelzbar sein.

"Chaitinkristalle"

00000000000000000000

11111111111111111111

10101010101010101010

01010101010101010101

00000000001111111111

11111111110000000000

In welchen dieser Reihen steckt noch ein bißchen Zufall ?

Chaitinunordnung

01100111001011011010

01010010010010101111

11001111010110010110

00111101111001100110

01110000101101011110

Entropie 20 bit

Computerprogramm dazu

For a = 1 To 20

Next a


Entropie und Wahrscheinlichkeit thermodynamischer Systeme

Was ist ein Makrozustand ? Was ist ein Mikrozustand ?

Die Begriffe Makrozustand und Mikrozustand sind für das Verständnis der Boltzmannschen Entropieformel sehr wichtig. Sie sind aber nicht sofort einsichtig. Im Folgenden wird versucht die Begriffe verständlich zu erklären .

Übernommen und verändert von physik1.physik.uni-heidelberg.de/vrlsg/data/kap3/entropie.htm

Wir betrachten ein Beispiel:

Es befinden sich 4 Gasteilchen in einem Gefäß ( links L ), das mittels eines Rohrs mit einem anderen Gefäß ( rechts R) verbunden ist, in dem sich keine Teilchen befinden. Wir wollen annehmen, daß diese Teilchen unterscheidbar sind, d.h. mit Nummern oder Farben versehen werden können. Dann wird das Ventil in dem Rohr geöffnet, und die Teilchen können aus dem Gefäß ( L) in das Gefäß ( R ) übertreten und umgekehrt.

Frage: Welche Verteilung der Teilchen auf Gefäß (L) und Gefäß (R) ist die wahrscheinlichste?

Um diese Frage zu beantworten, zählen wir ab:

Rot = 1 , Blau = 2 , Violett = 3 , Schwarz = 4

Anfang:

dann ergeben sich folgende weitere Möglichkeiten:

Links 3 Teilchen , Rechts : 1 Teilchen

Links 2 Teilchen , Rechts 2 Teilchen

Links 1 Teilchen , Rechts : 3 Teilchen

Links leer  , Rechts 4 Teilchen

Mikrozustand:

Jede einzelne Zeile entspricht dann einem Mikrozustand . Ein Mikrozustand ist also die einzelne spezielle Möglichkeit bei unterscheidbaren Teilchen ein bestimmte Verteilung einzunehmen :

Mikrozustand Anfang bekannt : Links : 1,2,3,4   Rechts: leer

weiteres Beispiel eines Mikrozustandes Links : 1,2   Rechts: 3,4

Insgesamt gibt es in dem Beispiel 16 verschiedene Möglichkeiten der Teilchenanordnung somit 16 Mikrozustände .

Alle Mikrozustände haben die gleiche Wahrscheinlichkeit !!   hier  ist  p = 1 /16

Die Gesamtzahl der Mikrozustände kann man auszählen : 16 Zeilen = 16 Möglichkeiten.

Man kann sie auch errechnen :

2 alternative Aufenhaltsorte , 4 Teilchen

==> 2^4 = 24 = 16 Mikrozustände

allgemein: Zahl der Mikrozustände = Zahl der Alternativenaufenthaltsorte ^ Zahl der Teilchen


Makrozustand

Bei dem Begriff des Makrozustandes kommt es nur auf das Verhältnis der Teilchen rechts und links an.

Makrozustand am Anfang : Verteilung Links 4 Teilchen , rechts kein Teilchen

d.h die Teilchen sind jetzt anonym , nicht mehr unterscheidbar.

Weitere Makrozustände im Beispiel :

Insgesamt gibt es hier also 5 Makrozustände  

a: 4/0     b: 3/1     c:2/2    d: 1/3    e: 0/4

Die Wahrscheinlichkeit der Makrozustände ist verschieden !

Es gibt bei gerader Teilchenzahl einen Makrozustand mit der größten Wahrscheinlichkeit pmax

Schöne weitere Beispiele für Makrozustände

http://www.techfak.uni-kiel.de/matwis/amat/mw1_ge/kap_5/backbone/r5_3_1.html


Omega

Omega ist die Anzahl der Mikrozustände für jeden Makrozustand:

Oa: 1    Ob: 4     Oc: 6    Od: 4    Oe: 1

Interessant ist jetzt Omega max = Oc = 6 . Omega max ist die Anzahl der Mikrozustände für den wahrscheinlichsten Makrozustand.

Omegamax = pmax (makro ) / p (mikro )  

im Beispiel: Omegamax  = 6/16   /    1/16     = 6


Die Entropie eines Makrozustandes

Die Entropie S jedes Makrozustandes ist proportional zum Logarithmus von Omega

Dies kann man auch anders schreiben

E = konst * log2 ( Omega)           ( wobei konst  = k / ln 2 ist )

Errechnet man für alle Makrozustände den Wert E , dann schaut das so aus:

Wie es der allgemeinen Anschauung entspricht wird sich das System vom Anfangszustand A mit allen 4 Teilchen Links zum wahrscheinlichsten Makrozustand C entwickeln mit der Entropie 2,3  *konst und der gleichmäßigen Verteilung von 2 Teilchen rechts und 2 Teilchen links.

Die Entropie nimmt zu !

Als Aufgabe kann man die Mikrozustände für 2 , 3 und 5 Teilchen auszählen.

Als weitere Aufgabe kann man die Mikrozustände für 4 Teilchen verteilt auf 3 Aufenthaltsorte auszählen .


Übernommen und verändert von http://www.minet.uni-jena.de/~aml/infosem/tex_archiv/www_archiv/node22.html

Zwischen der Entropie und dem Zustand eines thermodynamischen Systems gibt es einen Zusammenhang. Der Zustand eines Systems kann aber auch durch die Wahrscheinlichkeit des Systems, es in diesem Zustand anzutreffen, beschrieben werden. Somit existiert also eine Abhängigkeit zwischen Entropie und der Wahrscheinlichkeit bzgl. des Zustandes eines Systems.

Weiterhin ist klar, daß die Entropien zweier unabhängiger Systeme auch unabhängig sind.

Man führe sich das klassische Beispiel zweier diffundierenden Gase und deren nachfolgende Trennung vor Auge.

Die Wärmemenge, die nach diesem Prozeß dem System wieder zugeführt werden mußte, um den thermodynamischen Anfangszustand wieder zu erreichen, galt als Maß der Entropieänderung.

Betrachtet man nun zwei solche Systeme, so wird klar, daß sich die Gesamtentropie der Systeme aus der Summe der Einzelentropien ergibt. Betrachtet man aber die Wahrscheinlichkeit beider Systeme, sie genau in diesen zwei Zuständen vorzufinden, stellt man fest, daß diese sich aus dem Produkt der Einzelwahrscheinlichkeiten der unabhängigen Systeme ergibt.

Zwischen der Entropie als additive und der Wahrscheinlichkeit als multiplikative Größe muß also folgender funktioneller Zusammenhang bestehen:

f(x1x2)=f(x1)+f(x2).

Offenbar realisiert die Funktion ln(x1x2)=ln(x1) + ln(x2) diese Abhängigkeit. Daher setzt man:

S = k*lnW .

Dies ist die berühmte BOLTZMANNsche Gleichung, wobei S die Entropie, W die Wahrscheinlichkeit und k die BOLTZMANNkonstante darstellen.

Bleibt nun zu klären, wie die Wahrscheinlichkeit in der Thermodynamik beschrieben wird. In der Klassischen Wahrscheinlichkeitstheorie wird als Maß der Wahrscheinlichkeit eines Ereignisses der Quotient aus der Anzahl der günstigen und der Anzahl der möglichen Ereignisse definiert.

Wahrscheinlichkeit = {guenstige Faelle / moegliche Faelle} 1

In der Thermodynamik dagegen gilt die Anzahl der günstigen Fälle als Maß der Wahrscheinlichkeit. Dies hat zur Folge, daß es sich bei thermodynamischen Wahrscheinlichkeiten um große Zahlen handeln wird.


Bilder zu dem Begriff Entropie

Zusammenhang Entropie - Temperatur beim Wasser

Beim Schmelzen und Verdampfen ändert sich die Ordnung des Systems sehr stark ( Die Unordnung = Entropie nimmt zu ) , ohne das sich die Temperatur ändert.

http://exphys.bei.t-online.de/waerme/w02.html

http://www.physik.tu-muenchen.de:81/~kressier/Versuche/ver4165.html

http://www.ph.tum.de/~kressier/Versuche/Thermo.htm

Boltzmannbilder von den Gasteilchen in 2 Kammern , vor und nach der Vermischung

Chaitinreihe A und B

Chaitins Beispiel für 2 binäre Zahlen mit 20 Stellen

Chaitinkristalle

Dampfmaschine

Legosteine

Aufgeräumtes Kinderzimmer , Unordentliches Kinderzimmer

Zusammenhang zwischen der Entropie und der Zahl der Münzwürfe

Zusammenhang zwischen der Entropie und der Wahrscheinlichkeit von 2 gekoppelten Ereignissen p und q = (1 - p)      H = - (p*ln(p)+q*ln(q)) = - ( p*ln(p) + (1-p)*ln(1-p))


Wo findet man Entropie ?

In einer Zufallsreihe von 0 und 1

im Werfen einer Münze

im Werfen eines Würfels

in jedem Zufallsereignis steckt Entropie

in Gasen

in Flüssigkeiten

In den Wolken ,

beim Schmelzen von Kristallen nimmt die Entropie deutlich zu

In Physikbüchern

In Büchern zur Informationstheorie

In Büchern über die Thermodynamik

In Büchern über die Physikalische Chemie

in manchen Büchern zur Ökonomie und Ökologie

in einem unaufgeräumten Zimmer

im Sand

auf Boltzmanns Grabstein :  S = k * ln Omega

in fast allem findet sich Entropie


Welche Arten der Entropie gibt es ?

Entropie der Statistik ( der Mathematik , der Informationstheorie )

Entropie der Physik ( der Thermodynamik )

Abgeleitete Entropievorstellungen

software entropy

The tendency for software, over time, to become difficult and costly to maintain. A software system that undergoes continuous change, such as having new functionality added to its original design, will eventually become more complex and can become disorganized as it grows, losing its original design structure. In theory, it may be better to redesign the software in order to support the changes rather than building on the existing program, but redesigning the software is more work because redesigning the existing software will introduce new bugs and problems.


Wo wird Entropie neu produziert ?

Dort wo aus Ordnung Unordnung entsteht

Dort wo der Zufall wirken kann

Bei fast jedem spontanen physikalischen oder chemischen Vorgang entsteht Entropie von ganz alleine.

zb Rosten


Irreversibel , Reversibel

Irreversible Prozesse

Beispiele:

1. spontane Expansion nach Volumenerweiterung Va  ==> V

2.Wärmeübergang Delta Q von T2 ==> T1 ( T2 > T1 )

-beim Ablaufen irreversibler Prozesse wächst in einem abgeschlossenen System die Entropie;im Unterschied zur inneren Energie ist S keine Erhaltungsgröße

-beim Ablaufen irreversibler Prozesse wird auf eine mögliche Arbeitsabgabe Delta W verzichtet.

"Thermodynamisches Gleichgewicht" herrscht genau dann, wenn keine irreversiblen Prozesse mehr ablaufen können, dh., dem System keine Arbeit mehr entnommen werden kann. Die Gleichgewichtsbedingungen lauten so:

S = Entropie

F = freie Energie

G = freie Enthalpie

Bei isothermen Zustandsänderungen ist    -DW = -DE + T* DS    die maximal mögliche Arbeitsabgabe

Einführung der "freien Energie":     F= E - TS    F liefert die maximale Arbeitsleistung isothermer Systeme als: DW = DF

die "freie Enthalpie": G= E - TS + pV = F + pV    liefert die maximale Nutzarbeit DW'= DW + pDV bei isotherm-isobaren Systemen als : DW'= DG


Reversibel und irreversibel frei nach Feynman und Cramer:

"Stellen wir uns ein Gemisch aus schwarzen und weißen Molekülen oder Kugeln vor, die durcheinanderkullern . Ursprünglich waren sie in schwarze und weiße getrennt, beim Schütteln verteilen sie sich nach und nach gleichmäßig.

Und selbst wenn wir noch stundenlang weiterschütteln , so würde praktisch niemals der Zustand eintreten , daß alle schwarzen wieder in ihre ursprüngliche Ecke gehen und die weißen sich in der anderen befinden .

Das ist ein Beispiel für einen irreversiblen Prozeß , der aber ganz und gar aus reversiblen Elementen zusammengesetzt ist.

Denn jeder Zusammenstoß zwischen zwei Kugeln gehorcht den mechanischen , deterministischen Gesetzen , sonst gäbe es kein Billiardspiel. Wenn man eine Filmaufnahme des Vorgangs anfertigte und diese wieder rückwärts laufen ließe , so wäre jedes einzelne Zwischenbild nicht falsch.

Das Mischen der Kugeln erscheint also als vollständig reversibel und doch ist es irreversibel.

Hier liegt also eine Irreversibilität vor , die auf reversiblen Einzelsituationen beruht. Aber wir können verstehen warum. Wir begannen mit einer Anordnung , die geordnet war. Infolge des Chaos der Kollisionen wird es ungeordnet. Der Übergang von einem geordneten in einen ungeordneten Zustand ist die Quelle der Irreversibilität.

Spontane Vorgänge verlaufen thermodynamisch irreversibel unter Vermehrung der Gesamtentropie. Bei reversiblen Prozessen bleibt die Entropie konstant (2. Hauptsatz).


2.Hauptsatz

Übernommen und verändert von  http://www.wiwi.uni-frankfurt.de/~rainerh/Diplomarbeit/dbdzh03.htm

Das Entropiegesetz (der zweite Hauptsatz der Thermodynamik)

Carnot konnte zeigen, daß zum Betrieb einer Wärmekraftmaschine immer die Notwendigkeit besteht, zwei Wärmereservoire unterschiedlicher Temperatur zur Verfügung zu haben. Darauf basiert auch eine der Formulierungen des Entropiegesetzes: "Es ist unmöglich, eine periodisch arbeitende Maschine zu bauen, die nichts weiter bewirkt als Abkühlung eines Wärmebehälters und Leistung mechanischer Arbeit." [19] Man kann sich diese Tatsache am Beispiel eines Wasserrades verdeutlichen, das, wenn es in die Mitte eines Stausees gehalten wird, nicht in der Lage sein wird, Energie zu erzeugen, da es sich in dem stillstehenden See nicht bewegt. Obwohl in dem Stausee eine große Menge potentieller (und thermischer) Energie gespeichert ist, ist diese nicht verwertbar, wenn eine Verbindung zu einem tieferliegenden Abfluß, einer "Senke" [20] fehlt. So lange die Energie in einer gleich gut verwertbaren Form bleibt, kann sie nicht genutzt werden. Oder, anders formuliert, wenn die Energie genutzt wird, ist das notwendigerweise mit einer "Entwertung" der Energie, d.h. einer Abnahme der Nutzbarkeit verbunden.

Diese Abnahme der Nutzbarkeit wird als Zunahme der Entropie bezeichnet.

Die Entropie ist also ein Maß für die Nicht-mehr-Nutzbarkeit von Energie.

Der zweite Hauptsatz der Thermodynamik, das Entropiegesetz, besagt nun, daß die Entropie in einem abgeschlossenen System [21] niemals abnehmen wird, da selbst im nur theoretisch erreichbaren Idealfall einer vollkommenen Energienutzung die Entropie konstant bleibt, in jedem real zu beobachtenden Fall jedoch "Verluste" zu beobachten sind. Diese Verluste verursachen eine Zunahme der Entropie.

Der zweite Hauptsatz der Thermodynamik wird in sehr verschiedenen Formulierungen vorgestellt, von denen im folgenden einige aufgeführt sind:

"Wärme kann nicht ohne weiteres vom kalten auf warme Körper übergehen" [22]

"Heat flows by itself only from the hotter to the colder body, never in reverse." [23]

"In einem abgeschlossenen System nimmt die Entropie niemals ab" [24]

"In abgeschlossenen physikalischen Systemen nimmt die Entropie zu oder bleibt unverändert" [25]

"...the entropy of a closed system continuously ... increases toward a maximum..." [26]

"But for our immediate purpose we may be satisfied with the simple definition of entropy as an index of the amount of unavailable energy in a thermodynamic system at a given moment of its evolution." [27]

"Es ist unmöglich, eine periodisch arbeitende Maschine zu konstruieren, die weiter nichts bewirkt, als Arbeit zu leisten und ein Wärmereservoir abzukühlen." [28]

"Die Zeit entwertet die Welt" [29]

"Es geht bergab." [30]

Auch inhaltlich wird das Entropiegesetz verschieden interpretiert. Insbesondere die (unten vorgestellte) statistisch-mechanische Erklärung des Entropiegesetzes von Boltzmann war und ist Gegenstand wissenschaftlicher Auseinandersetzungen. In der vorliegenden Arbeit wird versucht, so weit wie möglich auf der allgemein anerkannten bzw. den verschiedenen physikalischen Schulen gemeinsamen Grundlage des Begriffs zu arbeiten.

Aus diesem Grund wird auch versucht, weitgehend die verbreitete Gleichsetzung von niedriger Entropie mit Ordnung bzw. hoher Entropie mit Unordnung zu vermeiden.

Erstmals formuliert wurde das Entropiegesetz von Rudolf Clausius und William Thomson (Lord Kelvin). [31] In dieser Formulierung besagt es, daß Energie in einem abgeschlossenen System von selbst immer der gleichmäßigsten Verteilung zustrebt, so daß die oben erwähnten Potential- bzw. Niveauunterschiede, wenn sie in Verbindung gebracht werden, durch Angleichungen der Niveaus bzw. Potentiale verschwinden. Dies gilt auch, wenn eine Wärmekraftmaschine in den ausgleichenden "Strom" oder "Fluß" der Energie eingefügt wird.

Bei der oben in Verbindung mit dem Energieerhaltungssatz erwähnten Umwandlung von verschiedenen Erscheinungsformen der Energie ist zu beachten, daß unter nicht idealen bzw. nicht idealisierten Bedingungen immer eine Entropiezunahme, d.h. das Entstehen von "Abwärme" zu beobachten ist.

So wird bei einem Gegenstand, der eine schiefe Ebene hinunterrutscht, ein Teil seiner potentiellen Energie durch Reibung in Wärme umgewandelt und nur ein Teil in kinetische (Bewegungs-) Energie. Auch diese kinetische Energie wird sich, wenn der Gegenstand am Ende der schiefen Ebene ankommt, entweder durch den Aufprall auf einen anderen Körper oder durch Ausgleiten in Wärme verwandeln. Auch wenn der Gegenstand beim Rutschen Geräusche erzeugt, werden die Schallwellen "ausklingen", d.h. sich in Wärme wandeln. Diese Verluste begrenzen den Anteil der nutzbaren (Bewegungs-) Energie. Wenn es das Ziel der oben beschriebenen Anordnung ist, den Körper möglichst weit in die Ebene zu bewegen, so können nun zur Verringerung der Verluste Räder oder Rollen unter dem Gegenstand montiert werden. Dadurch wird sich zwar in der Regel das Ausmaß der Verluste verringern, aber für einen Vergleich der beiden Verfahren ist der Umfang der zusätzlichen Verluste bzw. die Entwertung der Energie, die Zunahme der Entropie, durch den Herstellungsprozeß und die Montage der Räder oder Rollen in Rechnung zu ziehen.

In jedem abgeschlossenen System strebt die Entropie einem Maximum zu. Das bedeutet aber auch, daß jede Nutzung von Energie unweigerlich die Entropie erhöht, wenn man das die gesamte Aktivität einschließende (abgeschlossene) System betrachtet.

Letztlich läßt sich das gesamte Universum als abgeschlossenes System ansehen (strenggenommen als einziges reales  abgeschlossenes System). Also muß die Entropie, der Grad der Tendenz zur Gleichförmigkeit der Energieverteilung des Universums, ständig zunehmen, bis sie ihr Maximum (die völlige Gleichverteilung) erreicht hat: "All kinds of energy are gradually transformed into heat and heat becomes so dissipated in the end that man can no longer use it." [32] Da in diesem Stadium keine Arbeit mehr geleistet, keine Energie mehr genutzt werden kann, da alle Energie in Form von "Abwärme" vorliegt, wird dieser Zustand auch als der Wärmetod des Universums bezeichnet. [33]

Diese Erkenntnis wurde erstmals im Jahre 1854 von dem deutschen Physiker Hermann von Helmholtz veröffentlicht [34] und löste insbesondere in der Philosophie doch recht vehemente Reaktionen aus, wie an folgendem Zitat zu sehen ist:

"...daß all die Anstrengungen der Generationen, all die Hingabe, all die Inspiration, all der helle Glanz des menschlichen Genies im umfassenden Tod des Sonnensystems dem Untergang geweiht sind, daß der ganze Tempel der Errungenschaften des Menschen unausweichlich unter den Trümmern eines verfallenden Universums begraben werden wird - all diese Dinge sind, wenn nicht gänzlich unzweifelhaft, doch nahezu so gewiß, daß keine Philosophie, die sie verwirft, weiterhin auf Geltung hoffen kann. Nur im Gerüst dieser Wahrheiten, nur auf der festen Grundlage unnachgiebiger Verzweiflung kann von nun an die Wohnung der Seele sicher errichtet werden." [35]

Die von vielen als "gräßliche Aussicht" [36] eingestufte Gewißheit des Wärmetods des Universums brachte nicht nur Philosophen wie Friedrich Engels zu der Ansicht, daß sich das Entropiegesetz letztlich als falsch herausstellen müsse, daß die Wissenschaft in Zukunft die Begrenzung des zweiten Hauptsatzes zu überwinden habe, [37] es gibt auch immer wieder Wissenschaftler, wenn auch nicht gerade Naturwissenschaftler, die Ideen verbreiten, die darauf hinauslaufen, die Entropie zu "überlisten", oder, wie Georgescu- Roegen es ausdrückt, "bootlegging entropy" nicht für unmöglich halten. [38]

Boltzmann unternahm mit seiner statistischen Interpretation der Entropie einen Versuch den Entropiebegriff auf die Basis des zur damaligen Zeit vorherrschenden Paradigmas in der Physik zu stellen, auf die Basis der Mechanik. Diese Sichtweise des Entropiegesetzes wurde am Beispiel des Temperaturausgleichs zwischen Gasen entwickelt. Hierbei wird Entropie mit einem in bestimmter Weise definierten Begriff von Ordnung bzw. Unordnung identifiziert. Man betrachtet einen Zustand der maximalen Entropie (das thermodynamische Gleichgewicht) als den Zustand maximaler Unordnung und entsprechend einen Zustand minimaler Entropie als den Zustand maximaler Ordnung. Dieser Ansatz ist unter der Bezeichnung kinetische Gastheorie bekannt, da er die Temperatur eines Gases als Ausmaß der "Unruhe" [39] der Moleküle eines Gases ansieht. Das Gas wird hierbei als gewaltige Ansammlung von Molekülen betrachtet, die sich in ununterbrochener regelloser Bewegung befinden und ständig gegeneinander und an die Wände des umschließenden Behälters prallen. Der Temperaturausgleich wird nun dadurch erklärt, daß die Moleküle im wärmeren Teil des Gases durch die Zusammenstöße mit "kälteren" Molekülen an diese einen Teil ihrer Energie abgeben. Das Phänomen der Irreversibilität wird nun nicht streng aufgefaßt, sondern als statistisches Phänomen, da meßbar ungleichmäßige Temperaturverteilungen aus den zufälligen Molekülbewegungen und -Zusammenstößen seltener (wesentlich seltener) entstehen als gleichmäßige Verteilungen. [40] Hierbei ergibt sich eine plausible und auf den mechanischen Gesetzen fußende Erklärung des zweiten Hauptsatzes, die jedoch die in der ursprünglichen Fassung desselben formulierte strenge Irreversibilität nicht erklären kann. Des weiteren birgt die Verwendung der Kategorien "Ordnung" und "Unordnung", wie oben schon erwähnt, das Risiko von Mißverständnissen, worauf weiter unten noch eingegangen wird. Auch weisen Prigogine und Stengers [41] darauf hin, daß die Boltzmannsche Erklärung der Entropie für die nichtgleichgewichtigen Prozesse, die dissipative Strukturen [42] kennzeichnen, keinen Erklärungswert mehr besitzen, da dissipative Strukturen im Sinne Boltzmanns extrem unwahrscheinliche Zustände sind, die nicht auf Dauer (nicht auf die Dauer, die in der Realität beobachtbar ist) existieren können.

So wie der Energieerhaltungssatz die Unmöglichkeit eines Perpetuum mobile erster Ordnung zeigt, einer Vorrichtung also, die sich (wie oben schon erläutert) ohne Energiezufuhr ewig bewegt und dabei noch Arbeit leistet, so ist aufgrund des Entropiegesetzes auch ein Perpetuum mobile zweiter Ordnung unmöglich, also eine Vorrichtung, die ohne entsprechende Energiezufuhr "nur" sich selbst ewig am Laufen hält.

Georgescu-Roegen bezeichnet als klassische Illustration von dissipierter Energie die immense Energie, die in Form von Wärme in den Weltmeeren gespeichert ist. Durch die "niedrige Konzentration", in der diese Energie vorliegt, kann kein Schiff sie nutzen. [43]

Ein weiteres Beispiel zur Illustration der ersten beiden Hauptsätze der Thermodynamik findet sich bei Faber: [44] Stellen wir uns einen perfekt isolierten Raum vor, in dem ein Ofen steht, in dem Kohle verbrannt wird. Die chemische Bindungsenergie der Kohle wird in Wärme verwandelt. Die Energie in dem System "Ofen" nimmt im selben Maße ab, wie die Energie im "restlichen" Raum zunimmt. In dem Gesamtsystem "Raum" (inkl. Ofen) bleibt die Energie konstant. Die Form des Vorliegens der Energie hat sich allerdings geändert. chemische Energie hat sich in thermische umgewandelt, verbunden mit einer Zunahme der Entropie (der Vorgang ist ohne zusätzliche Energie "von außen" nicht mehr rückgängig zu machen).  

Koopmans, der sowohl in der Physik wie auch im Bereich der Ökonomie gearbeitet hat, schätzt Entropie als ein schwierigeres Konzept ein, als "anything economics has to offer" [45]. Auch andere Physiker heben die Bedeutung des Entropiegesetzes hervor, wie auch am folgenden Zitat abzulesen ist:

"Ich glaube, daß dem Gesetz von dem ständigen Wachsen der Entropie - dem zweiten Hauptsatz der Thermodynamik - die erste Stelle unter den Naturgesetzen gebührt. Wenn jemand Sie darauf hinweist, daß die von Ihnen bevorzugte Theorie des Universums den Maxwellschen Gleichungen widerspricht - nun, können Sie sagen, um so schlimmer für die Maxwellschen Gleichungen. Wenn es sich herausstellt, daß sie mit der Beobachtung unvereinbar ist - gut, auch Experimentalphysiker pfuschen manchmal. Aber wenn Ihre Theorie gegen den zweiten Hauptsatz der Thermodynamik verstößt, dann ist alle Hoffnung vergebens. Dann bleibt ihr nichts mehr übrig, als in tiefster Demut in der Versenkung zu verschwinden." [46]

Georgescu-Roegen hebt hervor, daß das Entropiegesetz das einzige naturwissenschaftliche Gesetz ist, das aufzeigt, daß das gesamte Universum einer irreversiblen qualitativen Veränderung, einer evolutionären Veränderung, unterworfen ist. [47]

Die universelle Gültigkeit des Entropiegesetzes ist nichtsdestotrotz in der Physik noch umstritten. Prigogine und Stengers [48] weisen darauf hin, daß die theoretische Verbindung des zweiten Hauptsatzes im Maßstab des gesamten Universums (und vor allem auf die Lebensdauer des Universums bezogen) mit der Gravitation noch problembehaftet ist, so daß seine allgemeine Gültigkeit noch nicht bewiesen werden kann. Allerdings betreffen diese möglichen Einschränkungen nicht die praktische Relevanz des Entropiegesetzes für die Menschheit.

Ergänzend muß an dieser Stelle noch darauf hingewiesen werden, daß auch Wärmepumpen, bei denen oft von Wirkungsgraden von über 100% gesprochen wird, selbstverständlich nicht gegen das Entropiegesetz verstoßen können. Mit dieser Ausdrucksweise ist nur gemeint, daß die Wärmepumpe, die z.B. dazu benutzt wird Erdwärme zu nutzen, mehr als die zum Pumpen benötigte Energie als Wärme abgeben kann. Dies entspricht überspitzt ausgedrückt etwa der Vorgehensweise, den Energieverbrauch eines Autos am Stromverbrauch der Benzinpumpe zu messen. Diese Sprachregelung hat sich nur eingebürgert, da man Erdwärme (soweit dies absehbar ist) für menschliche Größenordnungen als nahezu unerschöpflich ansehen kann (wobei ihrer Nutzung vor allem das geringe Entropiegefälle zur Umgebung entgegensteht, wodurch sie primär für Heizzwecke geeignet ist).

Der Vollständigkeit halber sei noch erwähnt, daß der dritte Hauptsatz der Thermodynamik von Nernst [49] (unter anderem) besagt, daß der absolute Nullpunkt nicht zu erreichen ist.


Übernommen und verändert von:

http://www.physikon.com/physikon.cgi?gebiet=1&kapitel=16&seite=10

Es gibt kein Perpetuum Mobile 2. Art

Es gibt keinen Vorgang der nichts weiter bewirkt als die Abkühlung eines Wärmereservoirs und Erzeugung von äquivalenter mechanischer Arbeit

Bei einem reversiblen oder irreversiblen Prozeß ist die Summe der reduzierten Wärmemengen kleiner oder gleich Null (bei Reversibilität dQ = dQrev):

(Clausiussche Ungleichung) (Beweis mit Carnot Wirkungsgraden)

In einem abgeschlossenen System nimmt die Entropie bei irreversiblen (realen von selbst ablaufenden) Vorgängen immer   zu:.

Delta S > 0

Nur bei reversiblen Vorgängen im abgeschlossenen System   ist:

Delta S = 0

Der zweite Hauptsatz der Thermodynamik ist ein Wahrscheinlichkeitssatz: Ein System geht von unwahrscheinlichen zu wahrscheinlichen Zuständen über.


Übernommen von

http://www.techfak.uni-kiel.de/matwis/amat/mw1_ge/kap_5/backbone/r5_3_1.html

Wieviele Beispiele man sich auch anschaut, die eher unordentlichen, chaotischen Zustände sind meist die wahrscheinlicheren - besonders bei höherer Temperatur. Um aus vielen denkbaren Makrozuständen den wahrscheinlichsten auswählen zu können, brauchen wir ein neues Axiom oder Naturgesetz; der 1. Hauptsatz ist dazu offenbar nicht ausreichend.

Als Maß für die Wahrscheinlichkeit des Auftretens eines Makrozustandes definieren wir eine neue Größe, die Entropie S des Zustands.

Der wahrscheinlichste Makrozustand ist dann derjenige Makrozustand mit der größten Entropie,  die unter Beachtung der  Randbedingungen möglich ist.

Der wahrscheinlichste Makrozustand ist, bezogen auf unsere Beispiele, auch der unordentlichste Zustand. Wir vermuten damit schon, daß die Entropie auch ein Maß für den Ordnungsgrad eines Zustands ist: Je unordentlicher, desto größer ist die Entropie.

Auch ohne zu wissen, wie Entropie in Formeln, d. h. in meßbaren Parametern definiert ist, können wir doch schon eine erste (qualitative) Fassung des 2. Hauptsatzes präsentieren:

Im thermodynamischen Gleichgewicht hat ein System eine möglichst große Entropie

und

Die Entropie eines abgeschlossenen Systems wird nie von alleine kleiner

Insbesondere der letzte Satz hat es in sich:

Der 2. Hauptsatz definiert irreversible Prozesse: Ein Prozeß, bei dem die Entropie zunimmt kann geschehen, der Rückwärtsprozeß jedoch nicht (siehe obige Gasbilder). Die Konsequenz daraus ist:

Der 2. Hauptsatz definiert eine Richtung der Zeitachse: Auf der Zeitachse kann man sich nur in Richtung höherer Entropie bewegen.

Der 2. Hauptsatz definiert den Wärmetod des Universums: Irgendwann wird universelles Gleichgewicht im wahrsten Sinne des Wortes, und damit maximale Unordnung erreicht sein. Nichts wird sich mehr ändern - das Universum hat den Wärmetod erlitten.


Links zum 2.Hauptsatz

http://www.techfak.uni-kiel.de/matwis/amat/mw1_ge/kap_5/backbone/r5_3_1.html***


Wo geht Entropie verloren ?

Dort wo aus Unordnung Ordnung entsteht

allerdings muß dem System Wärme entzogen werden oder Energie hineingesteckt werden , damit Entropie verloren gehen kann .

In der Gesamtsumme bleibt die Entropie gleich oder nimmt zu.


Quantitative Beschäftigung mit dem Begriff Entropie

Thermodynamik

Übernommen und verändert von http://saftsack.fs.uni-bayreuth.de/thermo/

Die Thermodynamik und die Statistische Physik betrachten makroskopische Systeme mit sehr vielen (mikroskopischen) Freiheitsgraden.

Zur Bezeichnungsweise:

Abgeschlossene Systeme: Keine Wechselwirkung mit der Umgebung (weder Materie- noch Energieaustausch)

thermisch isolierte Systeme: Kein Materieaustausch oder Wärmeübertrag, aber Arbeitsleistung möglich

Offene Systeme: Materie- und Energieaustausch mit der Umgebung

In der Thermodynamik werden zur Beschreibung eines Systems makroskopische Größen verwendet, die als Mittelwerte von mikroskopisch definierten Größen aufzufassen sind oder - wie die Entropie - nur für makroskopische Systeme definiert werden können. Beispiele thermodynamischer Größen:

chemisches Potential ,

Magnetisierung,

spezifische Wärme, ...

Extensive Größen sind proportional zur Teilchenzahl: V, E, S, ...

Intensive Größen sind nicht proportional zur Teilchenzahl: T, p, , ...

Einige Größen lassen sich direkt aus mechanischen/mikroskopisch definierten Größen ableiten (E, V, N, ...), andere sind nur für makroskopische Systeme definiert (S, T, p, ...).

Ein abgeschlossenes System befindet sich im thermodynamischen Gleichgewicht, wenn sich die thermodynamischen Größen zeitlich nicht ändern.

Mikroskopisch finden auch im thermodynamischen GGW Veränderungen statt.  !!!!

"Nullter Hauptsatz": Wenn System A sich im thermodynamischen GGW mit B befindet, und B im GGW mit C ist, so sind auch A und C miteinander im GGW.

Der Erste Hauptsatz ist der Energieerhaltungssatz:

In einem abgeschlossenen System (kein Energieaustausch mit der Umgebung) bleibt die innere Energie E erhalten:   E = const

Wenn an dem System von außen mechanische Arbeit verrichtet und Wärme zugeführt wird, so gilt:

d E = Delta A + Delta Q

Delta Q = zugeführte Wärmemenge

dE  ist hierbei die Änderung der thermodynamischen Zustandsgröße E, während , die (kleinen) Beträge an Delta A , Delta Q zugeführte mechanische Arbeit bzw. Wärmeenergie sind. Arbeit und Wärme sind keine Zustandsgrößen.

Unter zugeführter mechanischer Arbeit versteht man dabei die Energieerhöhung des Systems aufgrund der Änderung von (makroskopischen) mechanischen Freiheitsgraden. Nach dem "Adiabatensatz" produziert eine sehr langsame, "quasistatische" Änderung dieser Freiheitsgrade (bezeichnet mit xi ) keine Wärme. Es gilt dann für die Energieänderung des Systems:

d E = Summe ( für x von 0 bis i)   diff E / diff xi  * d xi ==   -  Summe ( für x von 0 bis i ) Ki * xi

Das letzte Gleichheitszeichen == definiert die "generalisierten Kräfte" Ki . Die generalisierte Kraft bezüglich des "Freiheitsgrades" Volumen V ist der Druck p. In dieser Schreibweise lautet der Erste Hauptsatz folgendermaßen:

d E = Delta Q - Summe ( für x von 0 bis i ) Ki * xi

Diese Form gilt jedoch nur für quasistatische Änderungen, die so langsam ablaufen, daß das System zu jedem Zeitpunkt als im thermodynamischen GGW befindlich angesehen werden kann.

Der Zweite Hauptsatz stellt eine weitere Einschränkung der in der Natur möglichen Prozesse dar. Bei diesen muß nicht nur die Energie erhalten bleiben, sondern es gilt zusätzlich:

Es gibt eine extensive Zustandsgröße S=S(E,V,N,...), genannt "Entropie", die bei allen in einem  abgeschlossenen System ablaufenden Prozessen nicht abnehmen kann.

Dazu äquivalente Formulierungen sind:

Es gibt keine periodisch arbeitende Maschine, die keine andere Veränderung in der Welt hervorruft, als Wärme von einem kalten zu einem warmen Körper zu überführen. (Clausius)

Es gibt keine periodisch arbeitende Maschine, die nur Wärme in Arbeit umwandelt. (Kelvin)

Eine solche Maschine würde man als "Perpetuum mobile 2. Art" bezeichnen. Der Zweite Hauptsatz verneint demnach die Existenz einer solchen Maschine.

Wenn in einem abgeschlossenen System ein Prozeß mit d S > 0  abläuft, so ist der umgekehrte Prozeß durch den Zweiten Hauptsatz verboten, der Prozeß ist also irreversibel. Wenn dagegen gilt d S = 0 , so ist auch der umgekehrte Prozeß prinzipiell möglich, es liegt ein reversibler Prozeß vor.

Eine Folge des Zweiten Hauptsatzes ist:

Im thermodynamischen GGW nimmt S ein Maximum an, unter Berücksichtigung der gegebenen Randbedingungen (z.B. Energieinhalt, Volumen des Systems).

Die Entropie ist eine nichtmechanische Größe, die nicht für mikroskopische Systeme definiert werden kann. Alle anderen nichtmechanischen Größen (T,p,mikro ??, ...) sind aus S herleitbar.

Der Dritte Hauptsatz (Nernst'sches Theorem), besagt, daß die Entropie jeder Substanz gegen Null geht, wenn die Temperatur bei ansonsten festen Bedingungen gegen Null strebt. (Dies wird in der Statistischen Physik begründet: Am absoluten Nullpunkt ist das System im quantenmechanischen Grundzustand, d.h. die statistische Verteilung ist auf diesen einzigen Zustand konzentriert)

DIE TEMPERATUR

Betrachtet wird ein abgeschlossenes System aus zwei Teilsystemen, die miteinander im thermischen Kontakt stehen. Damit ist Wärmeaustausch möglich. Die Volumina und Teilchenzahlen (sowie evtl. weitere Parameter) seien jedoch fest.

Aus dem Ersten Hauptsatz dem Energieerhaltungssatz folgt, daß hier für die Energieänderungen der Teilsysteme beim Wärmeaustausch gilt: d E1 = - d E2 .     Klein d steht für Differenz

Die Extensivität der Entropie bedeutet, daß die Entropie des Gesamtsystems gleich der Summe der Entropien der Teilsysteme ist:

S = S ( E1) + S ( E2)

Im Gleichgewicht muß für alle möglichen Prozesse gelten:  d S = 0 . Hier bedeutet das, daß beim Wärmeübertrag die Entropie des Gesamtsystems sich in erster Ordnung nicht ändert:

0   =  d S = diff S1 / diff E1 * d E1     +   diff S2 / diff E2 * d E2 =

(  diff S1 / diff E1 - diff S2 / diff E2) * d E1       ( ????)

Der Bruch diff S1 / diff S2 ist die erste Ableitung des Nenners zum Zähler des Bruches ( Differenzierung ) und entspricht hier der Steigung der Kurve von S aufgetragen gegen E.

Im GGW muß demnach (als notwendige Bedingung!) gelten:

diff S1 / diff E1 = diff S2 / diff E2

Dies benutzt man zur Definition der absoluten (thermodynamischen) Temperatur:

( diff S / diff E) V,N  == 1 / T

Damit ergibt sich, daß im thermodynamischen GGW die Temperaturen von miteinander im Kontakt befindlichen Körpern einander gleich sind.

Wenn die Temperaturen verschieden sind, wird Wärme vom einen zum anderen Körper fließen. Die Richtung dieses Wärmestromes ist dadurch festgelegt, daß bei dem Prozeß die Entropie des Gesamtsystems zunehmen muß:

0 < d S = diff S1 / diff E1 * d E1 + diff S2 / diff E2 * d E2   = ( 1/ T1  - 1 / T2 ) * d E1

Für T1 < T2 ist der Ausdruck in der Klammer positiv, so daß auch d E1 positiv sein muß: Die Wärme fließt vom heißen Körper (höhere Temperatur T2 ) zum kälteren   ( niedrigere Temperatur T1 ).

DER DRUCK

Außer Wärmeaustausch soll nun auch eine Volumenveränderung der Teilsysteme möglich sein, wobei gilt:

dV1  = - dV2

Die Volumenzunahme des einen Systems ruft also eine gleich große Volumenabnahme des anderen Systems hervor (z.B. beweglicher Stempel, der die Gasvolumina trennt).

Dann erhält man als notwendige Bedingung für das thermodynamische GGW des Gesamtsystems:

0 = d S = (  diff S1 / diff E1 - diff S2 / diff E2) * d E1  +  (  diff S1 / diff V1 - diff S2 / diff V2) * d V1

Die erste Klammer ist genau dann Null, wenn gilt  T1 = T2 :

Das ist wieder die oben schon abgeleitete  Gleichgewichtsbedingung für die Temperaturen.

Mit der Definition des Druckes

p == T ( diff S / diff V ) E,N

wird die Bedingung an das Verschwinden des zweiten Klammerausdruckes zu

p1 / T1 = p2 / T2  = p1 / T2

Der Druck in angrenzenden Körpern, deren Volumen auf die beschrieben Weise verändert werden kann, ist im thermodynamischen GGW gleich.

DAS CHEMISCHE POTENTIAL

Wenn nun auch Teilchenaustausch zugelassen ist (Veränderung von mit ), so ergibt sich aus :

Mit der Definition des chemischen Potentials

ist das äquivalent zu

Mit diesen drei Definitionen gilt:

Daraus erhält man für das totale Differential der inneren Energie E(S,V,N):

Diese Relation kann jedoch nur angewendet werden, wenn das System während des betrachteten Prozesses tatsächlich ständig im thermodynamischen GGW bleibt (''quasistatische Prozeßführung''). Nur dann ist die Energie eine eindeutige Funktion von S,V,N. Nur dann kann man also auch schreiben

Für irreversible Prozesse gilt dagegen, daß die Entropie des Systems stärker zunehmen kann, als es alleine durch die Wärmezufuhr gegeben wäre:

Die Formulierung des Ersten Hauptsatzes in der Form ist dagegen allgemeingültig.

Mit dieser Beziehung für dE kann man Temperatur, Druck und chemisches Potential nun auch als Ableitungen der Energie E schreiben (in dieser Form werden sie meistens gebraucht):


Beispiele:

Im Binärenzahlensystem hat eine Folge von zb 10 * 0 =

0000000000  

eine sehr niedrige Entropie , sie ist gleich Null oder nahe Null . Die Wahrscheinlichkeit das diese Folge reiner Zufall ist,  ist sehr unwahrscheinlich. Genau genommen beträgt die Wahrscheinlichkeit 1 / 2^10 = 1 / 210 = 1/1024 = 0,0009765625

Eine Zufallsfolge von 10 Münzwürfen zb

1101111010  

ist zwar als diese spezielle Folge genauso unwahrscheinlich wie die Reihe 0000000000, andererseits kann man diese Folge nicht verkürzt darstellen , dh nicht komprimieren, sie ist wahrscheinlich ein Zufallsprodukt somit ist ihre Entropie groß.


Kodierungstheorie

Die Definition der Entropie

Um den Bezug zur Wahrscheinlichkeitstheorie herzustellen, interpretieren wir die Beobachtung als Zufallsexperiment und damit das Beobachtete als Zufallsvariable W, die Werte aus V(W) annehmen kann. P(W=2) gibt dann die Wahrscheinlichkeit dafür an, daß die Beobachtung allgemeiner Aufmerksamkeit notiert wird.

Gibt es eine untere Grenze der Anzahl der für die Kodierung durchschnittlich benötigten Bit? Diese untere Grenze läßt sich mittels der Entropie von W finden.

Definition der Entropie

Die Entropie einer Zufallsvariable W ist definiert als

H(W) = - Summe ( w element von V (W)      P(w)* log2 * P(w)

Im Beispiel der Zuhörerbeobachtung ergibt sich: H(W)=1,75. Dies entspricht der durchschnittlichen Anzahl der beim VLC benötigten Bit. Dies ist kein Zufall. Durch Vergleich der beiden Terme für die Entropie und die Bit-Anzahl wird klar, daß sich die Werte gleichen, wenn man jede Beobachtung w mit kodiert. Dies geschah beim VLC.

Die Bedeutung der Entropie

Satz 6 Die Entropie einer Nachrichtenquelle W ist die untere Grenze der zur Kodierung von w Element von V(W) durchschnittlich benötigten Bit.

Weiterhin gilt: Durch Kodierung einer Nachricht w mit -log2P(w) Bit gelangt man möglichst nah an diese Grenze. Dabei bezeichnet x strich die kleinste ganze Zahl, die größergleich x ist.

Die Entropie einer Nachrichtenquelle (wie z.B. der Beobachter ?? ) ist ein Maß für die durchschnittliche Information, die mit einer Nachricht übermittelt wird. Ein höherer Entropiewert bedeutet also eine größere Unsicherheit darüber, was die einzelnen Nachrichten besagen.

Die Entropie von Wortfolgen

Wir wenden nun den Entropiebegriff auf Wortfolgen an:

Je größer der Wert H(W1,n) für die von uns betrachteten Wortfolgen ist, desto schwerer ist das Spracherkennungsproblem.

Im allgemeinen wächst dieser Wert mit der Länge der Wortfolgen n. Da uns aber nicht eine bestimmte Länge interessiert, führen wir die Pro-Wort-Entropie ein:

Ein Beispiel

für ein Spracherkennungsproblem: Betrachten wir einen Prozeß, der Worte zufällig aus der Menge V(W) = {the, a, cat, dog, ate, slept, here, there} wählt. Weil jedes Wort unabhängig von den vorhergehenden Worten gewählt wird, beträgt die Entropie für jedes gewählte Wort:

H(W) = - Summe ( w element von V (W))      P(w)* log2 * P(w)

          = - P (the) log2 P(the) - P (a) log2 P(a)

             - P (cat) log2 P(cat) - P (dog) log2 P(dog)

             - P (ate) log2 P(ate) - P (slept) log2 P(slept)

            - P (here) log2 P(here) - P (there) log2 P(there)

          = 8 * ( -1/8 log2 1/8 )

          = - ( - 3) = 3

Die Entropie einer Sprache

Um uns nicht auf eine maximale Länge von Wortfolgen festlegen zu müssen, führen wir die Entropie einer Sprache L ein. Sie wird definiert als der Grenzwert der Pro-Wort-Entropie für sehr große Längen der Wortfolgen:

Weitere Sätze zum Thema


Fragen zum Thema

Entropie Forum in Englisch :

http://aldebaran.cpm.aca.mmu.ac.uk/~majordom/entropy/subject.html

Kann die Entropie Null werden ? ja

Was hat die molaren Wärmekapazität oder die spezifische Wärmekapazität mit der Entropie zu tun ?

Was ist ein Mikrozustand ?

Was ist ein Makrozustand ?

Was ist Omega ?

Gibt es überhaupt negative Entropie ? nein  siehe  Negentropie

Wie groß war die Entropie im Urknall  ? Null ?

Kann man die Entropie auf den Zufall zurückführen oder muß man umgekehrt den Zufall als Folgerung der Entropie definieren ?

Was ist die Entropie in der Mathematik ? Der Anteil an Zufall an einer Zahl oder einem Ereignis.

Wie hängt die Wahrscheinlichkeit mit der mathematischen Entropie zusammen ?

Wie groß ist die Entropie eines 8er Würfels ? 3 bit

Wie groß ist die Entropie eines 6er Würfels ? ca 2,3 bit

Wie oft muß ich einen 8er Würfel werfen um die Entropie 1 zu erreichen ? einmal dabei betrachte ich nur ob eine gerade oder eine ungerade Zahl herauskommt ( Ergebnismenge gerade , ungerade )

Kann man die Entropie auf den Zufall zurückführen oder muß man umgekehrt den Zufall als Folgerung der Entropie definieren ?

Kann man die Entropie auf die Wahrscheinlichkeit zurückführen oder muß man umgekehrt die Wahrscheinlichkeit als Folgerung der Entropie definieren ? ( was war zuerst da , die Henne oder das Ei ?)

Wenn folgender Satz stimmt :

Die Entropie eines reinen Stoffes in einer perfekten kristallisierten   Form ist am Absoluten Nullpunkt der Temperatur ( – 273 Grad Celsius) gleich Null !!   und die Entropie immer weiter zunimmt .

übersetzt aus http://www.math.washington.edu/~hillman/PUB/CausalSym

Hat die Shannon Entropie eine einfache Beziehung zur thermodynamischen Entropie , die man messen kann ?

I don't think that's true! I once spent some time reading Brillouin's book and more recent attempts to link Shannon's entropy with physical entropy, and concluded that none of these attempts were fully convincing. I think there is probably some relation, but it is probably a very subtle one, one which is not stated very precisely is capable of causing much confusion. I also note that there are in fact several physical entropies, just as there are (I estimate) over a thousand distinct mathematical entropies (so far!); several physics papers I have seen distinguish between the entropies associated with two distinct models of statistical mechanics, due to Boltzmann and Gibbs, respectively. There is also a conceptual distinction (at the very least) between the entropies defined in classical thermodynamics, classical statistical mechanics, and quantum statistical mechanics. Finally, physical entropy is one of those quantities which cannot be directly measured but must always be computed from measurements of other quantities; at least that is what I remember from reading Feynman's Lectures on Physics many years ago.

Kann man Negentropie messen oder sie als Scheinprodukt ausschließen ?

Man stellt aus 1 kg Wasser einen sauberen Einkristall her . Dann mißt man die Wärmemenge, die notwendig ist , diese Menge an Wasser zu schmelzen ( bei 273 Grad Kelvin und normalem Druck -

Dasselbe wiederholt man mit einem Kilo Wasser , daß zu Schneekristallen geformt wurde.

Unterscheidet sich die Schmelzwärme bei beiden Versuchen ?

Ist die Schmelzwärme von Schneekristallen größer oder kleiner als die Schmelzwärme eines Wassereinkristalles ?

Ist die Schmelzwärme von Schneekristallen größer oder kleiner als die

Schmelzwärme eines Wassereinkristalles mit derselben Anzahl an Molekülen ?

Wie kann man das Volumen in diese Betrachtung einbeziehen , den der Einkristall

hat ja ein geringeres Volumen als die Schneekristalle ?

Stimmt folgender Satz ?

Stimmt folgende Definition:

Der Zusammenhang Entropie - Information ist ziemlich unklar

I = k * E   Shannon   Information und Entropie sind direkt proportional

I = - k * E   Schrödinger, Wiener , Slizard, Broullion Information und Entropie sind indirekt proportional

I = Io* e-k*E  Stonier  Information und Entropie sind negativ korreliert, es gibt negative Entropie

==> die Physiker und Informationstheoretiker sollten sich schämen , für so viel unausgegorenes !

Wer hat hier recht ?


Chaitin , ein bekannter Zufallsforscher, gab in einem Aufsatz folgende Eins-Null Sequenz an

A = 01010101010101010101 als Beispiel für eine nichtzufällige Folge

B = 01101100110111100010 als Beispiel für eine Zufallsfolge

Wenn man mit einem Computerprogramm alle Möglichkeiten einer 20 stelligen binär Zahl auflistet, erstaunt man zunächst einmal wieviele Möglichkeiten es schon bei so einer kurzen Zahl gibt.

Wieviele ?  1048576  = 2 hoch 20 = 2^20

Auch wenn man vereinfachend annimmt , daß die Anzahl der Nullen und die Anzahl der Einsen gleich sein soll, bleibt immer noch eine lange Liste übrig.

Wieviele ?

Von diesen vielen Möglichkeiten genügen nun einige den Kriterien einer Zufallsfolgen , andere nicht.

Wieviele ?

Dabei sind die statistischen Grenzen zwischen Zufall und nicht Zufall nicht klar zu ziehen , sondern man muß , wie üblich bei statistischen Tests eine Irrtumswahrscheinlichkeit von zb 5 % vorher festlegen.

Je weiter weg man von dieser unsicheren Grenze Zufall - Nichtzufall ist , desto klarer wird allerdings der Unterschied. Herr Chaitin hat nun schlauer Weise 2 Beispiele gewählt die sehr klar einer der beiden Kategorien zufällig - nichtzufällig zuzuordnen sind.

Interessant wäre es , wenn man jeder dieser Folgen einen Zufallswert wie zb die approximative Entropie bzw den Kompressionsfaktor zuordnen kann . Dann müßte man eine gewiße Struktur der Zufälligkeit erkennen , die vielleicht ähnlich der Primzahlstruktur der natürlichen Zahlen ist.

So eine Betrachtung wirft m.E. dann auch ein schiefes Licht auf die direkte oder indirekte Verknüpfung von Entropie und Information.

Nur die Gesamtzahl der Möglichkeiten einer bestimmten Zahl von 01 Entscheidungen entspricht dann der kompletten Informationsmenge gemessen in Bit.

Die zufälligen Anordnungen von 0 und 1 bei einer gegebenen Länge sind dann nur ein Teil dieser gesamten Zahl der Möglichkeiten = Gesamtinformationsmenge , der andere Teil entspricht mehr oder mindert geordneten Folgen, die den Zufallskriterien nicht mehr genügen.

> Sehr geehrter Herr Schichan,

> > gerade habe ich mit großer Begeisterung Ihre Entropie Seite im Internet

> entdeckt. Ich studiere Maschinenbau an der Fachhochschule, wo uns im Fach

> Thermodynamik der Begriff Entropie nur als mathematischer Ausdruck vor die

> Füße geschmissen wird. Deshalb hat es mich sehr gefreut eine Seite zu

> entdecken, in der Sie in für mich recht verständlichen Worten diese Größe

> mit anschaulichen Beispielen erklären.

> Da für mich dieses Gebiet noch etwas Neuland darstellt sind für mich noch

> ein paar Fragen offen geblieben.

> So wie ich es verstanden habe ist ein Zustand mit geringer Entropie, also

> mit hoher Ordnung nur mit Energiezufuhr zu erreichen.

> Wie kommt es dann aber, dass beim Schmelzvorgang dQ zugeführt wird und die

> Entropie zunimmt?

>

> Dann wurde dieses Beispiel genannt: Oberes Becken mit Wasser gefüllt

> unteres Becken leer, also ein entropiearmer Zustand da er geordnet ist.

> Ich finde allerdings, dass der Zustand : unteres Becken gefüllt und oberes

> Becken leer auch ein geordneter Zustand, also ein entropiearmer Zustand

> ist.

> > Im ersten Fall hieß es, aufgrund die geringen Entropie könne, wie beim

> Wasserkraftwerk, Energie erzeugt werden.

> Aber der zweite Fall hat doch auch einen Zustand geringer Entropie. Warum

> stimmt dieser Zusammenhang wie im erste Fall hier dann nicht mehr?

>

> Ich würde mich sehr über eine Antwort von Ihnen freuen.

> Vielen Dank im Voraus.

> > Mit freundlichen Grüßen

Alexander Orlop



Hallo !

In Beantwortung Ihrer Fragen:



Meine Entropieseite ist mehr eine Stoffsammlung und ist von allen möglichen Quellen her gefüllt worden. Sie enthält also noch eine Reihe von Widersprüchen. Auch ich verstehe vieles noch nicht.



Trennen Sie bitte immer die Vorstellung von der Entropie

von dem 2.Hauptsatz der Thermodynamik , die den steten Entropiezuwachs postuliert.



Entropie kann man einerseits als die Gesamtmenge an Zufall in einem System ansehen, andererseits ist es eine Wärmeenergie , die nicht mehr ausnutzbar ist.



Der Begriff der Ordnung wird oft missverstanden. Thermodynamisch versteht man unter einer Ordnung die Ordnung in einem Kristall. Dabei hat ein ganz sauber geordneter Einkristall die höchste Ordnung.

Die Entropie ist dabei dann Null oder nahe Null.



Alle komplizierteren ("höheren") Ordnungen , wie zb in einem Schneekristall haben rechnerisch gegenüber dem Einkristall unordentliche Elemente, ihr Ordnungswert ist also niedriger als im Einkristall und die Entropie ist nicht mehr null.



Insofern ist die Kristallordnung ein Wert der der Entropie reziprok entgegenläuft. Wahrscheinlich gilt Entropie = 1 / Ordnung .

Dazu findet man allerdings kaum etwas in den Physikbüchern.



Drei Beispiele sind also sehr wichtig :

1 g Wasser als Einkristall , sauber geordnet, dicht gepackt, Entropie fast Null bei einer Temperatur am absoluten Nullpunkt.

1 g Wasser als Schneekristalle, komplizierte Ordnung, braucht aber auch schon mehr Volumen. Im Vergleich zum Einkristall unordentlicher.

1 g Wasser als Flüssigkeit oder Gas , sehr unordentlich ( amorph). Entropie deutlich höher.



Das ganze kann man auch als Folge von 0 und 1 anordnen.



01010101010101010101010 Einkristall , hohe Ordnung, fast keine Entropie

00110100110010111011010 Zufallsfolge, niedrige Ordnung, hohe Entropie

01101110010111011110001 logische Folge, mittlere Ordnung, mittlere Entropie 01234 in Binärziffern



Soweit verstehe ich den Begriff Entropie mittlerweile ganz gut.



Wo ich Verständnisschwierigkeiten habe ist die Einbeziehung des Raumes oder des Volumens in die Betrachtung. Schneekristalle brauchen zb viel mehr Volumen. Sie haben Leerstellen in ihrer Kristallordnung. Man müßte eigentlich die Leerstellen in die Betrachtung mit einbeziehen. Beim Wasser und beim Gas wird dies allerdings schwierig , da die Wassermoleküle ständig in Bewegung sind. Die Leerstellen sind dann nicht mehr messbar , sondern man kann nur das Gesamtvolumen angeben.



Den Zusammenhang zwischen Entropie und Energie verstehe ich auch nicht so ganz.

Im Urknall müßte nach meiner Vorstellung die Ordnung sehr hoch und die Entropie sehr niedrig gewesen sein. Allerdings war die Temperatur wohl ziemlich hoch, was dem ganzen widerspricht.



==> Über dieses Thema müssen sich die Astrophysiker noch mehr Gedanken machen.



Sie fragen ob hohe Ordnung nur unter Energieaufwand zu erreichen ist.

Aus der Sicht einer mittleren Temperatur von circa 0 - 100 Grad Celsius wohl schon. Je weiter wir uns von dieser mittleren Erdtemperatur weg bewegen desto mehr Energie müssen wir aufwenden.

Das stimmt sowohl für extreme Kühlvorgänge als auch für des extreme Erhitzen zb das Schmelzen von Eisen.



Durch den steten Energiezustrom der Sonne können aber auf der Erde Dinge "von alleine" entstehen. Eiskristalle bilden sich in der Nacht oder im Winter "von alleine" und schmelzen wieder am Tag oder im Sommer wenn es wärmer wird.

Auch das Leben auf der Erde ist aus Sicht der Entropie ziemlich ungewöhnlich, aber durch das Jahrmilliarden anhaltende Brennen der Sonne physikalisch nicht unmöglich.





Man kann auch fragen warum seit dem Urknall die Teilchen nicht gleichmässig auseindergeflogen sind . Warum klumpen sie zu Sternen ( Es entsteht Ordnung von alleine ! ) und wie so zünden sie zur Kernfusion und geben soviel Energie wieder ab.

Der Trend zur Entropieerhöhung , wie es der 2.Hauptsatz vorschreibt läuft also nicht schön gleichmäßig ab, sondern in manchen Bereich geht es schneller bergab und in manchen langsamer . Und eine schnelle Entropieerhöhung kann im gleichen Atemzug durch direkten Kontakt im Nachbargebiet zu einer Entropierniedrigung führen ("Es geht auch mal bergauf!").



Zum Wasserbecken:

Ein schönes Beispiel, da es auf den ersten Blick recht einfach erscheint.

Die einwirkende Kraft ist die Gravitation. Diese ist ziemlich konstant.

Reibungskräfte kann man wahrscheinlich grob vernachlässigen.

==> Die Gravitationskraft zwingt das Wasser an den tiefsten Punkt zu fließen.

Die Innere Ordnung des Wassers ist vorher und nachher ziemlich gleich. Spielt also keine große Rolle .

Die freigesetzte Energie kann man aus der Wassermenge ( Gewicht des Wassers ) und der Höhe zwischen den 2 Becken berechnen .

E = h * Gewicht

Gewicht = Masse * Beschleunigung

Nimmt man 1 m Höhe an und 1 kg Wasser dann erhält man

E = 1 Meter * 1 kg * 9.81 m / sek * sek = circa 10 Newton * Meter = 10 Joule.

Ein Teil dieser Energie könnte man jetzt dem System entziehen und extern nutzen. Ein Teil ist nicht nutzbar und geht als Reibungswärme nach außen verloren oder erhöht etwas die Temperatur der Wassermoleküle. Die Entropie ( = nicht nutzbare Wärmeenergie) nimmt etwas zu .

Entzieht man die Energie nicht, geht sie ganz als Reibungswärme nach außen durch Erwärmung der Umgebung und durch Erwärmung der Wassermoleküle verloren . Die Entropie des Gesamtsystems nimmt um circa 10 Joule zu.

Auch wenn die innere Ordnung der Wassermoleküle ziemlich gleichgeblieben ist, dann kann das Wasser von allein nicht mehr bergauf laufen. Die freigesetzte Energie hat die Entropie erhöht.

Würde man das System mittels Vakuum nach außen isolieren würde die gesamte freigesetzte Energie zu einer Entropieerhöhung im Wasser des unteren Beckens führen, was man an einer Temperaturerhöhung nachmessen könnte . Geschätzt würde das Wasser ein bis 2 Grad wärmer. Man kann das aber auch genau Ausrechnen oder nachmessen.

Die Ausgangstemperatur des Wassers muß dann noch bekannt sein zb 20 Grad Celsius. Das Volumen wird minimal größer.

==> im Vergleich zur gesamten absoluten Entropie die in dem Wasser steckt, ist die Entropieerhöhung im unteren Becken gering . Trotzdem ist die Entropie im unteren Becken größer, was man an der Temperaturerhöhung nachmessen kann und es wird nicht mehr von alleine bergauf laufen.

Hier bestehen bei mir keine allzu großen Verständnisprobleme.

MfG R.Hoffmann

Hallo,

irgendwie verwirrt mich das alles.

Du schreibst..

Zusammenhang Entropie - Energie :

Es muß Energie eingesetzt werden , wenn die Entropie abnehmen soll. Wenn der chaotische Schreibtisch (große Entropie) aufgeräumt werden soll (geringe Entropie), so sind wir hinterher schweißgebadet (hoher Energieeinsatz).

Aber andererseits: Wenn einem Eisblock Energie zugeführt wird, nimmt doch die Entropie zu, da das geordnete Eis nun ungeordneter wird.

Mich interessiert die Entropie deshalb: ich habe in einem Beziehungsbuch(Paarbeziehung) gelesen: Das in der Paarbeziehung auch das Gesetz der Entropie gilt. Das heißt: am Anfang der Beziehung investieren beide Partner viel(Energie), später weniger. Die Entropie nimmt ihren Verlauf.

Was sagst Du dazu?

Lieben Gruss

Jürgen




Negentropie siehe auch Negentropieseite

Der Ärger mit dem Minuszeichen


Falsche Ansichten zur Entropie

Entropie = Information  oder Entropie ~ Information   ( ~  ist proportional )

Das stimmt nicht oder nur bedingt.

Entropie ist die Gesamtmenge an Zufall die in einem Ereignis oder in einer Sequenz steckt.

Unter Information versteht man meist die Menge an sinnvoller Information , die Menge an geordneter Information und diese enthält eher wenig Zufall.

Entropie = Menge an Zufallsinformation    ( das ist korrekt !)


"Die Entropie ist der Grad der Zunahme von Unordnung in einem geschlossenen System, und wird vom zweiten Hauptsatz der Thermodynamik beschrieben. "

Diese Aussage ist meines Erachtens falsch , denn hier wird die Entropie als Maß für die zufällige Verteilung von Teilchen mit der Zunahme der Entropie verwechselt. Die Entropie sollte man aus Verständnisgründen zunächst ohne die Vorstellung von der ständigen Zunahme derselben definieren.


Die Entropie wird mit der Gesamtzahl von Möglichkeiten verwechselt:

Betrachtet man eine beliebige binäre Zahl von gegebener Länge zb mit 20 Stellen.

Dann kann man die Gesamtzahl der Möglichkeiten errechnen als 2 hoch 20 = 2^20 = 220 = 1048576 = 2*2*2*2*2 *2*2*2*2*2 *2*2*2*2*2 *2*2*2*2*2 = 32 * 32 *32 *32 = 1048576

Nur ein Teil dieser Möglichkeiten ist als echte Zufallsfolge zu betrachten ( ca 80 - 90 % der gesamten Möglichkeiten , je nach Definition des analytischen Zufalls) , der Rest der Folgen ist geordnet und erfüllt nicht die Kriterien der Nichtkomprimierbarkeit oder der zufälligen Gleichverteilung von 0 und 1.

Alle diese geordneten Varianten sind zwar auch zufällig möglich . Sie entstehen bei einem Zufallsprozeß aber nur sehr selten , sind unwahrscheinlich und sind damit entropiearm.

Somit ist die direkte unreflektierte Beziehung von Entropie und Information genauso problematisch , wie die direkte Beziehung von Ordnung und Information.

Die Gesamt Menge der Möglichkeiten = Gesamtinformationsmenge setzt sich zusammen aus dem

Je größer die Gesamtmenge der Möglichkeiten , desto größer ist die Zahl der zufälligen Möglichkeiten , desto größer ist aber auch die Zahl der geordneten , nicht zufälligen Möglichkeiten.

Bei kurzen 01 Sequenzen ist im nachhinein nicht feststellbar , ob sie Produkt eines Zufallsereignisses oder eine geordnete Folge sind . Hier überlappt sich der Bereich des Zufalls mit dem Bereich der Ordnung !

Außerdem gibt es Querschläger :

Man muß unterscheiden :

Siehe zufall   und Arten des Zufalls


Wirre Vorstellungen von der Entropie :

http://www.cosmic-love.de/htm/essen-5.htm

Nahrung: Information und Ordnung wichtiger als Energie-Gehalt

Der Bio-Photonen-Forscher Prof. Dr. Fritz A. Popp über die wichtigste Qualität der Nahrung Prof. Fritz Albert Popp, geboren 1938, studierte Physik in Göttingen und Würzburg, diplomierte in Experimentalphysik, promovierte in theoretischer Physik und habilitierte in theoretischer Radiologie 1973. Popp wurde insbesonders durch seine Arbeiten zur Zellkommunikation mit Hilfe von Bio-Photonen bekannt und leitet heute das Institut für Biophysikalische Zellforschung in Kaiserslautern.

Das folgende Interview von 1990 mit Prof. Ol Sartorio gibt einen Einblick in die interessanten Erkenntnisse von Prof. Dr. Popp im Bereich natürlicher Ernährung.

"Das elementarste Lebensmittel ist Licht - Licht im Körper speichern ist das wesentliche", so Popp, "je länger, desto effektiver." In der Photosynthese werden CO2 und H2O durch Sonnenlicht zu Glukose "verschweißt". Bei der Glykolyse werden CO2 und H2O wieder ausgeschieden. Die gespeicherte Energie wird in Form von Photonen wieder freigesetzt. Höhere Ordnungsformen speichern das Licht effektiver als niedrigere. "Dies sind Tatsachen, darum müssen wir den Wert der Nahrung anders sehen als herkömmlich, denn der Wert der Nahrung liegt vorwiegend in der Versorgung mit Ordnung und Informationen, so wie es auch in der Synergetik gesehen wird.

Ich teile mit dem Physiker, Philosophen und Nobel-Preisträger Erwin Schrödinger die Auffassung, dass ein System in dem Maße Wärme (Chaos) abführt, wie ein höherer Ordnungszustand erreicht wird. Der Wert der Nahrung ist also für den Menschen um so höher, je stärker daraus eine Wärmeproduktion resultiert. Wir dürfen dabei jedoch nicht vergessen, dass höhere Lebewesen zu verschiedenen Zeiten individuell verschiedene Ansprüche an ihre Nahrung stellen, die abhängig sind von ihrer Art, ihrem Zustand - zum Beispiel ob Sie krank oder gesund sind - , ihren Eßgewohnheiten, ihrem Umfeld und auch von ihrem Appetit. Dabei gibt es natürlich essentielle Substanzen, die in der Nahrung auf Dauer nicht fehlen dürfen, wie zum Beispiel Vitamine, Spurenelemente und bestimmte Aminosäuren. Der Qualitätsbegriff für Nahrung muß jedoch neu definiert werden, da er weit über das kalorimetrische  Denken hinausgeht. So sind zum Beispiel Standort (Lage), Bodenbeschaffenheit, Sonnenbestrahlung und Düngevarianten bei pflanzlicher Kost von entscheidender Bedeutung für die Qualität.

Auch die Frische, die Zeit und die Art der Lagerung sowie die Haltbarmachung spielen eine entscheidende Rolle, wie wir an der jeweiligen Photonenmessung erkennen können."

"Was wir in den biochemischen Verhältnissen erkennen können, ist die zwangsläufige Folge der Energie, die  dahintersteht, und deren Basis ist wiederum die Information, die den Vorgängen zugrundeliegt. Ernähren heißt also in erster Linie Ordnung zuführen und stabilisieren."

Bereits feinste Veränderungen in der Zusammenwirkung der einzelnen Faktoren eines Ganzen können zum Symmetriebruch und damit zu einer plötzlichen Änderung des Ordnungszustandes führen. Die Biochemie kann diese Fragen nicht allein beantworten, denn der wesentliche Unterschied zur geläufigen, rein biochemischen Interpretation der Nahrung besteht in zwei Faktoren, die sich biochemisch nicht oder nur indirekt erfassen lassen:

1. Das biologische System wird ausdrücklich als offenes   System charakterisiert und ist somit nicht als abgeschlossenes  biochemisches Reaktionsgemisch konstanter Temperatur   betrachtbar, so wie es die Biochemie sieht.

2. Ins Spiel kommt ein "Ordnungs"-Parameter, der "supermolekulare" Wechselwirkungen und nicht etwa molekulare chemische   Relativitäten beschreibt.

Wir können dies in dem einfachen Satz zusammenfassen:   "Nahrung ist bis auf aktuelle Notfälle oder die extreme Situation des Schwerstarbeiters in erster Linie nicht Kalorienträger, sondern Nachricht und Information".   Nach dem Nobelpreisträger Schrödinger und den Erkenntnissen der Synergie hat Nahrung die elementare Aufgabe, den Ordnungszustand des lebenden Systems aufzubauen und gegen chaotische Einflüsse zu stabilisieren.

Prof. Popp gab in diesem Zusammenhang folgendes Beispiel: Nahrungsenergie ist vergleichbar mit der Energie, die der Geigenbogen auf die Geigensaite überträgt, wenn er sie zum Schwingen anregt. Die gleiche Energie auf andere Weise übertragen - beispielsweise durch Erwärmen mit einer Flamme - könnte nicht die Harmonie des reinen Geigentons übertragen. Die Qualität äußert sich hier in der Fähigkeit, die Entropie, also den Zerfall des Systems mit minimalen Energieaufwand zu verringern und die Negentropie (Synergie), also die Zusammenwirkung, zu stabilisieren.

Es ist notwendig, hier anzuführen, daß der Vergleich mindestens in einem nicht unwesentlichen Teil hinkt: Das biologische System verfügt über einen "aktiven" Sog. Es ahnt im "Appetit", oder weiß im natürlichen Zustand wenigstens teilweise, welches Nahrungsmittel die Rolle der Entropieverringerung am besten erfüllt, im Gegensatz zum "passiven" Geigenbogen (ergänzend wird in diesem Zusammenhang auf die Arbeiten von Popp 1984, 1986, 1988 und 1989 hingewiesen). "Im übrigen", so erklärt uns Popp, "können wir davon ausgehen, daß Lebensmittel und Evolution eine gemeinsame physikalische Komponente aufweisen, also wie der Mensch sich ständig entsprechend dem Umfeld orientiert, anpaßt und verändert."

Popp erinnert auch daran, daß die Qualität eines Lebensmittels mit wachsender Umweltbelastung (Kontermination) schon deshalb abnimmt, weil die Fähigkeit, Ordnung zu erzeugen, mit wachsender Disharmonie des Senders (Nahrung oder Mensch) selbstverständlich geringer wird - die Aufmerksamkeit also mit zunehmender Disharmonie gesteigert werden muß.


Die nächsten Texte wurden von folgender Quelle übernommen http://www-tfp.physik.uni-karlsruhe.de/~didaktik/altlast/index.html

Dritter Hauptsatz

Gegenstand:

“Es gibt keinen in endlichen Dimensionen verlaufenden Prozess, mit dem ein Körper bis zum absoluten Nullpunkt abgekühlt werden kann.” Das ist eine von vielen möglichen Fassungen des dritten Hauptsatzes der Wärmelehre .

Mangel:

Warum erscheint uns dieser Satz überhaupt erwähnenswert? Unmöglichkeitsaussagen dieser Art gibt es in großer Zahl. Es gibt keinen in endlichen Dimensionen verlaufenden Prozess, mit dem ein luftgefüllter Kanister absolut leer gepumpt werden könnte. Es ist unmöglich, eine Badewanne mit einem Eimer vollständig auszuschöpfen. Feststellungen dieser Art empfinden wir als trivial und schon gar nicht als Naturgesetze. Anders bei der Entropie. Wir lernen sie meist nur in so esoterischer Verpackung kennen, dass uns ein unbefangener  Umgang mit dieser Größe außerordentlich schwer fällt. Aussagen über die Entropie bekommen einen Stellenwert, der in keinem Vergleich zu ihren einfachen physikalischen Eigenschaften steht. Wir begegnen der Entropie mit soviel Ehrfurcht und legen in diesen Begriff so viel Metaphysisches hinein, dass uns der Vergleich des dritten Hauptsatzes mit der ausgeschöpften Badewanne geradezu respektlos erscheint. Und doch sind beides Aussagen derselben Art. Die simple Analogie beschreibt den Sachverhalt viel klarer als alle gängigen Formulierungen dieses Satzes.

Herkunft:

Der Satz geht auf W. Nernst zurück. Von seinem Schüler F. Simon stammt die Fassung “Es ist unmöglich, eine Substanz vollständig ihrer Entropie zu berauben”. Der Satz schließt eine Lücke, die der 2. Hauptsatz lässt, indem er in der Entropieberechnung den Wert der Integrationskonstanten näher bestimmt. 

Entsorgung:

Die Achtung vor den Schöpfern des Wärmesatzes sollte uns nicht daran hindern, die Dinge etwas nüchterner zu sehen. Der Satz gehört nicht auf den Altar, sondern in die Kiste zu unserem üblichen Handwerkszeug.

G. J.

Altlasten der Physik (5)

Quelle http://www-tfp.physik.uni-karlsruhe.de/~didaktik/altlast/index.html


Entropie

Gegenstand:

Als Entropie S wird eine Größe bezeichnet, die in der klassischen Thermodynamik als eine durch ein Integral definierte, abstrakte Funktion eingeführt wird. Dieser Zugang verleiht der Größe einen derart abgehobenen Charakter, dass selbst die Spezialisten ihres Faches Mühe im Umgang mit diesem Begriff haben. Inzwischen kennt man andere, leichtere Zugänge, die die Entropie in die Reichweite des Schulunterrichts gerückt haben.

Zur Zeit ist ihre Deutung als Unordnungsmaß ein vor allem unter Chemikern beliebter Ansatz, um wenigstens ein grobes Verständnis von ihrer Bedeutung zu vermitteln.

Mängel:

Dass die Entropie qualitativ erfassbar wird, ist zwar ein Fortschritt, genügt aber nicht dem Anspruch eines Physikers. Ihm gilt eine Größe erst dann als definiert, wenn er ein direktes oder indirektes Verfahren zu ihrer Quantifizierung angeben kann. Störend ist auch der Umstand, dass der makroskopisch definierbaren Größe anscheinend kein einfaches makroskopisches Merkmal zugeordnet werden kann.

Herkunft:

In der ersten Hälfte des vorigen Jahrhunderts wurde mit zunehmender Erfahrung immer deutlicher, dass die von S. CARNOT und anderen angenommene Erhaltung der Wärme unhaltbar ist. Das veranlasste R. CLAUSIUS im Jahre 1850, eine Neuordnung der Wärmelehre aufgrund der Annahme zu versuchen, dass Wärme und Arbeit ineinander umwandelbar sind /1/. Im Zuge dieser Umgestaltung konstruierte CLAUSIUS auch die Größe S, um die Beschränkungen beschreiben zu können, denen diese wechselseitige Umwandlung unterliegt.

Entsorgung:

In einem Festvortrag vor der Physical Society of London wies ihr damaliger Präsident H. CALLENDAR /2/ im Jahre 1911 darauf hin, dass S nichts weiter ist als eine komplizierte, abstrakte Rekonstruktion derjenigen Größe, die bei CARNOT Wärme hieß. Der einzige Unterschied war, dass die Wärme nun erzeugbar, aber wie bisher unzerstörbar war. Diese Erkenntnis kam ein halbes Jahrhundert zu spät, um die Entwicklung noch korrigieren zu können. Man kann aber daraus schließen, dass die Größe S nicht nur eine ähnlich sinnfällige Bedeutung besitzen muss wie die Wärme früher, sondern auch auf ähnlich einfache Weise quantifizierbar sein muss. Dadurch sollte sich das formalistische Gespenst S der klassischen Thermodynamik auf einen bereits für Mittelstufenschüler fassbaren und handhabbaren Begriff reduzieren und zugleich das damit überflüssig werdende Arsenal mathematischer Hilfsmittel entsorgen lassen. Diese Erwartung wird inzwischen durch vielerlei Schulerfahrung bestätigt /3/. In der Rolle der Wärme wird S selbst unter dem nichtssagenden Namen Entropie zu einer Größe, die kaum anspruchsvoller ist als die Begriffe Länge, Dauer, Masse. Dass die Größe in der Informatik, der statistischen Physik oder den atomistischen Vorstellungen der Chemiker in einem anscheinend ganz anderen Gewand auftritt, steht ihrer Rolle als Wärme in der Makrophysik keineswegs im Wege.

/1/ Auch diese Annahme, die Gegenstand eines späteren Beitrages sein soll, ist eine Altlast, an der die Physik schwer zu tragen hat.

/2/ H. L. CALLENDAR: Proc. Phys. Society of London 23 (1911) 153. Hier findet sich auch der Vorschlag, die Einheit J/K, die heute die gesetzliche Entropieeinheit ist, als “Carnot” zu bezeichnen.

/3/ Neben den Erfahrungen einzelner Lehrer auch ein Großversuch im Rahmen der Erprobung des Karlsruher Physikkurses

G. J.

Altlasten der Physik (8)

Quelle http://www-tfp.physik.uni-karlsruhe.de/~didaktik/altlast/index.html


Die Messung der Entropie

Gegenstand:

Die Entropie wird, wenn überhaupt, so eingeführt, dass der Eindruck entsteht, es handele sich um eine Größe, deren Werte man nur durch komplizierte mathematische Berechnungen erhalten kann.

Mängel:

Die Entropie ist, neben der Temperatur, die wichtigste Größe der Wärmelehre. Sie ist die zur intensiven Temperatur gehörende extensive Größe. Entropie und Temperatur gehören genauso zusammen wie elektrische Ladung und elektrisches Potenzial oder wie Impuls und Geschwindigkeit. Entropieströme sollten demnach in der Wärmelehre dieselbe Rolle spielen, wie elektrische Ströme in der Elektrizitätslehre oder Kräfte (Impulsströme) in der Mechanik. Die übliche Einführung der Entropie wird dieser wichtigen Rolle nicht gerecht.

Bei ihrer ersten Erwähnung wird uns die Entropie oft präsentiert als “Zustandsfunktion“/1/. Warum wird ausgerechnet bei der Entropie betont, sie sei eine Funktion? Die Entropie ist zunächst eine physikalische Größe.

Zur Funktion wird sie erst, wenn man sie in Abhängigkeit von anderen Größen darstellt. Je nachdem, welche anderen Größen man wählt, ist der funktionale Zusammenhang natürlich ein anderer.

Und warum wird betont, sie sei eine Zustandsfunktion oder Zustandsgröße? Alle extensiven physikalischen Größen sind Zustandsgrößen (und noch viele andere mehr), aber diese Tatsache ist so selbstverständlich, dass man sie normalerweise nicht erwähnt. Da die übliche Einführung der Entropie keine anschauliche Vorstellung vermittelt, klammert man sich an diese eine Eigenschaft, in der sie sich allerdings von den meisten anderen Größen gar nicht unterscheidet.

Der wohl wichtigste Mangel bei der Einführung der Entropie ist, dass man kein Messverfahren vorstellt. Die komplizierte Einführung der Größe hinterlässt dann den Eindruck, die Messung der Entropie sei schwierig, vielleicht sogar unmöglich.

Tatsächlich ist die Entropie aber eine der am leichtesten zu messenden Größen überhaupt. Man kann Entropiewerte mit recht guter Genauigkeit mit Hilfe von Geräten bestimmen, die man in jeder Küche findet.

Herkunft:

Siehe /2/

Entsorgung:

Es geht natürlich nicht um die “Entsorgung” der Entropie oder deren Messung, sondern um die Beseitigung des Vorurteils, die Entropie sei schwer zu messen.

Wie misst man Entropien? Wir formulieren zunächst die Messaufgabe genauer: Man bestimme die Entropiedifferenz zwischen 5 Liter Wasser von 60 °C und 5 Liter Wasser von 20 °C.

Man beginnt mit dem Wasser bei 20 °C und heizt es mit einem Tauchsieder auf 60 °C. Man rührt gut um, so-dass die Temperatur überall im Wasser gleich ist, und man misst während des Heizens die Temperatur als Funktion der Zeit. Der Energiestrom P, der aus dem Tauchsieder ins Wasser fließt (die Leistung) ist bekannt. Aus dE = T · dS folgt dS = dE / T = P * dt  / T.  Eine kleine Entropiezunahme dS erhält man also einfach als Quotienten aus der Energiezufuhr dE = Pdt und der Temperatur T. Da sich die Temperatur des Wassers beim Heizen ändert, muss man, um die gesamte zugeführte Entropie zu erhalten, von der niedrigen Temperatur T 1 bis zur hohen Temperatur T 2 aufintegrieren oder aufsummieren:

P = Energiestrom des Tauchsieders

Delta S = P * ò ( Integral von T1 nach T2) dt / T = ca P * å ( Summe i ) Delta ti / Ti

Solange die Temperaturänderung beim Heizen klein gegen die mittlere absolute Temperatur ist, kann man aber statt der veränderlichen Temperatur getrost diese mittlere Temperatur verwenden, und man erhält

Delta S = P * Delta t   / T

Also: Entropiezunahme gleich Energiestrom des Tauchsieders mal Heizzeit durch mittlere Temperatur.

/1/ Gerthsen – Kneser – Vogel: Physik. – Springer-Verlag, Berlin, 1977. – S. 183

/2/ Job, G.: Altlasten der Physik (8), Entropie

Altlasten der Physik (16)


Streben zum Energieminimum

Gegenstand:

Auf die Frage nach der Ursache vieler Vorgänge gibt es eine gängige Antwort. Es geschieht, weil das System dadurch einen Zustand geringerer Energie erreicht:

– Ein Pendel kommt in seinem Tiefpunkt zur Ruhe

– ein schwimmendes Brett kippt auf die Seite

– eine Seifenblase formt sich zur Kugel

– ein Schwamm saugt sich voll Wasser

– ein Ladungsfleck zerfließt auf einem Leiter

– angeregte Gasatome emittieren Photonen

– positive und negative Ionen ordnen sich zu einem Kristallgitter

– überschwere Kerne neigen zum Zerfall.

Mängel:

Hinter dieser Art der Begründung steckt unausgesprochen die Annahme, jedes System strebe einen Zustand kleinster Energie an und nehme diesen auch an, wenn es nicht durch besondere Umstände daran gehindert wird. In dieser Form ist die Annahme jedoch sinnlos. Wenn nämlich ein System ein Energieminimum erreicht, muss wegen der Energieerhaltung das dazu komplementäre System, die Umgebung, ein Energiemaximum annehmen. Dasselbe Argument, angewandt auf die Umgebung, würde folglich das gegenteilige Ergebnis liefern. Die obige Annahme kann also nicht allgemein gelten. Für welche Systeme gilt sie dann aber?

Die Antwort liefert die Thermodynamik. Das System muss, wie es W. GIBBS 1873 ausdrückte, abgeschlossen sein bis auf eine zur Konstanthaltung seiner Entropie notwendige Energieabfuhr. Die durch Vorgänge im System erzeugte Entropie Se erscheint dann ausschließlich in der Umgebung und mit ihr die dem System entstammende Energie TSe, wenn T die Umgebungstemperatur ist. Da Se und T stets positiv sind, verliert das System dabei stets Energie, da ja jeder sonstige Energieaustausch, der die Verluste ausgleichen könnte, verboten ist. So gesehen ist das Streben zum Energieminimum lediglich eine Folge des Entropieprinzips, angewandt auf eine spezielle Klasse von Systemen.

Herkunft:

In der Mechanik sieht man von den thermischen Eigenschaften der Materie ab. Hebel, Rollen, Federn, Klötze, Seile usw. werden wie Dinge behandelt, die sich nicht erwärmen lassen, deren Temperatur und Entropie also unveränderlich ist. Durch Reibung erzeugte Entropie wird stillschweigend der Umgebung zugerechnet, etwa indem man sie sich dort entstehend oder dorthin abgeführt denkt. Wenn man alle sonstigen, an einem Energieaustausch mitwirkenden Teile dem System zurechnet, ist die von GIBBS genannte Voraussetzung erfüllt, so dass wir hier zu Recht von einem Streben zum Energieminimum sprechen können. Ähnliches gilt für Systeme aus vielen anderen Gebieten der Physik – Hydromechanik, Elastizitätslehre, Elektrizitätslehre und so weiter. Da die Entropieerzeugung als Ursache nie erwähnt wird, entsteht der Eindruck eines eigenständigen  Naturprinzips.

Entsorgung:

Wie so oft, verleitet uns unser gespanntes Verhältnis zur Entropie zu fragwürdigen Ersatzkonstruktionen.

Das Grundübel, das einen Rattenschwanz von Schwierigkeiten nach sich zieht (vgl. Altlasten 1, 3, 5, 8, 10, 16) und jeden Versuch zur Abhilfe konterkariert, ist das seit anderthalb Jahrhunderten liebevoll gepflegte, im ersten Hauptsatz der Wärmelehre verankerte Dogma von der Wärme als einer besonderen Form der Energie. Nur wenn wir an dieser Stelle zu irgendeiner Revision bereit sind, ist eine nachhaltige Besserung zu erwarten.

G. J.

Altlasten der Physik (25)


Wärmestrahlung

Gegenstand:

Wir beschäftigen uns mit drei Aussagen über die Wärmestrahlung, die man in Lehrbüchern findet, und die zum Teil miteinander im Widerspruch stehen, zum Teil einfach nicht korrekt sind. Man findet nicht unbedingt alle drei Aussagen in ein und demselben Lehrbuch.

1) Die Ausbreitung von Wärme erfolgt durch Wärmestrahlung, Wärmeleitung und Konvektion.

2) An das rote Ende des sichtbaren Spektrums schließt sich der Bereich der Wärmestrahlung an.

3) Mit dem Sonnenlicht kommt Wärme von der Sonne zur Erde, und diese äußert sich in einer Temperaturerhöhung des Körpers, von dem sie absorbiert wird.

Mängel:

Die elektromagnetische Strahlung, um die es hier geht, wird auch oft thermische Strahlung oder Temperaturstrahlung genannt. Man charakterisiert mit diesen Namen zunächst ein bestimmtes Verfahren der Erzeugung elektromagnetischer Strahlung: Ein Körper emittiert elektromagnetische Strahlung, weil er eine von Null verschiedene Temperatur hat. Es gibt auch andere Erzeugungsverfahren elektromagnetischer Strahlung. Die entsprechende Strahlung heißt dann nicht-thermische Strahlung. So werden die Mikrowellen eines Klystrons, die Lumineszenzstrahlung einer Halbleiterdiode oder Laserlicht nicht als thermische Strahlung bezeichnet.

Zunächst ein etwas trivialer, trotzdem aber wichtiger Einwand gegen eine der oben zitierten Formulierungen:

Thermische Strahlung ist nicht auf den Infrarotbereich beschränkt. Sonnenlicht ist thermische Strahlung, aber die meiste Energie wird im sichtbaren Bereich des Spektrums transportiert. Die kosmische Hintergrundstrahlung ist thermische Strahlung. Ihr Energiemaximum liegt bei einer Wellenlänge von 1mm im Mikrowellenbereich. Das Plasma eines Fusionsreaktors emittiert thermische Strahlung im Röntgenbereich. Ein schwerer wiegender, aber viel subtilerer Mangel hat mit der Aussage zu tun, elektromagnetische Strahlung transportiere Wärme. Um diese Aussage zu analysieren, müssen wir zunächst klären, was man damit überhaupt meint, wenn man sagt, bei irgendeinem Vorgang werde Wärme, oder Energie in Form von Wärme transportiert. Unter einem Wärmetransport versteht man allgemein einen Energietransport, der von einem Entropietransport begleitet ist. Energiestrom P und Entropiestrom IS hängen miteinander zusammen über die Temperatur T:

P = T · IS (1)

Im allgemeinen wird ein Energiestrom mehrere Anteile haben oder aus mehreren Energieformen bestehen: Wärme, Arbeit, elektrische und chemische Energie. Als Wärme bezeichnet man dann nur den Anteil, der durch Gleichung (1) beschrieben wird.

Um zu entscheiden ob oder zu welchem Anteil eine bestimmte elektromagnetische Strahlung Wärme ist, muss man also zum einen den transportierten Entropiestrom betrachten, zum anderen muss man die Temperatur der Strahlung kennen. Bei einer planck-verteilten Strahlung gibt es in dieser Hinsicht kein Problem. Es wird aber um so schwieriger, je selektiver der Strahler ist, weil man der Strahlung ihre Temperatur immer schlechter ansieht. Einfach sind die Verhältnisse erst wieder bei der Strahlung die von nichtthermischen Strahlern ausgeht, wie der Mikrowellenstrahlung eines Klystrons oder den elektromagnetischen Wellen eines Radiosenders. Hier ist der Entropiestrom praktisch Null und man wird diese Strahlungen nicht als Energie in Form von Wärme bezeichnen. Dass die Dinge so kompliziert sind, wird leicht übersehen, wenn man nur den Effekt der Einstrahlung elektromagnetischer Wellen auf einen Absorber sieht. Der Absorber wird erwärmt.

Wir kommen damit zu einem klaren Fehler in den oben angeführten Aussagen. Die Erwärmung des Absorbers ist völlig unabhängig davon, ob die einfallende Strahlung Wärme transportiert oder nicht. Sie beruht darauf, dass die Strahlung Energie transportiert, egal in welcher Form, und darauf, dass diese Energie im Absorber dissipiert wird. Eine völlig “entropiefreie” Strahlung, die von einem nicht-thermischen Strahler ausgeht, führt zu derselben Erwärmung wie thermische Strahlung von einem schwarzen Strahler, wenn nur beide Strahlungen dieselbe Energie transportieren, und beide vollständig absorbiert werden.

Die Situation ist im Prinzip dieselbe, aber vielleicht noch etwas deutlicher, bei anderen Arten von Strahlung.

Wir betrachten z.B. den Schall. Auch wenn Schall absorbiert wird, erwärmt sich der Absorber und die Erwärmung hängt nur von der transportierten Energie ab, nicht aber davon, ob der Schall Wärme transportiert oder nicht. In der Tat ist auch beim Schall beides möglich. Eine “monochromatische”, ebene Schallwelle transportiert keine Entropie, also auch keine Wärme. Thermischer Schall dagegen, d. h. Phononen, die von einem warmen Körper emittiert und von einem kälteren absorbiert werden, transportieren Wärme. Das ist der Mechanismus der Wärmeleitung.

Also: Man kann aus einer Erwärmung beim Absorptionsvorgang einer Strahlung nicht auf einen Wärmetransport durch die Strahlung schließen.

Tatsächlich wird gerade in den Fällen, in denen man das Argument der Erwärmung gern heranzieht, nämlich beim Sonnenlicht und bei der Infrarotstrahlung, die von einem glühenden Körper ausgeht, bei der Absorption viel mehr Entropie erzeugt, als die Strahlung selbst transportiert.

Wenn das Warmwerden des Absorbers einer Strahlung kein Beweis dafür ist, dass die Strahlung Wärme transportiert, gibt es aber doch einen anderen, fast ebenso einfachen Indikator dafür, ob elektromagnetische Strahlung Entropie transportiert: das Kaltwerden der Strahlungsquelle. Wenn sich ein heißer Körper, der keine materielle Verbindung mit der Umgebung hat, abkühlt, genauer, wenn seine Entropie abnimmt, muss der Körper Entropie abgegeben haben, denn da nach dem zweiten Hauptsatz Entropie nicht vernichtet werden kann, besteht die einzige Möglichkeit der Entropieabnahme darin, die Entropie mit der elektromagnetischen  Strahlung abzugeben. Diese Erfahrung macht man allerdings längst nicht so oft und so deutlich wie die der Erwärmung eines Körpers durch die Absorption elektromagnetischer Strahlung.

Herkunft:

Die Wärmestrahlung wurde untersucht lange bevor man in der Lage war zu erkennen, dass die Natur der Strahlung dieselbe wie die des Lichts ist, und bevor man den Zusammenhang zwischen Energie und Wärme verstanden hatte. Der Name “strahlende Wärme” stammt wahrscheinlich von Scheele/1/. Pictet/2/ meinte noch 1790, dass sowohl Licht als auch Wärme allein vorkommen. Insbesondere glaubte er gezeigt zu haben, dass Mondlicht nicht von Wärme begleitet wird. In den ersten Jahrzehnten des 19. Jahrhunderts wuchs aber schließlich die Überzeugung von der Identität von Licht- und Wärmestrahlen. Zur endgültigen Klärung der Frage bedurfte es aber noch zweier großer Theorien: der Elektrodynamik von Maxwell und der statistischen Thermodynamik des Lichts von Planck /3/.

Entsorgung:

Man sage nicht, Wärmetransport sei charakteristisch für die Infrarotstrahlung.

Von der elektromagnetischen Strahlung, etwa der von der Sonne, sage man, dass sie Energie, nicht aber dass sie Wärme transportiert. Damit ist die bei der Absorption entstehende Wärme schon erklärt. Eine Aussage über die transportierte Entropie ist dann wichtig, wenn man wissen will, mit welchem Wirkungsgrad eine Wärmekraftmaschine, die die aufgenommene Entropie ja nur wieder mit Wärme abführen kann, aus Sonnenwärme elektrische Energie gewinnen kann. Als Begründung dafür, dass elektromagnetische Strahlung Entropie, und damit Wärme transportiert, führe man nicht die Erwärmung des Absorbers, sondern die Abkühlung der Strahlungsquelle an.

Dass warme Körper elektromagnetische Strahlung emittieren, sagt man am besten, ohne die Strahlung genauer zu benennen (Wärmestrahlung, thermische Strahlung, Temperaturstrahlung). Wenn man möchte, kann man den Strahler mit einem Namen versehen: thermischer Strahler oder Temperaturstrahler.

/1/ Mach, E.: Die Principien der Wärmelehre. – Verlag von Johann Ambrosius Barth, Leipzig 1919. – S. 126

/2/ Pictet, M. A.: Essai sur le feu. – Genève 1790

/3/ Planck, M.: Vorlesungen über die Theorie der Wärmestrahlung. – Verlag von Johann Ambrosius Barth, Leipzig 1913

F. H.; Peter Würfel

Altlasten der Physik (18)


Wortfeld zum Thema

Entropie

Zufall

Menge an Zufall , Gesamtzufallsmenge

Wahrscheinlichkeit,

Häufigkeit

Seltenheit

Erwartungswert

Gleichverteilung ,

Normalität,

Normal Verteilung,

Negentropie,


Wärme

Schmelzwärme

Verdampfungswärme

Temperatur

Grad Celsius

Grad Kelvin

Energie , freie Energie

Enthalpie,

thermodynamisches Gleichgewicht

Statistisches Gleichgewicht:

Irreversibel,

Reversibel,

2.Hauptsatz der Thermodynamik,

Temperatur ,

Druck ,

Volumen ,

Diffusion

Vermischung

Kristallisation

Makrozustand

Mikrozustand

Omega

Entropy as a measure of randomness.

Boltzmann's formula and its interpretation.

Entropy as a measure of information.

Shannon's source coding theorem (block & prefix codes).

Relative entropy as a measure of discrimination.

Entropy maximization under constraints.

Asymptotics governed by entropy.

Entropy density of stationary processes.

Clausius . Efficiency of a Carnot engine . First law. Second law . Entropy inequality. Gibbs equation and the value of an integrability condition . Entropy growth . Caratheodory . Inaccessibility of states . Boltzmann . Kinetic interpretation of entropy . Extrapolation to S = klnW . Planck . Quantization of phase space . Kinetic temperature . Configurational entropy of a gas and a rubber molecule . Microstates and distributions. A priori equal probability . Equilibrium as a homogeneous state . Entropic forces . Entropy and disorder . Entropy and gravitational energy . Free energy . Planetary atmosphere . Light hot planets and heavy cold planets . Osmosis . Entropy of mixing . Pfeffer tube . Entropy and van der Waals energy . Condensation and crystallization . Nernst . Third law . Amorphous and crystalline rubber . Entropy-induced elasticity . Entropy and chemical energy . Additive constants in energy and entropy . Heat of reaction . Law of mass-action . Haber-Bosch synthesis of ammonia . Photosynthesis . Thermodynamics of irreversible processes . Principle of local equilibrium . Clausius-Duhem inequality . Phenomenological laws of Fourier and Navier Stokes . Extended thermodynamics . Balance equations of moments . Onsager hypothesis . Light scattering . Entropy flux . Thermodynamic and kinetic temperatures . Zeroth law. Prigogine . Principle of minimal entropy production . Minimax principle of entropy production.

Englisch

Thermostatistics

Content:

0. THE COMPETING DRIVING FORCES TOWARDS THERMODYNAMIC EQUILIBRIUM - AN UNUSUAL INTRODUCTION

I. PHENOMENOLOGICAL THERMODYNAMICS

A. Laws of Thermodynamics Basic quantities, First Law, reversible and irreversible processes, Carnot's Process, Second Law, Nernst's Theorem (Third Law), uniformly homogeneous systems

B. Thermodynamic Equilibrium

Equilibrium conditions, theorems on systems in thermodynamic  equilibrium, Gibbs's Phase Rule, vapour-pressure and melting-pressure curves, ideal gases, dilute solutions, law of mass action, osmotic pressure

C. Thermodynamics of Irreversible Processes

Increase of entropy for irreversible processes, Onsager's Theorem,   self-organization.

II. STATISTICAL MECHANICS

A. Classical Statistical Mechanics Microcanonical, canonical, and grandcanonical ensembles

B. Quantum Statistics

Postulates, density matrix, ensembles of quantum statistics, ideal gas, Third Law

Literature:

There are many excellent textbooks on both phenomenological thermodynamics and statistical mechanics.   Therefore, it is a matter of taste which books will be used in order to penetrate more deeply into the material presented in the lecture. My favourite textbook in statistical mechanics is "Statistical Mechanics, by S.K. Ma, World Scientific, Philadelphia and Singapore, 1985".


Chaos

Chaos

Determinismus

Dimension Dimensionsreduktion

Dynamik, dynamisches System

Abhängigkeit Unabhängigkeit

Entropie ergodisch

Fluß Freiheitsgrad

globale Größen / Eigenschaften Gesetzmäßigkeit irreguläre/unregelmäßige Bewegung

Komplexität Kontrollparameter Koordinaten

nichtlineare Datenanalyse nichtlineare Dynamik nichtlineare Kenngrößen

Selbstorganisation Stabilität Steuerung und Regelung strukturelle Stabilität Surrogatdaten-Methode System

zeitliche Entwicklung Zeitskalen

Zustand Zustandsraum

Die Anzahl der Freiheitsgrade eines mechanischen Systems ist die Anzahl der Zahlen, durch die der Ort aller bewegten Systemteile genau festgelegt wird. Um die Bewegung eindeutig festzulegen braucht man noch einmal so viele Anfangsgeschwindigkeiten. Daher ist die Dimension eines mechanischen Systems doppelt so groß wie die Anzahl seiner Freiheitsgrade.


Wer hat zum Begriff Entropie beigetragen ?

Vorahnungen:

Eine erste Vorahnung der Entropie findet man bei Heraklit, indem er darauf verwies, daß es unmöglich sei, ein zweites Mal in dem gleichen Fluß zu baden.

Meyer

Er hat das mechanische Wärmeäquivalent postuliert und berechnet und herausgefunden das Wärme kein Stoff ist , sondern eine Energieform.

Clausius:

Er lieferte eine erste exakte Definition und führte 1864 diesen Begriff in der Thermodynamik ein. Die Entropie S ist der Quotient aus einer Wärmedifferenz Q in Joule und der Temperatur in Klevin

         S = Q/T

 

Das Wort Entropie wurde 1865 von Clausius geprägt und ist mit dem griechischen Verb entrepein = umkehren  verwandt und assoziert. Entropie hat etwas mit der Nichtumkehrbarkeit , mit der Irreversibilität zu tun.

Zitat Clausius :

"Sucht man für S ( die Entropie ) einen bezeichnenden Namen , so könnte man, ähnlich wie von der Größe U ( der inneren Energie ) gesagt ist , sie sey der Wärme- und Werkinhalt des Körpers , von der Größe S sagen , sie sey der Verwandlungsinhalt des Körpers . Da ich es aber für besser halte , die Namen derartiger für die Wissenschaft wichtiger Größen aus den alten Sprachen zu entnehmen , damit sie unverändert in allen neuen Sprachen angewandt werden können , so schlage ich vor , die Größe S nach dem griechischen Wort "tropae", die Verwandlung , die Entropie des Körpers zu nennen . Das Wort habe ich absichtlich dem Wort Energie möglichst ähnlich gebildet , denn die beiden Größen, welche durch diese Worte benannt werden sollen, sind ihren physikalischen Bedeutungen nach einander so nahe verwandt , daß eine gewiße Gleichartigkeit in der Benennung mir zweckmäßig zu seyn scheint."

Boltzmann

Der nächste Schritt in der Klärung des Begriffes wurde von Boltzmann (1844-1906) gemacht. Er betrachtete Wärme als ein statistisches Phänomen . Damit konnte er das Makrokonzept der Entropie auf die möglichen Mikrozustände der Teilchen eines thermodynamischen Systems zurückführen.

Er stellte folgende Beziehung für die Entropie S auf

S = k log W,

wobei k = 1.38 10^-23 Joule / Grad Kelvin die Boltzmannsche Konstante ist

W entspricht der Zahl der möglichen Mikrozustände die mit einem Makrozustand verknüpft sind. W erreicht ein Maximum wenn alle Mikrozustände gleich verteilt sind.

Die Microzustände beziehen sich in diesem Fall auf Teilchen , die eine bestimmte Energie besitzen oder einen bestimmten Impuls besitzen ( Masse mal Geschwindigkeit ).

Ludwig BOLTZMANN

* 1844 in Wien   + 1906 in Duino bei Triest

Läßt man einen Teller heiße Suppe stehen, kühlt sie ab. Läßt man eine Parfumflasche geöffnet im Zimmer stehen, erfüllt der Duft bald den ganzen Raum. Niemals wird die Suppe von selbst wieder heiß, niemals schlüpft der Duft wieder zurück in den Flakon: unumkehrbare Vorgänge. Das Maß dieser Unumkehrbarkeit heißt Entropie. Es war der ordentliche Professor für Experimentalphysik an der Grazer Universität, der die Entropie 1877 als allgemeines Naturgesetz beschrieb und damit die gesamte Physik revolutionierte: Ludwig Boltzmann. "Der allgemeine Lebenskampf der Lebewesen ist nicht ein Kampf um die Grundstoffe,... auch nicht um Energie, welche... in jedem Körper reichlich vorhanden ist, sondern ein Kampf um die Entropie", faßte er selbst die Bedeutung seiner Erkenntnis zusammen. Die Quantentheorie, die Kernphysik - Boltzmann machte sie durch seine Leistungen erst möglich. "War es ein Gott, der diese Zeichen schrieb?" fragte sich einer von Boltzmanns Schülern angesichts der Formel "S = k log W", die die Quintessenz von Boltzmanns Entropie ausmacht. Und bis heute hat die "Formel des Lebens" nichts an Faszination verloren: Der Bestseller "Inschallah" der italienischen Autorin Oriana Fallaci orientiert sich leitmotivisch am Entropiesatz; unzählige Boltzmann-Institute auf der ganzen Welt (darunter vier in Graz) erweisen ihm ihre Reverenz in verschiedensten Forschungbereichen. Und eine andere seiner Erkenntnisse, die Transporttheorie, bildete die Voraussetzung für das Computerzeitalter. Boltzmann, das physikalische Genie, war auch auf anderen Gebieten hochbegabt: Als Schriftsteller und Musiker beispielsweise, aber auch als Mechaniker – er baute seiner Frau (übrigens eine Grazerin) eine Nähmaschine. Und seine Schrulligkeiten waren Legende: Während seiner zweiten Professur in Graz kaufte er sich, um mit Milch versorgt zu sein, eine Kuh – und trieb sie selbst mitten durch die Stadt nach Hause.

Mit seinen Arbeiten wurde er zu einem der Begründer der klassischen statistischen Physik.

Seine berühmte Formel S = k log w verknüpft die thermodynamische Entropie S mit der Anzahl der Möglichkeiten w, einen Zustand mit vorgegebenen makroskopischen Eigenschaften mikroskopisch realisieren zu könnnen. Die Proportionalitätskonstante k, heute Boltzmann-Konstante genannt, ist eine der zentralen Konstanten der modernen Physik.

Literatur:

Fachlexikon ABC Forscher und Erfinder

W. Stiller: Ludwig Boltzmann, Frankfurt am Main und Thun

D. Flamm: Ludwig Boltzmann,

in K. von Meyenn (Hrsg.): Die großen Physiker,

Band 2: Von Maxwell bis Gell-Mann (München, 1997).

Planck

Shannon  

Stonier


Heutige Experten

Prof. Dr. Werner Ebeling

Christian Kassung

Prof. Dr. Roland Reich, Physikalische Chemie, FU Berlin

Franz J. Vesely

Surveys H.O. Georgii, H. Wagner  

Foundations of Physics J. Uffink  uffink@phys.uu.nl

Probability Theory F. den Hollander, S.R.S. Varadhan

Ergodic Theory M. Keane, L.-S. Young

Statistical Physics   Ch. Maes, E. Olivieri

Classical Thermodynamics J. Yngvason yngvason@thor.thp.univie.ac.at

Continuum Mechanics C. Dafermos  dafermos@cfm.brown.edu

Rational Mechanics I. Müller   im@thermo08.pi.tu-berlin.de

Quantum Entropy F. Benatti   fabio.benatti@trieste.infn.it

Statistics / Information Theory   J. Rissanen   jorma.rissanen@mdl-research.org


Empfehlenswerte Literatur

In den meisten Statistikbüchern wird die Entropie erstaunlicherweise gar nicht erwähnt. In den meisten Büchern zur Informationstheorie wird zwar eifrig mit der Entropie gerechnet . Die Erklärung der Entropie am Anfang ist allerdings meist unverständlich und viel zu kompliziert.

Entropie in der Physik:

Wolfgang Salm, Entropie und Information (naturwissenschaftliche Schlüsselbegriffe), 1997, ISBN 3-76141969-4

Der Karlsruher Physikkurs, Tl.1, Energie, Impuls, Entropie

Entropie und Wahrscheinlichkeit

"Entropie - was ist das?"

Prof. Dr. Welf A. Kreiner

Inhalt

Betrachtung

Zeitschrift:

Entropy (e-journal): http://www.mdpi.org/entropy/


Flachsmeyer, J.; Ollech, A.: Was ist Entropie? Didaktik der Mathematik 23 (1995), S. 81-92


Vinay Ambegaokar: Reasoning about Luck, 1996, ISBN 0-521-44737-2, !!!!

P.W.Atkins: The Second Law, ISBN 0-71676006-1

Kenneth D. Bailey (Comments: Vladimir Degtiar): System Entropy Analysis, 1997/01/03, WWW

Entropy, An International and Interdisciplinary Journal of Entropy and Information Studies, ISSN 1099-4300

Martin Goldstein and Inge F. Goldstein: The Refrigator and the Universe, Harvard 1995, ISBN 0-674-75325-9 (!! essential reading, if entropy is a completely alien concept to you)

Hans Graßmann: Alles Quark, 1999, ISBN 3-87134-362-5 (Thermodynamik, S.231-274)

Christian Hein (WOCATE): Entropie - eine Zugangsgröße zur Herausbildung allgemeinen Technikverständnisses?, Halle 1997, WWW (if not available from WOCATE, then get ENTHEIN.ZIP)

ISO/IEC DIS 2382-16, Information theory (see comment)

Frank L. Lambert: www.secondlaw.com and (simpler) www.2ndlaw.com

Thomas A. Moore: Some Processes Are Irreversible ("Unit T" of "six ideas that shaped physics"), 1998, 0-07-043056-X

Jeremy Rifkin (with Ted Howard): Entropy, 1985, ISBN 0-586-08508-4 (with an afterword from Nicholas Georgescu-Roegen - but not a book, which Frank L. Lambert would recommend: "Rifkin has no concept of the physical thermodynamic concept of entropy.")

J. de Rosnay: Entropy and the Laws of Thermodynamics, 1998/07/03, WWW

Norbert Treiz: Brücke zur Physik, 1997, Kapitel 6, ISBN 3-8171-1518-0 !!

Gian Vasta: Entropy? An intuitive approach (and other articles by Gian Vasta, James Baugh and Marijke van Gans), 1998, WWW

Michail W. Wolkenstein: Entropie und Information, Moskau 1986, ISBN 3-8171-1100-2 (!!! an excellent introduction on pre-university level, but unfortunately available only in Russian and German)

Der Begriff der Entropie "erfreut sich allgemeiner Unbeliebtheit und gilt als schwierig, vielleicht weil er zwar eine Bilanz- aber keine Erhaltungsgröße ist und sogar die ungewöhnliche Eigenschaft hat, zuzunehmen, und zwar um so mehr, je weniger man aufpaßt." schreibt Norbert Treiz in " Brücke zur Physik" (1997, Kapitel 6.3 - ). Wolkensteins kleines Taschenbüchlein verdient eine Sonderempfehlung. ISBN 3-8171-1100-2)


Universität Hamburg - Fachbereich Mathematik - Hamburger Beiträge zur Angewandten Mathematik,

Informationsverlust, abstrakte Entropie und die mathematische Beschreibung des zweiten Hauptsatzes der Thermodynamik.

Author(s):

Rainer Ansorge und Thomas Sonar

Type:   Preprint

Source:   Hamburger Beiträge zur Angewandten Mathematik, Reihe A: Preprints

Language:   English

ADAMS 1949a
ADAMS, HENRY (1949a).
The Rule of Phase Applied to History.
. The Degradation of the Democratic Dogma, . 267-311. Peter Smith, New York.
Kopie vorh.
ADAMS 1949b
ADAMS, HENRY (1949b).
The Tendency of History.
. The Degradation of the Democratic Dogma, . 125-133. Peter Smith, New York.
Kopie vorh.
ARNHEIM 1979
ARNHEIM, RUDOLF (1979).
Entropie und Kunst. Ein Versuch über Unordnung und Ordnung.
DuMont Buchverlag, Köln.
BOLTZMANN 1866
BOLTZMANN, LUDWIG (1866).
Über die mechanische Bedeutung des zweiten Hauptsatzes der mechanischen Wärmetheorie.
Sitzungsbericht der Kaiserlichen Akademie der Wissenschaften (Wien): Math.-naturwissenschaft. Classe, LIII(2, 2):195-200.
BOLTZMANN 1909a
BOLTZMANN, LUDWIG (1909a).
Bemerkungen über einige Probleme der mechanischen Wärmetheorie.
. HASENÖHRL, FR., .: Wissenschaftliche Abhandlungen von Ludwig Boltzmann, . II, . 112-148. Leipzig.
BOLTZMANN 1909b
BOLTZMANN, LUDWIG (1909b).
Weitere Studien über das Wärmegleichgewicht unter Gasmolekülen.
. HASENÖHRL, FR., .: Wissenschaftliche Abhandlungen von Ludwig Boltzmann, . 316-402. Leipzig.
BRUSH 1970
BRUSH, STEPHEN G. (1970).
Kinetische Theorie II. Irreversible Prozesse. Einführung und Originaltexte, . 67 . WTB.
Akademie-Verlag/Pergamon Press/Vieweg + Sohn, Berlin/Oxford/Braunschweig.
CARNOT 1988
CARNOT, SADI (1988).
Betrachtungen über die bewegende Kraft des Feuers und die zur Entwickelung dieser Kraft geeigneten Maschinen, . 4 . Edition Vieweg.
Friedr. Vieweg & Sohn, Braunschweig/Wiesbaden.
CLAPEYRON 1926
CLAPEYRON, BENOIT-P.-ÉMILE (1926).
Ueber die bewegende Kraft der Wärme, . 216 . Ostwald's Klassiker.
Leipzig.
CLAUSIUS 1865
CLAUSIUS, RUDOLF J. E. (1865).
Ueber verschiedene für die Anwendung bequeme Formen der Hauptgleichungen der mechanischen Wärmetheorie.
Annalen der Physik und Chemie, 200(= (2) 125 = (5) 5):353-400.
CLAUSIUS 1898
CLAUSIUS, RUDOLF J. E. (1898).
Ueber die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen, . 99 . Ostwald's Klassiker.
Leipzig.
DESCARTES 1992
DESCARTES, RENÉ (1992).
Die Prinzipien der Philosophie.
Felix Meiner, Hamburg.
EDDINGTON 1931
EDDINGTON, A. S. (1931).
Das Weltbild der Physik und ein Versuch seiner philosophischen Deutung.
Friedr. Vieweg & Sohn, Braunschweig.
HELM 1887
HELM, GEORG (1887).
Die Lehre von der Energie. Histor.-kritisch entwickelt; nebst Beitr. zu einer allgemeinen Energetik.
Leipzig.
HELMHOLTZ 1870
HELMHOLTZ, HERMANN V. (1870).
Ueber die Wechselwirkung der Naturkräfte und die darauf bezüglichen neuesten Ermittelungen der Physik.
. Vorträge und Reden von Hermann von Helmholtz, . I, . 49-83. Braunschweig.
HELMHOLTZ 1889
HELMHOLTZ, HERMANN V. (1889).
Über die Erhaltung der Kraft, . 1 . Ostwald's Klassiker.
Leipzig.
HERTZ 1996
HERTZ, HEINRICH (1996).
Die Prinzipien der Mechanik in neuem Zusammenhange dargestellt.
Verlag Harri Deutsch, Thun/Frankfurt a. M., 2 .
JAUCH . B?ARON 1972
JAUCH, J. M. . J. B?ARON (1972).
Entropy, Information and Szilard's Paradox.
Helvetica Physica Acta, 45:220-132.
JEANS 1934
JEANS, JAMES (1934).
Sterne, Welten und Atome.
Deutsche Verlags-Anstalt, Stuttgart/Berlin, 3 .
KLEIN 1873
KLEIN, MARTIN J. (1873).
The Development of Boltzmann's Statistical Ideas.
. COHEN, EZECHIEL G. D. . W. THIRRING, .: The Boltzmann Equation. Theory and Applications, . Supplementum X . Acta Physica Austriaca, . 53-106. Wien/New York.
LINDBLAD 1973
LINDBLAD, G?ORAN (1973).
Entropy, Information and Quantum Measurements.
Communications in Mathematical Physics, 33(1):305-322.
LOHSCHMIDT 1876
LOHSCHMIDT, JOSEF (1876).
Über den Zustand des Wärmegleichgewichtes eines Systems von Körpern mit Rücksicht auf die Schwerkraft.
Sitzungsberichte der Kaiserlichen Akademie der Wissenschaften (Wien): Math.-naturwissenschaftl. Classe, 73/75(1, 2, 2):128-142, 366-372, 287-298.
MAINZER 1995
MAINZER, KLAUS (1995).
Zeit. Von der Urzeit zur Computerzeit, . 2011 . Beck'sche Reihe Wissen.
München.
MAXWELL 1889
MAXWELL, JAMES CL. (1889).
Theory of Heat.
London.
MAYER 1911a
MAYER, ROBERT (1911a).
Bemerkungen über die Kräfte der unbelebten Natur.
. OETTINGEN, A. V., .: Die Mechanik der Wärme. Zwei Abhandlungen von Robert Mayer, . 180 . Ostwald's Klassiker, . 3-8. Leipzig.
MAYER 1911b
MAYER, ROBERT (1911b).
Die organische Bewegung in ihrem Zusammenhange mit dem Stoffwechsel.
. OETTINGEN, A. V., .: Die Mechanik der Wärme. Zwei Abhandlungen, . 180 . Ostwald's Klassiker, . 9-79. Leipzig.
NEWTON 1988
NEWTON, ISAAC (1988).
Mathematische Grundlagen der Naturphilosophie.
Felix Meiner, Hamburg.
NIETHAMMER 1989
NIETHAMMER, LUTZ (1989).
Posthistoire. Ist die Geschichte zu Ende?.
Rowohlt Taschenbuch Verlag GmbH, Reinbek bei Hamburg.
NIETZSCHE
NIETZSCHE, FRIEDRICH.
Der Wille zur Macht. Versuch einer Umwerthung aller Werthe. Drittes und viertes Buch, Nachträge, . 19 . Gesammelte Werke.
Musarion Verlag, München.
NORDAU 1892
NORDAU, MAX (1892).
Entartung.
Berlin.
OSTWALD 1908
OSTWALD, WILHELM (1908).
Die Energie, . 1 . Wissen und Können.
Verlag von Johann Ambrosius Barth, Leipzig.
PLANCK 1933
PLANCK, MAX (1933).
Dynamische und statistische Gesetzmäßigkeit.
. Wege zur physikalischen Erkenntnis. Reden und Vorträge, . 49-67. Leipzig.
PORTER 1981
PORTER, THEODORE M. (1981).
A statistical sourvey of gases: Maxwell's social physics.
Historical Studies in the Physical Sciences, 12(1):77-116.
SHANNON . WEAVER 1976
SHANNON, CLAUDE E. . W. WEAVER (1976).
Mathematische Grundlagen der Informationstheorie.
Wien.
SPENCER 1900
SPENCER, HERBERT (1900).
Grundsätze einer synthetischen Auffassung der Dinge.
E. Schweizerbart'sche Verlagsbuchhandlung Nägele & Dr. Sproesser, Stuttgart.
SPENGLER 1920
SPENGLER, OSWALD (1920).
Der Untergang des Abendlandes. Umrisse einer Morphologie der Weltgeschichte.
München.
STRAUB 1996
STRAUB, DIETER (1996).
Zeitpfeile in der Natur? Versuch einer Antwort.
. INHETVEEN, R?UDIGER . R. K?OTTER, .: Betrachten - Beobachten - Beschreiben. Beschreibungen in Kultur- und Naturwissenschaften, Erlanger Beiträge zur Wissenschaftsforschung, . 105-146. Wilhelm Fink Verlag, München.
SZILARD 1929
SZILARD, LEO (1929).
Über die Entropieverminderung in einem thermodynamischen System bei Eingriffen intelligenter Wesen.
Zeitschrift für Physik, 53:840-856.
THOMSON 1882
THOMSON, WILLIAM (LORD KELVIN) (1882).
On a Universal Tendency of Nature to the Dissipation of Mechanical Energy.
. Mathematical and Physical Papers by Sir William Thomson, . I, . 511-514.
WEIZSÄCKER 1988
WEIZSÄCKER, CARL FRIEDRICH V. (1988).
Aufbau der Physik.
Deutscher Taschenbuch Verlag, München.
WEIZSÄCKER 1995
WEIZSÄCKER, CARL FRIEDRICH V. (1995).
Sprache als Information.
. Die Einheit der Natur. Studien, . 39-60. Deutscher Taschenbuch Verlag, München.
ZUCKER 1974
ZUCKER, FRANCIS J. (1974).
Intromation, Entropie, Komplementarität und Zeit.
. WEIZSÄCKER, ERNST V., .: Offene Systeme I. Beiträge zur Zeitstruktur von Information, Entropie und Evolution, . 30 . Forschungen und Berichte der Evangelischen Studiengemeinschaft, . 35-81. Stuttggart.

Internetseiten zum Begriff Entropie

0.Linkseiten

http://www.unibas.ch/mdpi/entropy/

1.Entropie und Statistik , Mathematik und Informationstheorie

http://www.lecb.ncifcrf.gov/~toms/paper/primer/ ***  

http://omega.math.albany.edu:8008/JaynesBook.html

Sehr gutes Buch über die Wahrscheinlichkeitstheorie

Insbesondere das Kapitel Chapter 11 The Entropy Principle ist in diesem Zusammenhang sehr wichtig.

http://werner-heise.de/Einleitung_IC.html 

http://www.oelinger.de/maria/it_codi/index.htm

http://www.oelinger.de/maria/it_codi/entropie.htm

http://www.mi.uni-erlangen.de/~keller/entropy-symposium.html

2.Entropie und Physik , Thermodynamik etc

http://www.math.psu.edu/gunesch/Entropy/phys.html

http://www.mathematik.uni-ulm.de/phbf/phag/Waerme/waerme.html

http://www.cond-mat.physik.uni-mainz.de/~metzger/preview/index.html***

http://www.ttk.uni-karlsruhe.de/scripten/thermo/thermo.html

http://www.harendt.de/studinf/pII/statphysI/index.htm

http://www-tfp.physik.uni-karlsruhe.de/~didaktik/software/thermilab/tx466.htm

http://www.math.psu.edu/gunesch/entropy.html ***

http://saftsack.fs.uni-bayreuth.de/thermo/

http://www.minet.uni-jena.de/~aml/infosem/tex_archiv/www_archiv/node20.html***

http://www.culture.hu-berlin.de/ck/lehre/thermodynamik/node2.html***

http://www.techfak.uni-kiel.de/matwis/amat/mw1_ge/makeindex.html***

http://www.drd.de/helmich/bio/stw/reihe1/reihe1.htm***

http://iva.uni-ulm.de/physik/vorlesung/THERMODYNAMIK/node48.html***

http://www.tu-bs.de/institute/pci/aggericke/PC1/

http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html

http://www.mdpi.org/entropy/

http://www-mtl.mit.edu/Courses/6.095/

http://poorcity.richcity.org/frmentro.htm

http://gaya.scienza.de/frame.htm

http://www-2.cs.cmu.edu/afs/cs/user/aberger/www/html/tutorial/tutorial.html

http://www-2.cs.cmu.edu/~aberger/maxent.html

http://dino.ph.utexas.edu/~wolf/papers/dissertation/WolfDissertation.html

http://www.cwi.nl/~tromp/cl/cl.html

John's Combinatory Logic Playground

David J.C. MacKay Information Theory, Inference and Learning Algorithms
Tom Carter: An introduction to information theory and entropy. pdf
Paul Penfield, Jr. Information and Entropy
Wlodzimierz Bryc Applied  Probability and Stochastic Processes. pdf
 

Chris Hillman's website of entropy and information, http://www.math.washington.edu/~hillman/entropy.html

A Mathematical Theory of Communication by C. E. Shannon
PostScript (460 Kbytes), gzipped PostScript (146 Kbytes) and pdf (358 Kbytes)
Foundations of Information Science http://fis.iguw.tuwien.ac.at/

SEE or Semiosis. Evolution. Energy http://www.library.utoronto.ca/see/

Science and Information Theory by Leon Brillouin Symmetry
http://www.mdpi.org/entropy/entropyweb/symmetry.htm

Gibbs paradox of Entropy of Mixing
http://www.mdpi.org/entropy/entropyweb/gibbs-paradox.htm

Dr. Ilya Prigogine's dissipative structure theory
http://www.mdpi.org/entropy/entropyweb/prigogine.htm

Defining Entropy
http://www.mdpi.org/entropy/entropyweb/defineentropy.htm

Entropy in Logic and the Theory of Algorithms

Original by Chris Hillman (Last modified by Chris Hillman 2 Feb 2001.)

2.Hauptsatz:

http://theory.gsi.de/~vanhees/faq/entropie/zweithaupt.html

http://www.lecb.ncifcrf.gov/~toms/glossary.html#Second_Law_of_Thermodynamics

Second Law of Thermodynamics: The principle that the disorder of an isolated system (entropy) increases to a maximum. The Second Law appears in many surprisingly distinct forms.

The many forms were described by Ed T. Jaynes (http://bayes.wustl.edu/) in a beautiful paper (Jaynes, E. T., 1988, ``The Evolution of Carnot's Principle'' in Maximum-Entropy and Bayesian Methods in Science and Engineering, 1, G. J. Erickson and C. R. Smith (eds.), Kluwer, Dordrecht, p. 267; http://bayes.wustl.edu/etj/node1.html number 65, http://bayes.wustl.edu/etj/articles/ccarnot.pdf, http://bayes.wustl.edu/etj/articles/ccarnot.ps.gz postscript (56Kb) file.)

The relevant form for molecular information theory is Emin = Kb T ln(2) = -q/R (joules per bit) where: Kb is Boltzmann's constant, T is the absolute temperature, ln(2) is a constant that converts to bits, -q is the heat dissipated away from the molecular machine, and R is the information gained by the molecular machine. This form is derived in T. D. Schneider, Theory of Molecular Machines. II. Energy Dissipation from Molecular Machines J. Theor. Biol., 148: 125-137, 1991.

Supposedly Maxwell's demon violates the Second Law, but if we approach the question from the viewpoint of modern molecular biology, the puzzles go away, as described in: T. D. Schneider, Sequence Logos, Machine/Channel Capacity, Maxwell's Demon, and Molecular Computers: a Review of the Theory of Molecular Machines Nanotechnology, 5, 1-18, 1994.

http://www.secondlaw.com is a light-hearted introduction to the "Mother of all Murphy's Laws":

It clarifies an issue that is often incorrectly presented in discussions about entropy. Reference: Lambert, Frank L. Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense! J. Chem. Educ. 1999 76 1385.

Entropy

Klaus Krippendorff
http://pespmc1.vub.ac.be/ASC/ENTROPY.html
Joel de Rosnay
http://pespmc1.vub.ac.be/ENTRTHER.HTML

http://www.2ndlaw.com/ and http://www.secondlaw.com/

Negentropy

Klaus Krippendorff
http://pespmc1.vub.ac.be/ASC/NEGENTROPY.html

Statistical Entropy

Klaus Krippendorff
http://pespmc1.vub.ac.be/ASC/STATIS_ENTRO.html

Social Entropy

Klaus Krippendorff
http://pespmc1.vub.ac.be/ASC/SOCIAL_ENTRO.html

Thermodynamic Entropy

Klaus Krippendorff
http://pespmc1.vub.ac.be/ASC/THERMO_ENTRO.html

A few years after his revolutionary application of Shannon's concept of entropy to the study of dynamical systems, Kolmogorov saw how to introduce a new concept of entropy, the algorithmic complexity of a finite sequence of bits. At virtually the same time, Ray Solomonoff devised a notion of algorithmic probability and Martin-Loef used similar ideas to develop a theory of algorthmic randomness. Meanwhile, Gregory Chaitin (then an undergraduate at CUNY) independently discovered many of the same ideas. Later, Chaitin discovered a a startling connection with the notorious incompleteness theorem of Kurt Goedel.

Here are a several expository papers explaining these ideas:

Computer scientists are, for (obvious?) reasons, interested in the mathematical theory of logical reasoning, which turns out to have some connections to maximal entropy. See:

Further Reading

http://www.wiwi.uni-frankfurt.de/~rainerh/Diplomarbeit/dbdzh.htm


Orginaltexte:

entropy:

A measure of the state of a system that can roughly be interpreted as the system randomness. Since the entropy concept in thermodynamics and chemistry has units of energy per temperature (Joules/Kelvin), while the uncertainty measure from Claude Shannon has units of bits per symbol, it is best to keep these concepts distinct.


aus Einsichten 2/ 2002 der Zeitschrift der LMU München

Niederdimensionaler Magnetismus

Ein kollektives Quantenphänomen auf makroskopischer Skala

Autor Ulrich Schollwöck     scholl@theorie.physik.uni-muenchen.de

Festkörper - wie alle Vielteilchensysteme - sind beherrscht vom Wettstreit zwischen Energie und Entropie : einerseits versuchen alle Konstituenten , die spezifische Konfiguration anzunehmen , die ihre Wechselwirkungsenergien minimiert; andererseits sind die Konstituenten bestrebt , ihre Entropie zu maximieren, d.h, im Laufe der Zeit möglichst viele Konfigurationen zu durchlaufen , zu fluktuiren - ein Wettstreit zwischen Ordnung und Unordnung.

Die Temperatur gibt an , wohin sich die Waagschale neigt: je niedriger , desto geordneter ; je höher , desto ungeordneter. Phasenübergänge , wie zwischen Eis und Wasser , sind makroskopische Manifestationen dieses Wettstreits: Eine geringe Temperaturänderung reicht aus, schlagartig eine andere makroskopische Form der gleichen Substanz auftreten zu lassen. Oft sind diese Übergänge mit einer Divergenz der Fluktuationen verbunden : diese sind dann nicht mehr lokal sondern erfassen den ganzen Körper. Temperatur ist dabei nicht anderes als ein Maß der Energie , die einem Körper zur Verfügung steht , energetisch nicht optimale Konfigurationen anzunehmen.


Die Entropie eines Zustandes ist ein Maß für die Anzahl der Mikrozustände, welche mit diesem Zustand verträglich sind.

D. Duerr  http://www.mathematik.uni-muenchen.de/~duerr/Zufall/zufall.html


http://www.2ndlaw.com/entropy.html

Entropy and the second law of thermodynamics

Q: Why the fast start? You took about 11 pages to get to entropy in that http://www.secondlaw.com . How come youÂ’re putting it right up front here?

A: Some readers e-mailed me that their question, "What is entropy?", was the main thing they were interested in. Some objected pretty strongly that it was ‘buried way back there’. In writing that Web page, I thought some practical examples like burning paper or forest fires and rusting iron (or breaking surfboards – and bones) would be a great introduction to the second law before talking about that abstract and slippery idea called "entropy". Wasn’t that gradual approach fairly good for you?

Q: Yeh. I understood more than anyone in class when we came to thermodynamics. But entropy was the very first thing our prof and book talked about in the thermo chapter – no "gradual approach" there. Are you finally learning that’s the way to teach it?

A: No. The best teaching always is the kind you understand as the course goes along. Often thatÂ’s at a slower pace than a college class. Understanding isnÂ’t always a fast process. This site youÂ’re reading now is the fast track to a few basic ideas rather than the best track. But weÂ’ll still do mainly  explaining rather than equation-solving.

Q: OK, give me the bad news quick. What is entropy, really?

A: Straight question – and you make me embarrassed right away when you say that word "really"! The basic definition of entropy is an equation that doesn’t look too complicated, but what it means "REALLY" will take several pages. (Of course, you already know that thermodynamic entropy ONLY applies to chemicals and matter, atoms and molecules – not to economics or information or pollution or human problems, unless they are directly connected to atomic and molecular behavior, right?)

Q: Sure, I know that, and betcha I know the equation too. Our prof gave it first thing: DS = q/T where DS is the change in entropy and q is heat and T is absolute temp. And q is plus if heat comes into a system and minus if it goes out. Ha. I worked plenty of problems using it or the original differential equation for a reversible process. IsnÂ’t that what you mean it MEANS?

A: Equations, shumations! Does dividing thermal energy transfer in a chemical reaction (the correct expression for "heat") OK, heat, by T give you a crystal clear picture of what DS or S IS? Does it tell you why itÂ’s so important in understanding the way the world works? Of course not. It needs an awful lot of interpretation.

HereÂ’s a start: Dividing a reaction's q by T gives you what is called entropy (joules per degree) just like dividing miles or kilometers by hours gives you what you call speed, mph or kmph. TheyÂ’re both just ratios, just dividing something by something else.

What if you had been raised on an island totally outside of civilization? That ratio you now know so well for speed, mph or kmph, would be just as mysterious as entropy if you’d never in your life thought in terms of planes or cars going fast. Would you, the islander, recognize what the ratio for a car's speed depended on or was due to?! Of course not. What’s responsible for making something like a car go fast? Speed depends on the power of a car’s engine, of course. (Ignore gear ratios and rubber on the road!) You could talk professorish and say that speed measures the tendency of the engine to move the car rapidly – all assuming that you have gas and a heavy-footed driver.

Similarly, you deserve an answer to, "What makes that q/T ratio, entropy, come out with some number or other? What's the engine that it's tied into?" Easy answer: ENERGY. Entropy measures -- with a ratio -- the tendency of ENERGY to spread out, to diffuse, to become less concentrated in one physical location or one energetic state. Most often in chemistry, that spreading out is done by molecules (and atoms, but let's concentrate on molecules) because molecules above absolute zero always have energy inside of them. That's why they are incessantly speeding through space and hitting each other and rotating and vibrating in a gas or liquid. (For details, see Figure 1, a few pages ahead.) Even in solids where they can't move much, they are always vibrating.

Molecules tend to spread out their energy by moving and rotating/vibrating in as many different ways as they can. (The more ways, the less concentrated is their energy in just one "quantum state" or way. More about quantum states later.) Entropy is a measure of the second law of thermodynamics. Entropy doesnÂ’t predict the speed of something happening, but it shows the direction and a quantity for the tendency of every chemical or physical event to happen on this earth (and maybe for every one in the whole universe).

ThatÂ’s pretty sensational. ThatÂ’s why entropy (OK, the change in entropy, DS) can be called "timeÂ’s arrow": The obvious spontaneous matter-energy events like hot pans  ( pan = Pfanne )cooling down and rocks rolling downhill and paper burning in air and shiny iron changing to red iron rust in air always go "thataway" -- in the energy-spreading-out direction that entropy points, never the opposite. (Cold pans in the cupboard never heat up by themselves, rocks never roll up mountains by themselves, ashes plus carbon dioxide and water never make paper by themselves, red rust never changes to solid iron plus oxygen gas by itself – big D S, "timeÂ’s arrow", points toward "cool, go downhill, burn, rust" not vice versa.)

Actually, the timeÂ’s arrow of DS applies to every change that involves matter and energy, spontaneous (i.e., by itself) or non-spontaneous (i.e., by being pushed by outside energy). I just grabbed examples of spontaneous events, those that happen by themselves. (The "outside" has to be included in talking about non-spontaneous changes, so weÂ’ll save that for a few minutes.)

Ignore the little "outside" heat of a match flame needed to start the paper burning spontaneously. That little kick is terribly important at first (see energy of activation in the second law site, http://www.secondlaw.com/three.html , if youÂ’ve forgotten about Ea.). However, itÂ’s usually trivial and ignorable in evaluating spontaneity for this reason: Once the reaction has started, energy is released, often very large amounts. This heat spreads to adjacent parts of the paper/system and quickly gives them far more energy than the little Ea needed for them to react. So, the process is  overall spontaneous and continues by itself with no further energy from outside..

Q: Wait a minute, wait a minute! Back in www.secondlaw.com you said the second law of thermodynamics was "timeÂ’s arrow". Now you say entropy is it? How come?

A: They’re intertwined. Integration of the differential equation that defines entropy, dS = dq/T (that we take as DS = q/T) in a particular manner is an essential part of the energy-work cycle from which comes the technical statement of the second law. Thus, in informal talk – which is the only situation you use the phrase time’s arrow -- you can say either entropy or the second law is ‘the arrow’.

A more important point about that DS equation that IÂ’m sure you remember: When entropy has a positive sign in a DS equation for ANY physical or chemical process, that process will go in the common-sense direction we talked about for pots cooling down, etc., in the simple spontaneous events mentioned above (or in the secondlaw.com Website.) Since a positive sign means an increase in entropy after the process, compared to before it happened, we often say "In the system of every spontaneous process there is an increase in entropy." (Actually, non-spontaneous processes in a system also are involved in an increase in the entropy of the universe, but it occurs in the surroundings outside the system that make the non-spontaneous process go. So, overall, every event in our earth-sun system increases the entropy of the universe.)

Q: You mean some people say entropy loosely for the second law and vice versa? Sounds possible. And the everyday examples you gave of entropy increasing – being more + every time that energy is more distributed in the world – what you call "spread out" or diffused -- are OK – but…

A: YouÂ’re generous? Giving me an OKÂ…Â…...

Q: You interrupted me! But how about strictly chemical stuff I never could understand in class? For example, how orderly crystals of all kinds of salts spontaneously dissolve in water to form disorderly solutions and yet the water cools down! How can something be spontaneous and not spread out heat if the second law and entropy predict all the time that things happen so energy spreads out? Well, "distributes itself" or "is distributed in molecular motion", whatever that really means?

A: Wow. You sure know how to load a question. To start, you have one very good point (with several complex implications), then one really confusing dumb point about disorder, and finally three intricate (though seemingly simple), tremendously important angles. All that in one question! Lean back in your chair, feet up on the desk. LetÂ’s take them slowly.

The first good point about "entropy increasing" and "being more +". That’s a neat condensation of two ideas, namely: The qualitative power of the second law to predict in general what will happen, plus the added power we have to keep from making mistakes -- thanks to that quantitative equation defining entropy. Entropy becomes the measurable part of verbal predictions that come from our experience – a reliable signpost, time’s quantifiable arrow, the second law’s meter stick. Before, we might have had a correct "feeling" that energy spontaneously tended to become widely distributed or diffused rather than the reverse process. Now we can calculate exact numbers. (We’ll leave calculations to your class work.) The new idea is that every single time something spontaneous happens via energy spreading out to the surroundings – like the old example of the hot pan cooling down – entropy is +, positive. Every time something occurs that is non-spontaneous – LOOK OUT!

DonÂ’t draw the conclusion that entropy can become negative by itself!

Q: Whaddya mean by yelling like that – "LOOK OUT"? Why shouldn’t entropy become negative just as much as it can go to be positive or plus or "increased"?

A: Thanks for hearing me yell! Than means you caught on to another absolutely VITAL point (and that’s also a yell.): Whenever we think about entropy and measure it, we have to consider TWO small sections of our great big universe: (1) the "system" – in those examples, the hot pan or the stone itself , AND (2), the "surroundings" of the system.. In the case of the pan, the surroundings would be the cooler room; in the case of the stone up on a hill, it would be the downslope of the hill and the air. Surroundings are important!

ThatÂ’s where people make their biggest mistakes in thinking about the second law or about entropy. They concentrate their attention only on the system that looks like it is doing something interesting, the pan or the rolling rock. When does anybody talk about the second law or do any entropy calculating? When there are changes from a given situation or state to a different state, i.e., State 1 (initial, before anything happens) to State 2 (final, after the event, whatever it is). To avoid coming to totally wrong conclusions, we have to include the system AND the surroundings in thinking about State 1 and 2. S2 (State 2, system + surroundings) minus S1 (State 1, system + surroundings) equals the DS for the change (system and surroundings).

Repeating: For the hot pan in a cooler room, the pan was the system and the room the surroundings. As it cooled, the pan lost heat – measuring at increments of tenths of a degree or so (to keep that T in the equation essentially constant) – and therefore q was minus in the equation and the change in entropy in the system in each increment, or in the whole process from "before cooling" to "after", was negative. A decrease in entropy occurred in the pan! BUT heat was gained by the cooler room, so its q/T was positive, an increase in entropy in the surroundings. Now another big "BUT" – the decrease in the pan was less than the increase that occurred in the room – the room gained more entropy than the pan lost because any spontaneous transfer of energy involves an increase in entropy DUE TO THE PROCESS ITSELF. Therefore, the overall change in hot pan (system, before) + cooler room (surroundings, before) to end up with cool pan (system, after) + slightly warmer room (surroundings, after) is a net increase in the total entropy of "system + surroundings".

For the stone rolling down hill, the stone was the system. The air and the hill were the surroundings. Energy changes? The potential energy in the stone was all spread out, distributed from the stone system to the hill/air surroundings when it was changed to kinetic energy – causing a little warming of the hill from friction and a slight movement of air. Entropy changes? None in the stone, the system. Zero. But, because its potential energy was diffused to the surroundings as kinetic energy and then to heat, the surroundings increased in entropy, a tiny tiny bit of warming. Final state? Total change in entropy of the whole "mini-universe"? An increase in entropy in the (system plus surroundings).

The reverse of the spontaneous rolling down the hill would be a non-spontaneous movement of a stone up a hill. DoesnÂ’t ever happen? Sure it does, but not by itself because thatÂ’s exactly what non-spontaneous means.

When you or I push that big stone (the system) from its initial state at the bottom of the hill to a final state somewhere up the hill, we’re acting as the surroundings! We have put a lot of potential energy in it. Where’d that energy come from? From us, the "surroundings", transferring energy to the system from the stored energy in our muscles (much of it from the chemical in them that’s abbreviated as ATP). There isn’t any change in the entropy of the stone. Zero. However, the person who does the pushing has had a really really big increase in his or her entropy – a lot of ATP in the muscles have been changed to ADP and heat and action of muscles (work) resulting in a higher body temperature, some increase in temp of the air, sweating, etc.,etc. The total DS for the process of S2 minus S1 is a great increase in the total entropy of the mini-universe-- zero in the system (the rock) but a big increase in the surroundings (mainly in the sweating person and the warmer air around him or her).

From those simple examples you can see how important it is always to consider both system and surroundings in thinking about entropy. ThatÂ’s why I yelled "Look out" at you when you mentioned entropy being negative. There must have been a larger increase in entropy in the surroundings if ever there was a negative entropy change in a system. DS canÂ’t be negative spontaneously, i.e., by itself. System plus surroundings. System plus surroundings. Never forget to look at both.

Q: I get it. I get it. (I can say things twice, too! Guess IÂ’d better not forget or youÂ’ll yell at me again.) What happened to what you called a confusing dumb point?

A: Sorry. I get excited about this stuff. I didnÂ’t mean you were dumb. You were sold a bill of goods by some profs and authors who know better but think they are helping you by over-simplifying and using pretty little pictures as though you were children.. They go too far. Like encouraging you to believe in Santa Claus.

Q: Santa Claus? CÂ’mon. White-beard in the red suit that parents tell children gives them gifts at Christmas when itÂ’s really the parents and relatives that do the gift-giving?

A: Exactly.

The "confusing dumb point" is texts and profs telling you that "disorder" is the key to understanding entropy. "Disorder" can be a key sometimes, but it can be totally misleading (and always is a crutch, not a reason). Therefore, it should be used with great caution.

For a century "disorder" has been a codeword, a shorthand word, among professional thermodynamicists for the many ways that energy quanta (more about quanta in a minute) in molecules, atoms, etc., can be distributed among their motions. But the most distinguished themodynamicists have said clearly that other profs use that "disorder" codeword too loosely; it precisely applies only to three or four very specific molecular situations! So for gen chem texts to tell students disorder is a great picture to describe entropy in every situation is too much like Santa Claus being used as a codeword for all generosity because little kids canÂ’t understand abstract ideas.

You arenÂ’t a little kid. You can understand complex ideas or you and I wouldnÂ’t be talking about entropy. No reason why you canÂ’t be told that entropy is NOT defined by disorder, rather than talking down to you and confusing you by telling you about shuffled cards and messy desks and ions in solutions as examples of "disorder" and entropy. Nonsense. "Confusing dumb" because it can seriously mislead students beginning thermodynamics.

Your prof ought to read "Shuffled Cards, Disorderly Desks, and Messy Dorm Rooms – Examples of Entropy Increase? Nonsense!" in the October 1999 Journal of Chemical Education, pp. 1385-87.

(http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html) But donÂ’t tell him or her that!! DonÂ’t EVER correct professors in public. The few noisy and arrogant ones have extremely tender egos that bruise easily. Others should be treated even more courteously. A wiser procedure is to photocopy the "Shuffled CardsÂ…Entropy" article, write on it, "How about this??", with a red marker, and leave it on the seat of the profÂ’s chair. (Not on the desk. You know how easily stuff is shoved under other things on that desk.) Might be a helpful shock to him or her.

The closest thing to a clear picture of entropy – almost as good as a "photo" of DS – relates it to what atoms and molecules do with energy, specifically with thermal motion energy, heat. S measures the number of ways that the energy of a system can be distributed among the motions of its microparticles (its atoms, molecules, and/or ions). Then, if there are more ways for this energy distribution after some chemical reaction or physical event than there were before it, DS is positive.

Energetic motions of molecules are these:

When you heat up any bit of matter above absolute zero, you are putting energy in the molecules in one or more of those energetic modes or motions. But why should all the energy be concentrated in one mode ("one place") more than another? Why not all over the neighborhood -- spread out ("distributed") as much as it can be among all the available energetic states of systems and their surroundings? ThatÂ’s the key to understanding entropy change in most of chemistry. But before we get going in this enjoyable and profitable area, I have to ask you a question: What do you remember about quantization of energy, and about quantized energy levels in microparticles?

A &Q: Ho Ho!! Now I get to answer a question! Well, first I know that all energy, whether itÂ’s the energy that

atoms and molecules have (microparticles, like you say) or itÂ’s radiation that zings through space, is actually

always in bunches, little packages or quanta of energy. The size of the quanta depend on the kind of energy,

big quanta for powerful energy (like x-rays), small-sized quanta for much weaker energy (like heat or as in

molecules speeding around in a box.) The number of a given sized quanta indicates how much energy of that

type is there. So, summarizing, the size of the quanta shows the intensity, the "quality" of the energy. The

number of them shows the amount, the quantity.

Quantized energy levels? Do you mean that stuff about lower and higher energy levels that electrons

occupy in atoms, with the lowest called the s orbitals and then the p orbitals and so forth?

A: Great summary on energy quanta and good start on levels. In chem reactions where bonds are broken and

formed, the very large amounts of energy involved come from changes in the bonding, from electronic energy

levels inside molecules. Then, energy from these changes can be distributed to cause all the molecules in the

reaction to move faster or to vibrate more or to whirl around differently – and beyond that, in each of those

vibrational and other modes there are many levels that the quanta of energy can occupy, depending on both the

quantity and intensity of the energy packets.

The energy difference between levels for translational energy quanta is extremely small (around

10-14 kilojoules/mol), so small that "jumps" between translational energy levels are hard to detect

experimentally. Thus, absorption/gain or emission/loss of energy appears virtually continuous rather

than in the usual discrete steps or jumps between different energy levels. Rotational energy levels

differ by about 10-2 kJ/mol, and vibrational energy levels in the range of 25 kJ/mol (e.g., from 6 to

40). (Electronic energy levels involve about 5 to 20 times greater energy for absorption or emission

than do vibration levels.)

Q: So?

A: So now we have the clues as to WHAT entropy can be measuring. Energy diffuses or is distributed, if it can,

by having the microparticles involved occupy as many of these different energy levels of translation or rotation

or vibration as possible.

(What does "can occupy" mean? If the energy in the molecules isnÂ’t intense enough, as would be

indicated by a system's low temperature, its molecules certainly couldnÂ’t be in the highest

energy-demanding vibrational levels, for example. Those levels wouldnÂ’t "be available" to the

microparticles with inadequate energy "to occupy" them. Likewise, even though the microparticles

may have "intense" energy quanta (indicated by a high temperature), if there is just a very small

quantity present, only a few of the many available energy levels could be occupied or "filled".)

Such an increase in the number of ways that energy can be distributed by molecules or atoms in many

quantized levels means an increase in entropy because entropy measures how much energy spreads out or

can spread out.

If you let molecules of a gas into an empty container, or a gas or liquid into a container that has other

molecules, youÂ’ve given those molecules more volume to move in. Therefore, they have more closely-spaced

translational/rotational energy levels in which to spread out their original energy. Their entropy increases – there

are more combinations of ways for their many molecules to diffuse the energy in the larger "State 2" than the

original "State 1".

ThatÂ’s why molecules of a liquid spontaneously mix with others of similar kind when you pour a liter of one

kind with a liter of another related kind in a beaker. ItÂ’s not that there is any big deal kind of attraction between

them, nor only that there is more volume -- two liters of liquid instead of one in the beaker.

The volume increase is important only because it allows many more ways for the energetic molecules to

be distributed (in "many more energy levels"). Therefore entropy increases in "State 2" (after) compared to

"State 1" (before). Is that "disorderly" compared to "orderly"? Dumb question. Who cares? (To put it very

nicely.) What's most fundamental? The driving force of energy changes is what entropy is measuring not cc or

liters. Entropy is looking at the distribution of energy not at pretty patterns from Martha Stewart. The important

FUNDAMENTAL fact is that there are more energy locations, more "places" on energy levels for molecules,

etc, etc. – not places in space -- in S2 than in S1 and therefore there is an increase in entropy as occurs in all

spontaneous processes.

Q: Hmm. Got that. Now, maybe you forgot – seems like an hour ago -- I asked about soluble salts dissolving in

water spontaneously but the temperature of the beaker and the solution dropping. How does that fit in to all the

stuff youÂ’ve been talking about?

A: DidnÂ’t forget it. Had to take a look at all the background ideas before we could talk about it.

Crystals just dissolving in water -- seems like it should be a simple process, right? But there really are

opposing tendencies fighting each other, even though it happens spontaneously, by itself, without any energy

being supplied from outside the system of salt and water. The temperature of the solution usually decreases, as

you said, when most common salts dissolve. (In some, the temp rises rather than decreases. This is a key to

seeing that there's probably a conflict between two or more tendencies. Sometimes one beats the other;

sometimes the reverse. Sorry that it's not simple! Back to that in a minute.) Ammonium nitrate plus water gets

so cold so fast that it is used as an instant athletic "ice-pack" for sprains and bruises.

YES, about "order" at the beginning of dissolving: Perfect crystals are very orderly and symmetrical and

even ordinary imperfect NaCl and sodium sulfate and ammonium nitrate are neatly arranged in their crystalline

form. YES, about "disorder" after dissolving (but only a half-S yes, because the crystal ions/molecules get

disordered while solvent molecules get more ordered!): The ions from any of those rigid orderly salts when they

dissolve move every whichways in the aqueous solution, disorderly and flickering around like a bunch of

drunken mosquitoes. But wait a minute. Before the crystal ions came along to get in the swim, the solvent

molecules were free as birds (or mosquitoes), happily disorderly. In the dissolving process, the solvent

molecules associate around each of the ions and they are NOT as disorderly as they were before in pure

solvent. They lose in the game of entropy being "disorder". So what? Wrong game. Entropy is determined by

ENERGY distribution/diffusion, not by some arbitrary lack of neatnik patterns (above absolute zero). All right,

letÂ’s see what happens energetically when we think about crystals dissolving. It will still be complicated by a

conflict between the solid getting free and the solvent getting more tied up being around the ions, but at least

we'll be thinking straight about what happens and we'll have a clue about entropy changes.

In this case, the crystals are doing something, the water something different. Then, we can't forget the

surroundings, the beaker and the air around it. So, to minimize confusion, letÂ’s call the crystals System 1 (S1),

the water and resulting solution System 2 (S2), and the beaker and air near it Surroundings (Surr).

Now, in S1 at the start, the crystals of NaCl consist of sodium and chloride ions constantly vibrating back

and forth in their individual tiny regions. ThatÂ’s the only way they can behave with their particular energy quanta

and their close neighbors. If the ions could move into the volume where the water molecules are, they would

have other energy states that they could occupy -- primarily because of the more closely spaced

translationa/rotational states. Because that would be an increase in the ways of distributing the original amount

of energy, it would be an increase in entropy. It should occur spontaneously. So, according to the second law,

thereÂ’s no reason why dissolving shouldnÂ’t occur easily.

But look at what happens to entropy changes in S2, the water into which the ions go. Before any salt was in

contact with the water, as we said, the water molecules were zipping around quite freely. (Oh yes, they had

hydrogen bonds between numbers of them, that formed and broke constantly, so they weren't as free as gas

molecules. But still, a pretty free life.) When the ions of the salt came into the water to make a solution, the polar

water molecules gathered relatively tightly around each ion because of the ion's concentrated electrical charge.

Entropy-wise, that restricted the movement of the water molecules and decreased the number of readily

available energetic states. So in S2 (after) compared to S2 (before), there is a decrease in entropy. It tends to

oppose the positive increase in entropy of ions (in DS1) dissolving in water. Overall, the entropy increase in DS1

is usually slightly greater than the decrease in DS2 so there is a modest entropy increase when salts dissolve.

Oops. There are two much more powerful energy factors we have to look at when we are thinking about

salts dissolving. A tremendous amount of energy has to be put into S1, a crystal like NaCl, in order to break the

strong bonds among the ions and to let them float into the water and be surrounded by water molecules.

However, as polar water molecules surround all those ions, they would form huge numbers of weak bonds with

them -- and making so many of these bonds would give out large amounts of energy from S2. Which "system"

wins? Bond-breaking energy demands from the crystals in S1, or bond-forming energy release in S2?

In the case of NaCl, the energy required to break the ionic bonds of the crystalline salt, S1, is very close to

the energy evolved from the new bonds between water and the ions in S2. They're so nearly equal that the S1

entropy factor dominates. S1 Entropy factor? Yes, the ions having more ways to distribute themselves

energetically in the solution if they can be helped to escape from the crystalline salt, S1. But in most common

salts, this process requires so much energy that the bond forming in S2 isn't enough to do the whole job and that

means taking some energy from the surroundings, the beaker and the nearby atmosphere that we called "Surr".

The example of ammonium salts fits what we've said. We would expect the entropy factor to be about the

same. But the fact that the ammonium ion is larger than sodium means that its + charge would be spread over

a larger surface area, not be as intense, not as strongly attract water molecules. Therefore, the energy given out

by bond formation in S2 would be much less than what would be needed to break the bonds between the

ammonium and its negative ions, such as chloride or nitrate. But the process does occur; ammonium salts

easily dissolve in water -- with a great deal of cooling of "Surr", the beaker and the surrounding air. This means

that the tendency of the ammonium and its negative ions to move into the water in more energetic levels

(greater entropy) is so dominant that energy is taken from the surroundings.

On the other hand, some salts like calcium chloride form such strong bonds with water molecules that this

bond-formation in S2 is far greater than the energy needed to break the salt's bonds. In these cases the

solutions gets hot as the salt dissolves.

Q: Man, it sure is easier to dissolve salt than to explain it! Oh. Wait a minute. What hit me a second ago? Oh,

this – what about your talking about calcium chloride or salts like it that form more bonds or stronger ones with

water and actually get hot. IsnÂ’t that a chemical reaction? And shouldnÂ’t you always use the Gibbs equation, DG

= DH - TDS, when you work with chemical reactions and entropy and heat evolved and stuff?

A. Now you’re getting to the goodies! YES – all chemistry that involves energy (and what doesn’t?) is

dominated by energy flow – the second law – and so entropy is the key to measuring it. But this introductory

section about entropy is getting too long so letÂ’s cut it after just two more short items. Then in a later section,

"Entropy and Gibbs free energyÂ…", letÂ’s talk more about how terrifically important entropy-thinking is in all of

chemistry.

This may rattle your brain about the Gibbs equation a bit: Divide that equation by T and what do you

get? Three terms, each having the dimensions of entropy. The Gibbs is ALL entropy really!! How

about that?

First short item: A neat example of entropy as a measure of the number of ways energy can be distributed

in a system that embarrasses a lot of profs who use that misleading "order-disorder" stuff about entropy:

supersaturated solutions.

Q: Supersaturated solutions?. Yeh. I remember a beautiful picture in my book about crystals forming fast and

almost filling a beaker when you just drop a "seed" of a crystal into that kind of a clear solution. What has that to

do with entropy or being embarrassed?

A: Come on now! Where have you been the last ten minutes?? LetÂ’s say you have just been promoted to

professor and are teaching gen chem. A week or so ago you told your class about spontaneous processes

occurring with an increase in entropy. (Assume you hadnÂ’t been properly educated (!) and youÂ’re an "entropy is

a measure of disorder" believer.) Quote from Professor You (glasses down on your nose, to look wise and

authoritative), "Order never spontaneously arises from disorder."

So can you guess how foolish you look if you are demonstrating to a class and show a supersaturated

clear aqueous solution – that they all know is disorderly "just like all solutions are" -- drop a single crystal in it,

and zoom! the whole beaker fills up with beautiful sparkling orderly crystals and it gets warm?? What if a

student, as feisty as you are now, raises his hand then and says "But sir, thatÂ’s going from disorder to visible

orderÂ… Then thatÂ’s a spontaneous negative entropy change, right? And it heats up, TOO?" Blush, blush, sweat,

sweat Professor You. "Order-disorder" has made you look like an idiot.

(Always say "sir" or "maam" when you ask an embarrassing question. NO! Better, donÂ’t

ever do it in class. It really isn’t courteous – and you want always to be treated

courteously, right? So, just let it go by, scribble the question on a piece of paper and

ask a senior or grad student in private later.)

From an energy standpoint, thereÂ’s no sweat or blushing needed in answering the question. The

crystallization is spontaneous entropy-wise for these energetic reasons: (1) the process gives out heat

(because of so many strong bonds in the crystals being formed), and thus there is a positive entropy change in

the surroundings from the thermal energy transfer from the system; (2) the water is initially in a

thermodynamically unstable state when supersaturated because more ions are surrounding/surrounded by

water molecules and constricting the waterÂ’s movement than in an equilibrium state. Thus, the water becomes

more free to move when the excess of ions crystallize out and there are more available translational, rotational,

and vibrational modes for it than before in the supersaturated state – also a positive entropy change. Voila!!

We can see that OF COURSE there is an increase in entropy in this system + surroundings because entropy

changes depend on occupancy of energetic states!. It has nothing to do with how neat or disorderly the

beakerÂ’s contents look to us before and after the event.

Finally, an amusing illustration of the inadequacy of "order-disorder" in "explaining" phenomena is the

melting of ice and freezing of water (or any other phase change). If "order to disorder" is fundamentally involved

in entropy explanations, how is it that such a radical thing as an absolute stop in temperature increase occurs at

0o C and you canÂ’t raise the temp a hundredth of a degree until all the ice melts? If you were commanded to

change an orderly pattern like a checkerboard (or a three-dimensional crystal) very very gradually toward a

disorderly jumble, you would just move one square or tiny bit and then another and then another, ditto, ditto,

ditto, right? No stop in the process, of course, because your job is to move a little, move a little, move a little

until whoever made you do it says it's all a disorderly heap.

OK, if the fundamental process in nature is just "pattern changing" to disorder, shouldn't it occur

incrementally, gradually, continually just like step by step checkerboard mixing-up without any halt or break?

Orderly ice should slowly become more and more disorderly water as thermal energy is continually transferred

to the system and the temperature gradually rises from – 0.1o C to 0.0o C and then moves right along to

increase to + 0.1o C. Wait a minute. You canÂ’t warm ice and ice-water and see the temp steadily rise those

two-tenths of a degree from –0.1 to +0.1 as you could from, say, –0.3 to –0.1o! Unlike steady incremental

pattern changing, steadily pouring energy into the ice-water system doesn't continue the process of warming

when the temperature reaches 0o . Solely on an "orderly-disorderly" basis, there is no reason why an

incremental changing of patterns in ice should magically, arbitrarily stop at some temperature or other and wait

wait wait? (So the prof has to sneak in an extraneous reason, i.e., outside of order-disorder concepts.)

There isnÂ’t any answer to these simple questions in the "order-disorder" visualization because it is a

gimmick and not fundamental. In contrast, the reason for a stop at 0.0o becomes clear if we think about the

microenergetics of what happens as we transfer more and more thermal energy and see the temperature rise.

Below 0.0o.C, the energy quanta are only large enough to change the least energy-requiring

vibrational-rotational modes between the water molecules that are attracted to one another in crystalline ice.

Only when the temperature (an indication of the "quality", the intensity of the energy quanta present in the

system) reaches 0.0o C are there larger quanta that molecules can acquire so the molecules are able to

occupy greater rotational - translational modes that are characteristic of liquid water. Thus, only then can

molecules can break free of the crystalline ice to move into the water phase. No temperature rise can occur --

i.e. a huge number of rotational/translational/vibrational modes in the molecules in ice can’t be filled – until

enough incoming energy at 0o has been supplied, that is quantity (or number of quanta) of the required quality

(or intensity of quanta). Then, all the molecules distribute the incoming energy by rotating and translating

enough and break the weak bond holding them in a solid form and become liquid water.

Here's an analogy (even though it's only mediocre): The need for energy to be intense enough (quality) and

sufficient (quantity) to occupy rotational and translational modes before melting or other phase transitions can

occur is a little bit like a small creek across which we have just thrown a dam. The slowly increasing depth of the

water behind the dam is comparable to the slow filling of rotational/etc modes as thermal energy flows into ice

at 00 C. The creek can’t go over the dam – i.e., in analogy, there isn't sufficient energy in the system to make all

the crystals change to liquid -- until the dam is full. THEN, when the "energetic dam" is filled, all the molecules in

the ice have absorbed enough energy to change to liquid water and further input of thermal energy makes them

move faster. That means the temperature can rise to +0.01o C and above – just as the creek coming from way

upstream can now flow freely over the dam. (OK, OK , no analogy is perfectly parallel to what really happens!)

- - - - - - - - - - - - -

SUMMARY

Important stuff to remember

BUT if your textbook and prof disagree with the following, DO IT THEIR WAY! Grades, and a good relationship with her/him, are more important than anything while you're in the class. Just keep this page for the future, when you get to a better course or graduate and can emphasize fundamentals.

(As an excellent method of increasing your 'mental muscles', when your prof  makes an error, think to yourself, "Knowing what I know about entropy, what should he/she have said? If I were teaching, what would I say correctly?" and scribble it in your notes, But keep it to yourself!)

A generalization for classical thermodynamics (macro thermo, Clausius): Entropy measures the energy dispersion in a system divided by temperature DS = Dq/t

A generalization for statistical thermodynamics (micro thermo, Boltzmann):

Entropy measures the energy distribution by molecules on quantized levels in a system: the number of ways in which energetic molecules in a system are distributed among the energy levels available to them.

DS = R/N ln (Wfinal)/(Winitial)

Entropy is NOT a driving force; it measures the driving force.

The driving force that entropy measures in systems of atoms and molecules (microparticles) is the tendency of the energy within the microparticles to spread out. It does this by making them occupy as many microenergetic quantum levels as are available to them -- translational, vibrational, rotational (and electronic) -- considering the intensity and amount of energy that the microparticles have.

Thus, entropy is a measure of the number of ways (the microenergetic levels) in which the energy of a system can be distributed.

Entropy is NOT "disorder".

Entropy is NOT a "measure of disorder" (except in three atomic/molecular situations)

Entropy is NEVER a measure of disorder in the arrangement of macro objects -- from playing cards and messy desks to bricks and boulders.

Disorder in macro objects is caused by energetic agents (wind, heat, earthquakes, driving rain, people, or, in a quite different category, gravity) acting on them to push them around to what we see as "disorderly" arrangements, their most probable locations after the agent is not actively moving them. The agents (other than gravity!) undergo an increase in entropy in the process. The objects are unchanged in entropy if they are simply rearranged.

If an object is broken, there is no measurable change in entropy until the number of bonds broken is about a thoudsandths of those unchanged in the object. This means that one fracture or even hundreds make no significant difference in an object's entropy. (It is only when something is ground to a fine powder that a measurable increase or decrease in entropy occurs -- the sign of change depending on the kinds of new bonds formed after the break compared to those in the original object.)

Even though breaking a mole-sized crystal of NaCl in half involves slight changes in hundreds to thousands of the NaCl units adjacent to the fracture line, in addition to those actually on such a line, there are still at least 106 bonds totally unaffected. Thus we can see why a single fracture of a ski (unhappy as it is to the skier), or a house torn apart in to ten thousand pieces by a hurricane (disastrous as it is to the homeowner), represent truly insignificant entropy changes. The only notable entropy change occurs in the agent causing the breaks. Human concepts of order are misplaced in evaluating entropy.

"Disorder" or "positional/configurational entropy" -- as judged from an increase in the number of molecules, an increase in volume or in temperature or molecular complexity, etc. -- is often a useful gimmick for guessing at an entropy increase in a chemical process, but it is not a fundamental thermodynamic attribute. When it is

applied blindly by beginning students to all situations, it can mislead

them. (Glaring examples of errors in a whole area of physical events

are those involving the "disorderly patterns" when macro objects are

moved, but other examples involving molecular behavior have been

mentioned in the previous pages.)

"Disorder" ("positional entropy") is indisputably useful in quick

estimates of entropy changes (really necessary in some complex

situations, e.g., in protein folding) by skilled students and pros. It is

fun -- but not fundamental.

Energy is the capacity of a system to do work.

Every transfer of energy within a system or with its surroundings involves an increase in

entropy, a decrease in ability to do work, a "spreading out" or "diffusion" of energy, an

increase in "waste heat".

All physical and chemical processes involve an increase in entropy in the combination of

(system + surroundings).

System plus surroundings. System plus surroundings. System plus surroundings!

References

Professor John P. LoweÂ’s superb explanation of the importance of the occupancy of energy levels as a

genuine basis for entropy (rather than "randomness" or "disorder") via informal QandA is in the Journal of

Chemical Education, 1988, 65 (5), 403 – 406. Pages 405 and 406 are especially pertinent and very readable.

An excellent introduction to Professor Norman C. CraigÂ’s procedure of attacking entropy problems is in

"Entropy Analyses of Four Familiar Processes", Journal of Chemical Education, 1988, 65 (9), 760 – 764.

Professor CraigÂ’s 200 page paperback Entropy Analysis (John Wiley, New York, 1992), is the best short

technical introduction to the laws of thermodynamics and the correct utilization of entropy in print. It is

accessible to a diligent first-year college student, and especially valuable to a student beginning physical

chemistry thermo (as well as to mature chemists who really never understood entropy in their thermodynamics

classes).

Most current college general chemistry texts have excellent sections on calculations involving entropy. Use

them for extending your understanding to this essential quantitative area.

Links

A valid, but brief, lecture is http://chem.brown.edu/chem31/1998/lectures-98/lecture15.html (Reading the Oxtoby/Gillis/Nachtrieb text on which it is based would be far more helpful to any student.) As of 11/99, other links to second law URLs are too sketchy, too non-helpful or have too many errors to be useful.

http://www.secondlaw.com , mentioned in this section, is a practical introduction to the second law from which illustrations in this present site were taken, but the treatment of entropy there is much less detailed except in the appendix where endothermic reactions are mentioned.

http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html is the abstract of my article showing why shuffled cards, messy desks and disorderly dorm rooms are NOT examples of entropy increase: Journal of Chemical Education, 1999, 76 (10), 1385 – 1387.

Please forward any good tutorial thermo URLs that you find so they can be listed here.


http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html

Shuffled Cards, Messy Desks, and Disorderly Dorm

Rooms - Examples of Entropy Increase? Nonsense!

Frank L. Lambert

2834 Lewis Dr., La Verne, CA 91750

The order of presentation in this article is unusual; its conclusion is

first. This is done because the title entails text and lecture examples

so familiar to all teachers that most may find a preliminary

discussion redundant.

Conclusion

The dealer shuffling cards in Monte Carlo or Las Vegas, the

professor who mixes the papers and books on a desk, the student

who tosses clothing about his or her room, the fuel for the huge

cranes and trucks that would be necessary to move the nonbonded

stones of the Great Pyramid of Cheops all across Egypteach

undergoes physical, thermodynamic entropy increase in these

specific processes. The thermodynamic entropy change from

human-defined order to disorder in the giant Egyptian stones

themselves, in the clothing and books in a room or papers on a

desk, and in the millions of cards in the world's casinos is precisely

the same: Zero.

K. G. Denbigh succinctly summarizes the case against identifying

changes in position in one macro object or in a group with physical

entropy change (1):

If one wishes to substantiate a claim or a guess that some

particular process involves a change of thermodynamic or

statistical entropy, one should ask oneself whether there exists

a reversible heat effect, or a change in the number of

accessible energy eigenstates, pertaining to the process in

question. If not, there has been no change of physical entropy

(even though there may have been some change in our

"information").

Thus, simply changing the location of everyday macro objects from

an arrangement that we commonly judge as orderly (relatively

singular) to one that appears disorderly (relatively probable) is a

"zero change" in the thermodynamic entropy of the objects because

the number of accessible energetic microstates in any of them has

not been changed. Finally, although it may appear obvious, a

collection of ordinary macro things does not constitute a

thermodynamic system as does a group of microparticles. The

crucial difference is that such things are not ceaselessly colliding

and exchanging energy under the thermal dominance of their

environment as are microparticles.

A postulate can be derived from this fundamental criterion:

The movement of macro objects from one location to another

by an external agent involves no change in the objects'

physical (thermodynamic) entropy. The agent of movement

undergoes a thermodynamic entropy increase in the process.

A needed corollary, considering the number of erroneous

statements in print, is:

There is no spontaneous tendency in groups of macro objects

to become disorderly or randomly scattered. The tendency in

nature toward increased entropy does not reside in the

arrangement of any chemically unchanging objects but rather

in the external agent moving them. It is the sole cause of their

transport toward more probable locations.

The Error

There is no more widespread error in chemistry and physics texts

than the identification of a thermodynamic entropy increase with a

change in the pattern of a group of macro objects. The classic

example is that of playing cards. Shuffling a new deck is widely

said to result in an increase in entropy in the cards.

This erroneous impression is often extended to all kinds of things

when they are changed from humanly designated order to what is

commonly considered disorder: a group of marbles to scattered

marbles, racked billiard balls to a broken rack, neat groups of

papers on a desk to the more usual disarray. In fact, there is no

thermodynamic entropy change in the objects in the "after" state

compared to the "before". Further, such alterations in arrangement

have been used in at least one text to support a "law" that is stated,

"things move spontaneously in the direction of maximum chaos or

disorder".1

The foregoing examples and "law" seriously mislead the student by

focusing on macro objects that are only a passive part of a system.

They are deceptive in omitting the agent that actually is changed in

entropy as it follows the second lawthat is, whatever energy source

is involved in the process of moving the static macro objects to

more probable random locations. Entropy is increased in the

shuffler's and in the billiard cue holder's muscles, in the tornado's

wind and the earthquake's stressnot in the objects shifted.

Chemically unchanged macro things do not spontaneously, by

some innate tendency, leap or even slowly lurch toward visible

disorder. Energy concentrated in the ATP of a person's muscles or

in wind or in earth-stress is ultimately responsible for moving

objects and is partly degraded to diffuse thermal energy as a result.

Discussion

To discover the origin of this text and lecture error, a brief review

of some aspects of physical entropy is useful. Of course, the

original definition of Clausius, dS = Dq(rev)/T, applies to a system

plus its surroundings, and the Gibbsian relation of

pertains to a system at constant pressure and constant temperature.

Only in the present discussion (where an unfortunate term,

information "entropy", must be dealt with) would it be necessary to

emphasize that temperature is integral to any physical

thermodynamic entropy change described via Clausius or Gibbs. In

our era we are surer even than they could be that temperature is

indispensable in understanding thermodynamic entropy because it

indicates the thermal environment of microparticles in a system.

That environment sustains the intermolecular motions whereby

molecules continuously interchange energy and are able to access

the wide range of energetic microstates available to them. It is this

ever-present thermal motion that makes spontaneous change

possible, even at constant temperature and in the absence of

chemical reaction, because it is the mechanism whereby molecules

can occupy new energetic microstates if the boundaries of a system

are altered. Prime examples of such spontaneous change are

diffusion in fluids and the expansion of gases into vacua, both

fundamentally due to the additional translational energetic

microstates in the enlarged systems. (Of course, spontaneous

endothermic processes ranging from phase changes to chemical

reactions are also due to mobile energy-transferring microparticles

that can access new rotational and vibrational as well as

translational energetic microstatesin the thermal surroundings as

well as in the chemical system.)

Misinterpretation of the Boltzmann equation for entropy change,

ln(number of energetic microstates after change/number

of energetic microstates before change), is the source of much of

the confusion regarding the behavior of macro objects. R, the gas

constant, embeds temperature in Boltzmann's entropy as integrally

as in the Clausius or Gibbs relation and, to repeat, the

environment's temperature indicates the degree of energy

dispersion that makes access to available energy microstates

possible. The Boltzmann equation is revelatory in uniting the

macrothermodynamics of classic Clausian entropy with what has

been described above as the behavior of a system of microparticles

occupying energetic microstates.

In discussing how probability enters the Boltzmann equation (i.e.,

the number of possible energetic microstates and their occupancy

by microparticles), texts and teachers often enumerate the many

ways a few symbolic molecules can be distributed on lines

representing energy levels, or in similar cells or boxes, or with

combinations of playing cards. Of course these are good analogs

for depicting an energetic microsystem. However, even if there are

warnings by the instructor, the use of playing cards as a model is

probably intellectually hazardous; these objects are so familiar that

the student can too easily warp this macro analog of a

microsystem into an example of actual entropic change in the

cards.

Another major source of confusion about entropy change as the

result of simply rearranging macro objects comes from information

theory "entropy".2 Claude E. Shannon's 1948 paper began the era

of quantification of information and in it he adopted the word

"entropy" to name the quantity that his equation defined (2). This

occurred because a friend, the brilliant mathematician John von

Neumann, told him "call it entropy no one knows what entropy

really is, so in a debate you will always have the advantage" (3).

Wryly funny for that moment, Shannon's unwise acquiescence has

produced enormous scientific confusion due to the increasingly

widespread usefulness of his equation and its fertile mathematical

variations in many fields other than communications (4, 5).

Certainly most non-experts hearing of the widely touted information

"entropy" would assume its overlap with thermodynamic entropy.

However, the great success of information "entropy" has been in

areas totally divorced from experimental chemistry, whose

objective macro results are dependent on the behavior of energetic

microparticles. Nevertheless, many instructors in chemistry have

the impression that information "entropy" is not only relevant to the

calculations and conclusions of thermodynamic entropy but may

change them. This is not true.

There is no invariant function corresponding to energy embedded in

each of the hundreds of equations of information "entropy" and thus

no analog of temperature universally present in them. In contrast,

inherent in all thermodynamic entropy, temperature is the objective

indicator of a system's energetic state. Probability distributions in

information "entropy" represent human selections; therefore

information "entropy" is strongly subjective. Probability distributions

in thermodynamic entropy are dependent on the microparticulate

and physicochemical nature of the system; limited thereby,

thermodynamic entropy is strongly objective.

This is not to say that the extremely general mathematics of

information theory cannot be modified ad hoc and further

specifically constrained to yield results that are identical to Gibbs'

or Boltzmann's relations (6). This may be important theoretically

but it is totally immaterial here; such a modification simply supports

conventional thermodynamic results without changing themno lesser

nor any greater thermodynamic entropy. The point is that

information "entropy" in all of its myriad nonphysicochemical

forms as a measure of information or abstract communication

has no relevance to the evaluation of thermodynamic entropy

change in the movement of macro objects because such

information "entropy" does not deal with microparticles whose

perturbations are related to temperature.3 Even those who are very

competent chemists and physicists have become confused when

they have melded or mixed information "entropy" in their

consideration of physical thermodynamic entropy. This is shown by

the results in textbooks and by the lectures of professors found on

the Internet.1

Overall then, how did such an error (concerning entropy changes in

macro objects that are simply moved) become part of mainstream

instruction, being repeated in print even by distinguished physicists

and chemists? The modern term for distorting a photograph,

morphing, is probably the best answer. Correct statements of

statistical thermodynamics have been progressively altered so that

their dependence on the energetics of atoms and molecules is

obliterated for the nonprofessional reader and omitted by some

author-scientists.

The morphing process can be illustrated by the sequence of

statements 1 to 4 below.

1.Isolated systems of atoms and molecules spontaneously tend

to occupy all available energetic microstates thermally

accessible to them and tend to change to any arrangement or

macro state that provides more such microstates. Thus,

spontaneous change is toward a condition of greater

probability of energy dispersion. After a spontaneous

change, the logarithm of the ratio of the number of available

microstates to those in the prior state is related to the

system's increase in entropy by a constant, R/N per mole. It

is the presence of temperature in R that distinguishes physical

entropy from all information "entropy".

2.Systems of atoms and molecules spontaneously tend to go

from a less probable state in which they are relatively

"orderly" (few microstates, low entropy) to one that is more

probable in which they are "disorderly" (many microstates,

high entropy).

3.Spontaneous (natural) processes go from order to disorder

and entropy increases. Order is what we see as neat,

patterned. Disorder is what we see as messy, random.

4.Things naturally become disorderly.

Most chemists would read statements 3 and 4 with the implications

from statement 1 or 2 automatically present in their thoughts.

Undoubtedly, a majority are aware that 3 really applies only to

atomic and molecular order and disorder. However, most students

and nonscientists lack such a background. As is evident from their

writing, some physicists err because they ignore or forget the

dependence of physical thermodynamic entropy upon atomic and

molecular energetic states.

The following recent quote from a distinguished physicist is in the

middle of a discussion of the arrangement of books in a young

person's room: "The subjective terms 'order' and 'disorder' are

quantified by association with probability, and identified,

respectively, with low and high entropy." He then informs his

readers that "in the natural course of events the room has a

tendency to become more disordered."1 (Italics added.)

The phrase "in the natural course of events" implies to a chemist

that energy from some sourcethe internal energy of a substance in a

chemical process, the external energy involved as an agent

transports a solid objectcan powerfully affect macro things in a

room, but is this true for most readers? "Naturally" to many

students and nonscientists even has the inappropriate connotation

"of course" or "as would be expected". Certainly, it does not

properly imply a truly complex set of conditions, such as "in nature,

where objects can be pushed around by people or windstorms or

hail or quakes and where the substances from which they are made

can change if their activation energies are exceeded"!

Thus, errors in texts and lectures have arisen because of two types

of category slippage: (i) misapplying thermodynamic entropy

evaluationsproper in the domain of energetic atoms and

moleculesto visibly static macro objects that are unaltered

packages of such microparticles, and (ii) misinterpretation of words

such as natural (whose common meaning lacks a sense of the

external energy needed for any agent to move large visible things.)

Why is there no permanent thermodynamic entropy change in a

macro object after it has been transported from one location to

another or when a group of them is scattered randomly?

Thermodynamic entropy changes are dependent on changes in the

dispersal of energy in the microstates of atoms and molecules. A

playing card or a billiard ball or a blue sock is a package, a sealed

closed system, of energetic microstates whose numbers and types

are not changed when the package is transported to a new site

from a starting place. All macro objects are like this. Their

relocation to different sites does not create any permanent

additional energetic microstates within them. (Any temporary

heating effects due to the initiation and cessation of the movement

are lost to the environment.) Thus, there is a zero change in their

physical entropy as a result of being moved.

Acknowledgments

I thank Norman C. Craig and the reviewers for invaluable criticism

of the original manuscript.

Notes

1.Singling out individual authors from many could appear

invidious. Thus, references to quotations or errors are not

listed.

2.It is important that information "entropy" always be in quotes

whenever thermodynamic entropy is mentioned in the same

article or book. Otherwise, the unfortunate confusion of the

past half-century is amplified rather than attenuated.

3.It has been said that an information "entropy"

equationcompared to those for thermodynamic entropymay

look like a duck but, without any empowering thermal

energy, it can't quack like a duck or walk like a duck.

Literature Cited

1.Denbigh, K. G. Br. J. Philos. Sci. 1989, 40, 323-332.

2.Shannon, C. E. Bell System Tech. J. 1948, 27, 329-423,

623-656.

3.Tribus, M.; McIrvine, E. C. Sci. Am. 1971, 225, 180.

4.Including: Golembiewski, R. T. Handbook of

Organizational Behavior; Dekker: New York, 1993.

5.Hillman, C. Entropy on the World Wide Web;

http://www.math.washington.edu/~hillman/entropy.html.

Extensive references to print and WWW sites, primarily

information "entropy" but thermodynamic entropy in the

physical sciences in

http://www.math.washington.edu/~hillman/Entropy/phys.html

(The "e" in entropy is case sensitive in these two URLs.). A

European mirror site (via China) is at

http://www.unibas.ch/mdpi/entropy (accessed June 1999).

6.Tribus, M. Am. Sci. 1966, 54, 201-210.

Citation: Lambert, Frank L. Shuffled Cards, Messy Desks, and Disorderly

Dorm Rooms - Examples of Entropy Increase? Nonsense! J. Chem. Educ.

1999 76 1385.

Keywords: Introductory / High School Chemistry; Physical Chemistry;

Nonmajor Courses; Statistical Mechanics; Thermodynamics


http://www.2ndlaw.com/gibbs.html

Entropy and Gibbs free energy, DG = DH - TDS

This page is for students who have wrestled with some problems involving the Gibbs equation, DG = DH - TDS,

and think that the DH in it has nothing to do with entropy.

Prof: The whole Gibbs relationship or function is about entropy change.

Student: YouÂ’re wrong. Just that last term, TDS, is entropy change. ThereÂ’s always a conflict between the

enthalpy and the entropy terms. Only at high temperatures does the entropy part win. Ha.

P: Divide the Gibbs deal by T. WhatÂ’s the nature of the terms now? Doesn't each one look like entropy change?

S: D G/T = D H/T - D S. Whaddya mean, look like entropy change? D S is q/T.

P: Sure, but q is the transfer of thermal energy (that we often, too loosely, call "heat"). So isnÂ’t DH really a "q", a

thermal energy transfer? Also, DG/T has the form of an energy transfer/T just as that DH/T does. All DSs!

Therefore, the Gibbs equation really is

"Entropy change (1) = Entropy change (2) – Entropy change (3)"

BUT weÂ’d better be a lot more specific and talk about what those three entropy changes really mean.

S: Darn right. Divide by T and I admit everything in that Gibbs looks like entropy change. But that just confuses

me. What happens to the fight between enthalpy and entropy if enthalpy turns into entropy? Do I have to learn

another mysterious phys chem equation?

P: No way, no mystery. Let’s give it the full court press – you’ll be amazed at how neat everything comes out

(because now that "fight" between enthalpy and entropy will make sense). It'll give you a much better feel for

entropy itself.

To start, letÂ’s think about a system in which a chemical reaction is occurring. There can be thermal energy

transferred ("heat") from the system to its surroundings or vice versa. Well, letÂ’s really think big by saying that

nothing else is happening in the entire universe but the reaction in our system. Look at the entropy changes

involved:

DS(universe) = DS(surroundings) + DS(system) (1)

Now, if chemicals are mixed in the system (at constant T and, normally, constant P) and a reaction occurs,

some thermal energy transfer ("heat"), q, takes place in the reaction. How much q? That's easy: q is the change

in enthalpy; q = DH(system). (The sign of DH can be + or - , but we're just talking broadly and generally, so let's

start simply with + DH.)

However, from the viewpoint of the surroundings, the sign of DH changes when thermal energy is transferred

from the system and becomes absorbed by the surroundings, i.e., a + DH(system) when transferred to the

surroundings becomes - DH(surroundings) -- (and, of course, a -DH(system) when transferred out of the system

becomes DH(surroundings). As a general equation, simply to express that change of sign, here's (2):

-DH(surroundings) =DH(system) (2)

What does this have to do with entropy? To answer that, letÂ’s divide equation (2) by T:

-DH/T(surroundings) = DH/T(system) (3)

Then, since DS = q/T, and the only q in the surroundings right now is - DH, that means that - DH/T(surroundings)

= - DS(surroundings). Therefore, inserting this result in equat. (3):

(Assuming that the surroundings are far larger than the system, i.e., reversible conditions.)

-DS(surroundings) = DH/T(system) (4)

or, changing signs merely so we have a + DS to work with in a moment,

DS(surroundings) = - DH/T(system) (5)

Now, replacing DS(surroundings) in equat. (1) with -DH/T(system) as just justified by (5):

DS(universe) = - DH/T(system) + DS(system) (6)

DS(universe)?? Just to say that aloud seems like a really big mouthful -- and head-full! But remember that we

started out originally by saying that the only reaction happening in the whole universe was the one in our

constant T, constant P system. So any DS(universe) would be perfectly measured by what happens only in our

system.

Let's see. To put it in the most general terms, the energy change that occurred in the reaction in the system --

and which entropy measures by DS = q/T -- has been spread out, some remaining in the system as DS and

some being transferred to the surroundings and identifiable as the DH/T(surroundings). (It can be used for work,

but right now we're looking at it either as though it was all dissipated as unavailable thermal energy or as

though the work itself had resulted in the same amount of waste energy, i.e., as DS(surroundings).

But exactly what was the original energy change that came out of the reaction in our system? We don't know,

but let's give it a symbol of DG(system). OK, since that was the only event that occurred in the universe, and

because energy flow (thermal energy transfer, "heat") divided by T is entropy, DG/T(system) is equal to the total

entropy change in the entire universe due to this reaction! DS(universe) = DG/T(system)

Oops! Watch it! We have to switch algebraic signs when looking at this energy/T change from a universe's

viewpoint rather than from the system's. So

DS(universe) = - DG/T(system)

and equation (6) -- derived from that "way-back-there" equation (1) -- becomes

- DG/T(system) = - DH/T(system) + DS(system)

Multiply through by –T and what do you get?

S: How about that! The old Gibbs, DG = DH - TDS. But wait. What kind of fast shuffle are you dealing me when

you to start with all entropy and end up with enthalpy and DG thatÂ’s called "free energy"? Is entropy enthalpy? Is

entropy free energy? IÂ’m REALLY confused now.

P: Slow down. DonÂ’t panic.

Entropy is never enthalpy, nor free energy. A systemÂ’s enthalpy is only entropy change (after DH is divided

by T) if it is transferred to the surroundings and no work of any sort is done there in the surroundings. A

surroundingsÂ’ enthalpy is only entropy change (after DH being divided by T) when it is transferred to the system

and no work is then performed in the system. Gibbs free energy change, DG, is only considered entropy

change(after being divided by T) when no useful work of any kind is done by the heat transfer in the system or in

the surroundings.

Starting with that Equation (1), we have found the breadth of the concept we call entropy. Entropy change,

in the classical "macrothermodynamics" we've been looking at, is the ratio-measure, q/T, of the driving force for

every spontaneous chemical reaction in the universe. Even when we focus on a little chemical system in our lab

on earth by means of the Gibbs equation, we see the driving force -- the tendency of energy formerly bound in

reactants to be spread out in the products. From information in other areas of chemistry than thermodynamics,

we now know that the DH of Gibbs primarily comes from the difference in electronic binding energy between

products and reactants. Usually in exothermic reactions, the products have stronger bonds and so some of the

greater binding energy in the less strongly bound reactants is released as heat. From the energetics of

molecules (again, outside of macrothermodynamics) we know that this increased thermal energy is due to

molecules moving more rapidly and colliding more forcefully with one another. When the resultant DH(system)

gets to the surroundings, it can be used to boil water or run a steam engine or charge a battery. But if it isnÂ’t

used for doing any work, it is simply dissipated in the surroundings as DH/T(surroundings), i.e., as

DS(surroundings). It becomes entropic "waste heat", no longer capable of causing change because it is at the

same temperature as the surrondings (even though it may have raised the terperature of the surroundings and

infinitesimal amount.)

The Gibbs equation is only concerned with macrothermodynamics, with what we can measure in the lab

rather than what is happening down there inside the molecules during chemical reactions. What IS entropy

change from the viewpoint of a molecule? Boltzmann and "microthermodynamics" deal with that. (You've heard

a lot about it in other sections of this Web site.) To begin with, depending on their temperature and

solid/liquid/gas state, all molecules need a certain amount of energy to move and rotate and vibrate internally,

in addition to the large amount of electronic energy in their bonds that holds them together. S(298oK, formation)

in your textbook tables -- that's really DS(from absolute zero, formation) because entropies are assumed to be

0 there -- measures all those kinds of energy "in a bundle". So TDS in the Gibbs equation is the amount of

energy a mol of product molecules needs to exist at a temperature T compared to one of reactant molecules.

(Give them more energy and they scoot around faster because the added energy goes into their

translational/rotational/ vibrational modes. Heat them up to a high enough temperature and you even boost

them to an excited electronic state where bond breaking can occur.

The confusion -- about "If it's enthalpy, how can that be entropy???" -- comes in because the BIG equation

(1) is actually the ultimate scenario for energy transfer in any chemical change. (Or "physical change" too, but

let's skip that in concentrating on Gibbs.) We may be able to sneak some work out of the DH when or as that

energy transfer from system to surroundings occurs and that's fine. Perhaps we can use it for human purposes.

Good. Go ahead and calculate how much w.

But equation (1) is saying that ultimately any kind of work is going to become diffused (or at least tend to)

and will then be unusable dispersed thermal energy in just as many molecules in the system and surroundings

as possible. Entropy measures energy transfers from "concentrated" to "spread out", and that's the overall

trend in the physical universe.

So you now have a better picture of fundamentals and of the Gibbs equation. There is no "conflict"

between DH and TDS. They're really just different aspects of entropy change: DH will become entropy in the

surroundings if it does no work, and TDS just represents what little energy is left over to become dissipated (as

increased entropy in the surroundings) after the DS(formation) of the product molecules has been taken care of.

S: Ho ho ho! Now I see better what that "crossover T" point in the problems I worked really means. At low

temperatures many reactions, say the old one of water being broken into hydrogen and oxygen gas, just don't

go to any appreciable extent. Why not? Well, you simply don't have enough energy around in the system to put it

into any new hydrogen and oxygen molecules so they can exist with their own individual allotments of DS even

in their minimal quantum levels. However, as you raise the temperature more and more from outside the system

-- and that means more and more intense energy, not just more energy -- there comes a temp point where you

have enough flowing into the system to give the H2 and O2 molecules adequate energy for them to exist. Then

any temperature above that is more than they need: they show it by flying around faster and hitting each other

harder and harder.

Entropy is the key, especially when I can see it interpreted by what you call "microthermodynamics". That

micro stuff says that entropy measures how much energy is needed to fill those many more electronic (plus

vibrational, etc.) quantum levels in the hydrogen and oxygen compared to the water. Neat. If there's not enough

intense energy to fill them? Forget it. No reaction. Even though the text's talking about "positional entropy" and

"the more molecules, the more entropy" made it easy to answer questions about increased entropy, I never

could see how having more molecules in the products than the reactants had anything to do with the reaction

not going at low T and going at high T.

P: Hooray. Ya got it.

Links

A brief but good link about the Gibbs equation, that includes a worked problem) is in

http://learn.chem.vt.edu/tutorials/entropy/gfe.html

A more extended, near-textbook exposition of the Gibbs function, its meaning and applications to

problems is http://www.chem.ualberta.ca/~plambeck/che/struct/s0403.htm All correct except for saying that

YaleÂ’s greatest-ever scientist, J. W. Gibbs, was a Harvard prof!

References

Scholarly and helpful analysis of the Gibbs function, showing that is is more closely related to entropy than

to energy and building on PlanckÂ’s function (of total entropy change in a universe) that is used in this Web page:

Professor Laurence E. Strong and H. Frank Halliwell, Journal of Chemical Education, 1970, 47 [5] 347 – 352.

An excellent introduction to Professor Norman C. CraigÂ’s procedure of attacking entropy problems and to

his short book Entropy Analysis (John Wiley, New York 1992), the best text on the subject, is in "Entropy

Analyses of Four Familiar Processes", Journal of Chemical Education, 1988 65 (9), 760 – 764.

Professor John P. LoweÂ’s explanation of the importance of the occupancy of energy levels as a genuine

basis for entropy (rather than "randomness" or "disorder") via Q and A is superb in Journal of Chemical

Education, 1988 65 (5), 403 – 406.

The most readable condensation of the Gibbs relation to entropy is by Bruce Bursten in the seventh edition

of Brown, LeMay, and Bursten's Chemistry, p.708. A generally comprehensive chapter on the second law and

entropy (despite the unfortunate confusion of macro disorder with entropy and even praise for a poem extolling

that confusion!) - is in Zumdahl's Chemical Principles 3e (Houghton, Mifflin, Boston), Chapter 10.


In der Nichtlinearen Dynamik benutzt man Entropien als Größen, mit denen man ausdrücken kann, in welchem Maße man Informationen gewinnt, wenn man die zeitliche Entwicklung eines Systemzustandes verfolgt und ausmißt.

Wenn bei einem streng gesetzmäßigen System die Startwerte einer Bewegung nur innerhalb bestimmter (Genauigkeits-) Grenzen bestimmt werden können, so wirkt sich dies darauf aus, wie genau man die zukünftige Entwicklung vorhersagen kann. Wenn man dann aber die tatsächliche Bewegung verfolgt, so kann man innerhalb der Grenzen, zwischen denen der Startwert gelegen haben muß, bestimmte Bereiche als mögliche Startwerte ausschließen. Sie würden nämlich zu einer anderen Bahn im Zustandsraum, einer anderen Trajektorie geführt haben.

Man hat also durch die Verfolgung der Trajektorie Informationen über den tatsächlichen Startwert gewonnen. Wenn die Dynamik des Systems die Eigenschaft hat, daß kleine Änderungen der Startwerte zu großen Änderungen der Trajektorien führen, dann kann man die Trajektorie nur schwer vorhersagen und man gewinnt durch die Verfolgung der tatsächlichen Bahn sehr viel Information. Anders ist es, wenn Änderungen der Startwerte nur zu geringen Veränderungen der Bahn im Zustandsraum führen.

Bei der Berechnung der Entropie als Größe zur Charakterisierung des Informationsgewinnes berücksichtigt man nicht nur die Tatsache, daß die beobachtete Trajektorie durch bestimmte Gebiete des Zustandsraumes führt, sondern auch, ob diese Gebiete, wenn man alle möglichen Trajektorien betrachtet, selten oder häufig besucht werden. Gebiete die nie besucht werden, braucht man auch nicht zu beobachten. Sie können keinen Informationsgewinn geben. Ähnlich ist es bei Gebieten, die von praktisch allen Trajektorien durchlaufen werden. Auch hier gewinnt man nur wenig Information, wenn man beobachtet. Die mathematische Formel zur Berechnung der Entropie berücksichtigt diese Überlegungen.

Daß die Entropie auch in der Wärmelehre bei der Charakterisierung von Wärmeprozessen eine wichtige Rolle spielt, kann man verstehen, wenn man berücksichtigt, daß Wärme mit der (ungeordnetene) Bewegung von Atomen und Molekülen zusammenhängt. Die möglichen Bewegungsformen bestimmen einerseits den Informationsgewinn und andererseits welche Wärmeprozesse ablaufen. Die Entropie wurde schon als Größe in der Wärmelehre eingeführt, bevor man Wärme auf die Bewegung von Atomen und Molekülen zurückführte und bevor die mathematische Informationstheorie entwickelt wurde. Sie diente dazu, umkehrbare von nicht umkehrbaren Prozessen zu unterscheiden. Beispiel eines nicht umkehrbaren Prozesses ist das Mischen einer kalten und einer heißen Flüssigkeit. Von alleine kehrt sich dieser Prozeß nicht um: lauwarmes Wasser teil sich nicht von alleine in einen heißen und einen kalten Anteil.


Main Entry: en·tro·py

Inflected Form(s): plural -pies

Etymology: International Scientific Vocabulary 2en- + Greek tropE change, literally, turn, from trepein to turn

Date: 1875

1 : a measure of the unavailable energy in a closed thermodynamic system that is also usually considered to be a measure of the system's disorder and that is a property of the system's state and is related to it in such a manner that a reversible change in heat in the system produces a change in the measure which varies directly with the heat change and inversely with the absolute temperature at which the change takes place; broadly : the degree of disorder or uncertainty in a system

2 a : the degradation of the matter and energy in the universe to an ultimate state of inert uniformity b : a process of degradation or running down or a trend to disorder

3 : CHAOS, DISORGANIZATION, RANDOMNESS


Entropie und Information

Michail W. Wolkenstein

Der Begriff der Entropie "erfreut sich allgemeiner Unbeliebtheit und gilt als schwierig, vielleicht weil er zwar eine Bilanz- aber keine Erhaltungsgröße ist und sogar die ungewöhnliche Eigenschaft hat, zuzunehmen, und zwar um so mehr, je weniger man aufpaßt." schreibt Norbert Treiz in " Brücke zur Physik" (1997, Kapitel 6.3 - auch kein schlechtes Buch, das aber nicht so recht in diese Liste paßt).


inequality measures | logarithms | open systems | entropy & osmosis

--------------------------------------------------------------------------------

"It is wise, upon occasion, to introduce true randomness into your actions when opposing an existing order. The problem is that randomness, by definition, cannot be planned. Human emotion, however, is a Random Factor, and thus it may be said that to serve the interests of one's own endocrine system is to serve Chaos."

Gregor Markowitz, The Theory of Social Entropy

(The author as well as his "Theory" are creations of Norman Spinrad in "Agent of Chaos", 1970.)

Entropy

A natural equality measure: The entropy in a given space increases together with the degree of distributional equality of freedom available at all locations of that space.

If the degree of freedom (e.g. the amount of possible states) at the locations within a space is determined by the amount of energy and/or matter at these locations, then entropy increases if the degree of distributional equality of energy and matter in space and time increases.

The better your access to resources (energy, matter, wealth, income etc.), the more freedom (the more choices) you have. Thus, entropy is the natural equality measure to be applied to the distribution of wealth, income etc.

In technical thermodynamics entropy is determined by the degree of equality of distribution of thermal energy in cartesian/euclidian space, e.g. the distribution of heat in a machine. The unit of entropy is [Joule/Kelvin], it has the dimension energy/temperature and does not refer to time. As entropy can change, it can be a function of time.

In data processing the space can be cartesian (e.g. 3D computer graphics) as well as it can be mapped to time (data transmission), e.g. when transmitting data from a file serially over a transmission line.

In econometrics (or biostatistics) the freedom of individuals strongly is determined by the resources which are available to them. Here the "space" can be people (or living organisms) to whom resources are distributed (Reserve coefficient, Theil redundancy with swapped parameters) or resources for which people compete (Demand coefficient, Theil redundancy). In case of cross entropies people and resources can represent both (energy and space) mutually to each other (D&R coefficient, Kullback-Liebler redundancy).

Negentropy and redundancy: Krippendorff quotes Schrödinger: "A meaningful interpretation of negentropy is that it measures the complexity of a physical structure in which quantities of energy are invested, e.g., buildings, technical devices, organisms but also atomic reactor fuel, the infrastructure of a society. In this sense organisms may be said to become more complex by feeding not on energy but on redundancy."

Negentropy (sometimes also called "syntropy", e.g. by Dürr) is a natural inequality measure. The more equally things are distributed within a system, the less complex it is. Negentropy describes, how much usable structure energy has. The higher the negentropy, the higher the value of energy. Negentropy is negative entropy. It is zero in case of maximum order, otherwise negentropy is negative. For order I prefer a measure, which is zero in case of maximum disorder. Redundancy (used in information sciences) is such a measure. For a given system, its thermodynamic redundancy R×k (with k being Boltzmann's constant) is equal to its maximum entropy less its entropy: R×k=Smax-S.

Temperature and economic entropy: "Temperature" is the measure for the hustle and bustle within a system. This applies to arbitrarily bouncing molecules as well as to busy stock brokers in Wallstreet. In physics the unit is [Kelvin]. What could the unit be in economics? Intuitively we feel, that in a market the amount of deals per time [deals/second] can be used to describe the "heat of trade". We define the unit of "temperature of trade": 1 deal/second = 1 Godin. (This is due to the last two letters of "Godin" being similar to the last two letters of "Kelvin". Also I selected the name in honor to Noel Godin for his supply of cooling crème to Bill Gates, presently the leading maker and controller of trade heating devices.) As for the temperature of the market, the size [$] of the deals is irrelevant. But the energy of a market is determined by its size and its temperature.

(Update 2000/09/03: "The vigour of trade--how easily money flows between people--is analogous to the temperature." Quote from Jean-Philippe Bouchaud, found in "That's the way the money goes" by Mark Buchanan, New Scientist 2000/08/19 )

The unit of "economic entropy": 1 $/Godin. (Compare: Unit of "thermodynamic entropy": 1 Joule/Kelvin.) If entropy is high, things go slow. If the entropy is low, the trade gets hectical, and cooling crème may be required.

Temperature replaced by energy: Let's get serious again and return to physics: Here one actually could get rid of existing units: e.g. Kelvin. Units have developped historically - and so did some constants to make things fit to each other. In modern physics you can survive without an unit for temperature. The "new" temperature just turns out to be energy (unit: Joule) after multiplying the "old" temperature by Boltzmann's constant. The "new" thermodynamic entropy then has no unit - or a pseudo unit: nit. This closes the gap to the Shannon entropy (pseudo unit: bit).

There are different ways to specify "temperature". Why should we do that? If energy (Unit: Joule) can be used to represent temperature, the thermodynamic entropy can be expressed as a dimensionless number, a number without units (or only with pseudo units like "bit"). This is instrumental in linking the thermodynamic entropy to information.

1 Kelvin is the unit for the temperature as used in physics..

6.90E-33 Joule is the average increase of energy assignable to each degree of freedom of a single particle of a body with a temperature increase of 1 Kelvin.

4.159 Joule is the energy increase in the amount of one mole (gramm-molecular) of a body with a temperature increase of 1 Kelvin for each degree of freedom of its particles. (As it is 1 mole, it has roughly 6.025E23 particles. In case of carbon 12C, with a molecular weight of 12, one mole of carbon has the mass of 12 gramms.)

This applies to any body, not only to an ideal gas. But if the body is an ideal gas in a constant volume, there constantly are 3 degrees of freedom under all possible conditions. In real bodies (especially liquids and solids) the degrees of freedom are less simple to deal with. (Here you rather won't use knowledge about the degrees of freedom in order to convert Kelvin into Joule. Instead, you first may heat up a body by a small temperature difference dT using a small quantity of energy dE and then learn from the quotient dE/dT about the average degree of freedom available to the atoms in that body under the conditions, which existed during conducting that experiment.)

The higher the entropy of a system, the more information is required in order to describe the system completely. But be careful. At present, the entropy change equivalent for one bit of information is much smaller than the entropy change required in practical life for representing that bit. For the time being, our computers still will increase entropy (generate heat) to a much larger amount for each processed bit compared to the entropy change equivalent for one bit.

Thermodynamics and information: There are objections to connecting information entropy (or even social entropy) with thermodynamic entropy (e.g. Jaynes, Probablity Theory, Chapter 27; G.J.Klir/T.A.Folger, Fuzzy Sets, Uncertainity and Information; and - quite determinedly - Frank L. Lambert, www.2ndlaw.com). However, e.g. Lange (Signale und Systeme, Bd. III, S.64) and Wolkenstein (Entropie und Information) show, that there may be a relation. As shown in the previous paragraph, the difference between the two entropies disappears at least for the units, if you switch to a new system in which the temperature is treated as energy. But one has to be aware of the fact that the above computed entropy S only represents minimal costs. These are the costs for the mere order which have to be payed for generating the redundancy R resulting from that order using the smallest possible energy changes.

The costs for ordering things, however, are much higher than the costs for generating the order itself, because in real life information is represented by states of matter and energy. We do not order bits, we order the carriers of bits. Therefore the costs for creating information are much higher than the costs, which would have to be payed for mere order (pure information). We may assume, that the benefits of the messages carried by information bits also are much higher that the benefits of their arrangement. (That is the value of meaning.)

The costs for ordering things and assigning resources to owners or the benefits from having them ordered are difficult to measure and difficult to evaluate. (In technical applications the size of "ordering machines" or "rearranging machines" often is proportional to the entropy of a system containing the stuff, which is to be rearranged. Here entropy is essential to determine the cost of such machines.) But at least we should start to look at with entropy in mind. For a given ordering procedure the expenses (the entropy export) required to increase thermodynamic redundancy probably are proportional to the costs for the mere order (information redundancy) itself. Understanding the link between the costs of ordering things and the costs of mere order could help to develop an entropy based cost conciousness, which has to be buildt up empirically.

Also social order (social redundancy) has a value. It is required to keep the value of money, for example. By exchanging money instead of resources humankind made a big step ahead in reducing the costs for creating order. This only works as long as under the rule of law money reliably represents rights to access resources. (However, once it comes to access resources, the costs for the access - especially the costs transportation - have to be considered too.)

Recently we had to pay enormous amounts of money for reducing entropy. These were the costs for one bit only. I am talking about the bit which distinguishes this milleneum from the previous milleneum: The 2K-bit, probably one of the most expensive bits on earth ever! Its entropy is 1E-23 Joule/Kelvin only, but thousands of programs had to be analyzed and large amounts of people and other resources had to be "ordered" in order to fix the bug. Early thinking about this tiny amount of information redundancy would have spared us huged amounts of wasted themodynamic redundancy. Sometimes it is very expensive to be stingy. But the people who are responsible for the waste cannot be hold accountable anymore. Shifting expenses to future generations is an old trick.

Popular errors:

"Entropy always increases."

Only in an isolated system the total entropy in that system cannot decrease.

"Entropy never decreases in an isolated system."

Even in an isolated system partial entropies can decrease, e.g. due to local fluctuations or other local processes within the system. Only the sum of all entropies cannot decrease in an isolated system.

"Equality is order."

Equality (even distribution) is disorder. In isolated systems, disorder (equality, maximum entropy, chaos) is the final and irreversible state as the result of stochastic (non-ordering, non-deterministic and therefore irreversible) processes.

Inequality (concentration) is order. In open systems, export of entropy to the environment can decrease or maintain inequality (order, low entropy, structuredness) within the system. If less inequality is desired within such open systems, the export of entropy has to be reduced or entropy even has to be imported.

Disorder and equality: The more equality, the more disorder: e.g. dust all over the place. The more inequality, the more order: e.g. dust only in a vacuum cleaner standing in an otherwise clean room. Therefore "degree of distributional equality" and "degree of disorder" both can be used to describe entropy.

The verb "entrepeih" ("entrepein", used by Rudolf Clausius, 1865) stands for "to convert", e.g. the conversion from order to disorder, from concentration to even distribution, from inequality to equality. If matter or energy is distributed within a system, entropy is the measure for how much of it already has been redistributed within the system from inequality (low entropy) towards equality (high entropy).

Many people have difficulties to accept, that inequality is order and that equality is disorder. From Amartya Sen's "On Economic Inequality" I learned a lot about inequality measures. But entropy seems not do go down too well with him (1973) and his co-author James E. Foster (1997). When describing the "interesting" Theil entropy (2.11), Sen sees a contradiction between entropy being a measure of disorder in thermodynamics and entropy being a measure for equality. If you assume that equality is order, then you may believe - Sen even calls it a "fact" - that the Theil coefficient is computed from an "arbitrary formula". But there is no contradiction: The Theil coefficient is a redundancy. High equality (high disorder) leads to a low redundancy and high entropy, whereas high inequality (high order) leads to a low entropy and high redundancy. Equality is maximum disorder (maximum entropy), because it is inequality which to achieve requires an ordering process (decreasing disorder, thus decreasing entropy).

Maxwell's Demon had to keep slow particles in one half of a container, and allow fast particles to get into the other half. As a result of this sorting process (sorting is creating order!) the average speeds of molecules in both halves where unequal. That created a temperature difference: The entropy decreased. (And the poor demon's entropy increased, unless some redundancy has been fed to him.)

Entropy domain and distribution domain: How to get from the entropy domain to the distribution domain?

Perfect equality is to be represented by the redundancy R=0 and by the inequality coefficient Zinequality=0

Maximum inequality is to be represented by the redundancy R=¥ and by the inequality coefficient Zinequality=1

Zinequality=1-exp(-R), that is the link between the distribution domain and the entropy domain.

Entropy measures could be compared to W in the Boltzmann entropy S=k×ln(W), where W is the amount of the really different ways (options) in which particle groups can be arranged within an ensemble of particle groups for the different energy levels (quantum states) which are achievable by these particle groups. S is the entropy and k is Boltzmann's constant.

Literature: van Ness (Boltzmann entropy, W and S in equations 7-3 and 7-4)

In the distribution domain the normalized entropy measure Zinequality=1-W/Wmax describes the relative inequality. W is the amount of restricted (classified by energy) options in the whole ensemble. Wmax is the amount of unrestricted (no classification by energy) options in the whole system, that is, the amount of the different ways (options) in which particle groups could be arranged within the ensemble without classifying them by any state.

In the entropy domain R=(Smax-S)/k is the related normalized redundancy, where Smax=k×ln(Wmax) is the normalized entropy of maximum disorder.

Again the link between the two domains: R=-ln(1-Zinequality)=-ln(Zequality). Therefore: R=ln(Wmax/W)

Thermodynamics: In thermodynamics, the entropy S determines how much energy Efree is available within an system with the inner energy Einternal at a given temperature T: Efree=Einternal-S×T. (This formula applies to very slow changes in systems with constant temperatures. In order to keep the temperature constant, the system has to be an open system, e.g. immersed in a water bath with constant temperature.) The higher the entropy, the more "vulnerable" the system, the worse its performance: "If you can't take the heat, don't stay in the kitchen.".

Defense by increasing S×T: The lower the entropy of food, the better the lunch. But live food can spoil the meal by increasing S×T. If threatened in confined environments, fish move about more randomly and at higher speed. The random movement leads to a more even distribution and thus increases the entropy of the fish swarm. The increased speed of the random movement is similar to increasing the temperature. Only in open space the swarm can use its energy to escape in a coordinated way. (See also Dylan Evan's article "The arbitrary ape", New Scientist 1998/08/22. Here "protean behaviour" was described as behaviour with arbitrary elements as a survival strategy. Predated sand eels usually choose evasion bunched together within an arbitrarily moving swarm. In confined environments, however, they choose individual random movements.)

In more detail: Let a swarm of many small fishes represent the maximum available food Einternal for a hungry shark in a pool. If the small fishes stick very close together and politely wait for the shark, then the shark can gobble up all of the available food easily, because almost no S×T is deducted from Einternal. However, in our example the small fishes have two ways to protect their lifes in a confined environment. The combination of both methods decreases the available food Efree for the shark.

Increasing the temperature by fast random movement: They could try to confuse the shark by moving around together randomly. Let us call the intensity of such a random movement "temperature" (T). The more the fishes move around (the higher the temperature), the more difficult the shark's chase will be.

Increasing the entropy by spreading out: By moving around randomly (and bouncing into each other), the fishes distribute themselves more evenly within the pool. Then the shark has to go after the small fishes not only in one sector, but has to cover several sectors of space. This is a increased equality of distribution. Instead of orderly waiting in one sector the fishes now more disorderly occupy several sectors of space. The degree of distributional equality or the degree of disorder is called "entropy" (S). The less concentrated the food, the more disorderly its distribution, the higher its entropy will be. This also makes hunting more difficult for the shark.

The combination of both options is S×T. The product of entropy (food dispersion) and temperature (random food movement) is the energy with which the food keeps itself busy - and away from the shark. By distributing themselves disorderly in space (higher S) and by moving around inpredictably (higher T), the fishes deduct more energy (food) from the shark's menu (Einternal) and the less free lunch Efree is available for the predator.

The Logarithm

Length of a number: What is the meaning of logarithms? We use logarithms in order to calculate the length of numbers. L10=int(log10(n)+1) is a way to say "If 10 symbols are available to represent numbers, L10 digits are required to write the number n."

As log10(x) is used quite often, the base 10 is taken by default if not explicitely mentioned: log10(x)=log(x). For those, who still like to be lazy but want to be more specific, a special way has been defined to write decimal logarithms: log10(x)=lg(x)

Why do we want to know the amount of digits required to write a number? The answer is simple: The length of the number determines the variable costs of doing calculations with that number. As for computers, we often use the binary (or dual) logarithm: L2-1=int(log2(n))=int(ld(n))=int(lb(n)). This tells us that L2 "bits" (which are represented by 2 symbols) are used to represent, to store, to transmit, to organize etc. the number x.

In economics of size you quite often can use A×X+B×lg(X) in order to calculate the variable costs for managing, organizing, administering and transmitting numbers as large as X. (In case of electronic transmission of money X, A can be almost zero.) Organizing something means: to keep something in order. Keeping something in order means: maintain or lower its entropy. So it does not come as a surprise, that the logarithm appears in formulas related to entropy.

Amount of divisions: Annother way to describe logarithms: The logarithm logb(x) describes how often a number x has to be devided by b until 1 is reached.

A feeling for logarithms: We even have a feeling for logarithms. In exampe, we grade the intensity of sound by the logarithm of its power. And for music using 12 tones per octave we can compute the position P of a given tone in the tone scale from its frequency f (in relation to a reference frequency fref): P=12×ld(f/fref)=12×(ld(f)-ld(fref)). Yes, just a new trick has been introduced: log(a/b)=log(a)-log(b). And: log(a×b)=log(a)+log(b).

Any base is fine: The "easiest" logarithm for a computer is loge(x)=ln(x), the "natural" logarithm. It is natural, because we find the constant e=2.7182818... in many of those processes in nature, where the output influences the input. Don't worry if your computer only knows ln(x): You get any other logarithm by logb(x)=ln(x)/ln(b). For example:

lb(x)=ld(x)=log2(x)=ln(x)/ln(2),

lg(x)=log10(x)=ln(x)/ln(10),

ln(x)=loge(x)=ln(x)/ln(e)=ln(x)/1.

So you can use any logarithm to compute entropies. You just have to specify clearly, which base is used. In communications engineering often the binary logarithm (base 2) is applied. In physics, economics, ecology etc. the natural logarithm (base e) is used almost exclusively.

bits, nits and dits: If you want logarithms to generate dimensionless numbers y, you only should feed dimensionless numbers x to them. Otherwise, if y=ln(x) and if x is valueof(x)×unitof(x), then y=valueof(y)+trouble, where trouble=ln(unitof(x)). That is not nice. In the formulas for redundancies given in this publication we sum up logarithms which do contain units. Luckily, whereas the values add up, the akward logarithms of units (e.g. ln(wealth/people)) in the end cancel each other out, that is, the trouble disappears. Therefore the redundancies and the related inequality coefficients are dimensionless.

We should be happy about that. But units in an expression help to understand the meaning of that expression. That is why sometimes pseudo units are added to dimensionless numbers. The dual logarithm often is used to compute binary units or bits. Jaynes uses nits (natural units) to describe the output of the natural logarithm. Consequently, a logarithm with the base 10 generates decimal units or, I guess, dits. (Furthermore, hets would be generated by base 16 logarithms and octs by base 8 logarithms. Oh boy!) Following Jaynes, the pseudo unit for the Theil redundancy and the Kullback-Liebler redundancy is the nit, as I used the natural logarithm to compute these redundancies.

By the way: Instead of having invented the nit one could have stuck to the good old pseudo unit Neper: 1 nit = 1 Neper @ 1.4427 bit @ 4.3429 dB. The Neper still sometimes is used to quantify the ratio of levels, e.g. of sound. However, the Neper is an appropriate pseudo unit to be used with natural logarithms in economics and social sciences, as the logarithmic tables (Mirifici logarithmorum canonis descriptio, 1614) of John Neper (1550-1617) mainly were applied to the computation of compound interests.

Neper used the natural logarithm (the base-e logarithm). Henry Briggs (1556-1630), who cooperated with Neper, extended Neper's tables using a base-10 logarithm (Arithmetica logarithmica, 1624). In 1627 these tables where completed by Ezechiel de Decker and Adrian Vlacq.

Why e?: The function exp(t)=et has a unique property: The amount of the "hight" of the function exp(t) and the amount of the "slope" of that function are equal, et=¶t(et)=d(et)/dt. (If you want to be perfect: et/(dimension of t)=¶t(et)=d(et)/dt.) The equality of exp(t) and ¶texp(t) plays an important role in many processes, where the output influences the input (feedback).

That's what makes ex (and only ex) so special. Therefore also a special way has been defined to write that function: y=ex=exp(x). The inversion of that function: x=ln(y).

Inverting the logarithm: Explaining the logarithm by introducing it as a "length-of-number" funcion is the alternative to annother explanation method: "y=logb(x)" and "x=by" are similar statements. (x=by also can be written as x=b^y or x=b**y.) This you also can use to come up with annother annother trick: log(xa)=a×log(x).

Stirling's formula: The logarithm helps to create a simple entropy formula. Remember: S=k×ln(W), where W is the amount of the really different ways (options) in which particle groups can be arranged within an ensemble of particle groups for the different energy levels (quantum states) which are achievableby these particle groups; and ni is the number of particle groups in a set of particle groups, in which all particle groupes are similar: They all have the same individual energy.

For N different energy classes there are N different sets of particle groups. Then W=ntotal!/(Õi=1..N(ni!)) applies, where ni is the amount of particles in groupi. Thanks to James Stirling (1692-1770) we can simplify the formula. For large n the following formula applies: -S/k=-ln(W)=åi=1..N(ni×ln(ni/ntotal)). There again is the logarithm.

Brentano-Keynes law: An increase of income results in an increase of savings. As observed, the ratio of the savings increase is even higher than the ratio of the income increase. Zinn (pg.36) calls this the "Brentano-Keynes law". Also here the X×ln(X) function can be used to describe a larger than proportional growth: the logarithm ln(X) provides the additional increase, which is added to the proportional increase. One could try to compute the savings V which can be afforded for an income I by using the function V=C×(I-B)×ln(I-B). In this formula the basic expenses B are deducted from the income I. The factor C is used to scale the formula.

Entropy based inequality coefficients can help to find a Baverage per individual by comparing the inequality of group wealth (all E) of groups with A members to the inequality of group incomes (all I): Z(Ei,Ai)=Z(Ii-Ai×Baverage,Ai). After finding Baverage, the factor C then can be determined by minimizing the error between observed savings and computed savings.

Zinn says, that due to the Brentano-Keynes law highter inequality leads to higher saving rates. Larger inequalities allow larger income differences and thus even larger savings differences. However, The factor C and also B in the formula above (and similar parameters in other formulas) may depend on inequality too. Therefore with increasing inequality the savings rate does not necessarily have to increase.

Open Systems

Interfaces of the open system: As mentioned previously, open systems can export entropy or import redundancy (negative energy) using their interfaces to their environment. These interfaces basically are ports for energy. Also matter is energy. A good example for open systems are living organisms which import low entropy food (matter with low entropy) and export high entropy waste (matter with higher entropy).

Energy or matter may pass through the interface as wave (more or less) and particle (less or more). If the energy or matter is a set of elementary energies or matters, the entropy of this set is determined by inequalities of the individual parameters of the elementary energies or matters in space and time. Thus, such an set "carries" entropy.

Temperature: If the parameters of the elements in the set change stochastically (randomly), the set also has a temperature. The temperature represents the energy of the stochastic changes.

By the way, due to ¶S=¶Q/T, an increase of (thermal) energy Q at high temperature causes only a small increase in entropy. At low temperature increasing Q causes a large increase in entropy.

Entropy change after passing energy: Energy or matter also can change the entropy in an open system without carrying entropy. Instead of carrying entropy through the interface, the energy which passed through the interface may cause entropy changes on the other side of the interface.

Passing through a closed port: Energy or matter also can change the entropy in an open system without passing through the interface directly. Energy changes on one side of the interface may enable the interface to cause energy changes on its other side - which again may change the entropy on that other side. The system is closed, but not isolated.

The same applies to stochastic changes of energy on one side of the interface. They may stimulate the interface to cause stochastic changes of energy on the other side of the interface: The interface "conducts" heat and can "transport" temperatures.

Information: "Information" - as we are interested in - is the determined change of energy and matter in time, determined by whatsoever and whomsoever. ("Noise" is random change of energy and matter in time. It still contains a information: The statistical distribution of events in time.) A system, which imports one "bit" of information, pays for that import with increased entropy: k×ln(2) Joule/Kelvin, which roughly is 1E-23 Joule/Kelvin.

However, this amount is much smaller than the entropy changes caused by representing the information, e.g. if the bit is represented by the presence or absence of electrical charges. Then again, the amount of entropy change caused by the representation of the bit may be much smaller than the amount of entropy change triggered by the information. Example: entering several code numbers into a computer still will cause entropy changes far below 1 Joule/Kelvin. But the computer may trigger the explosion of a nuclear weapon in order to maximize the entropy of several millions of of people.

Literature: Lange (information and entropy of one bit, pg.64), Ludwig/Reynolds (Shannon's index in statistical ecology, chapter 8.2.2), Wolkenstein (free energy, equation 3.5)

--------------------------------------------------------------------------------

Goetz Kluge, 2000/06/17 (update: 2000/08/13, 2000/09/03)

Symbols:

a = alpha

p = pi

Õ = Pi (product)

k = kappa

å = Sigma (sum)

Ö = square root (sqrt)

@ = approximate

¶ = differential operator: ¶xy=dy/dx

¥ = indefinite


WHAT IS LIFE? by Erwin Shrödinger

First published in 1944.

Nobel laureate Erwin Shrödinger's What is Life? is one of the great science classics of the twentieth century. A distinguished physicist's exploration of the question which lies at the heart of biology, it was written for the layman, but proved one of the spurs to the birth of molecular biology and the subsequent discovery of the structure of DNA. The philosopher Karl Popper hailed it as a 'beautiful and important book'. It appears here together with Mind and Matter, his essay investigating a relationship which has eluded and puzzled philosophers since the earliest times. Brought together with these two classics are Shrödinger's autobiographical sketches, published and translated here for the first time, which offer a fascinating fragmentary account of his life as a background to his scientific writings.

'This book is a gem with many facets.., one can read it in a few hours; one will not forget it in a lifetime.' Scientific American

'Erwin Shrödinger, iconoclastic physicist, stood at the pivotal point of history when physics was the midwife of the new science of molecular biology. In these little books he set down, clearly and concisely, most of the great conceptual issues that confront the scientist who would attempt to unravel the mysteries of life. This combined volume should be compulsory reading for all students who are seriously concerned with truly deep issues of science.' Paul Davies

--------------------------------------------------------------------------------

CHAPTER 6

Order, Disorder and Entropy

Nec corpus mentem ad cogitandum, nec mens corpus ad motum, neque ad quietem, nec ad aliquid (si quid est) aliud determinare potest.* SPINOZA, Ethics, Pt In, Prop.2

(Neither can the body determine the mind to think, nor the mind determine the body to motion or rest or anything else -- if such there be.)

A REMARKABLE GENERAL CONCLUSION FROM THE MODEL

Let me refer to the phrase on p. 62, in which I tried to explain that the molecular picture of the gene made it at least conceivable that the miniature code should be in one-to-one correspondence with a highly complicated and specified plan of development and should somehow contain the means of putting it into operation. Very well then, but how does it do this? How are we going to turn ‘conceivability’ into true understanding?

Delbrück's molecular model, in its complete generality, seems to contain no hint as to how the hereditary substance works. Indeed, I do not expect that any detailed information on this question is likely to come from physics in the near future. The advance is proceeding and will, I am sure, continue to do so, from biochemistry under the guidance of physiology and genetics.

No detailed information about the functioning of the genetical mechanism can emerge from a description of its structure so general as has been given above. That is obvious. But, strangely enough, there is just one general conclusion to be obtained from it, and that, I confess, was my only motive for writing this book.

From Delbrück's general picture of the hereditary substance it emerges that living matter, while not eluding the ‘laws of physicsÂ’ as established up to date, is likely to involve ‘other laws of physicsÂ’ hitherto unknown, which, however, once they have been revealed, will form just as integral a part of this science as the former.

ORDER BASED ON ORDER

This is a rather subtle line of thought, open to misconception in more than one respect. All the remaining pages are concerned with making it clear. A preliminary insight, rough but not altogether erroneous, may be found in the following considerations:

It has been explained in chapter 1 that the laws of physics, as we know them, are statistical laws.* They have a lot to do with the natural tendency of things to go over into disorder.

But, to reconcile the high durability of the hereditary substance with its minute size, we had to evade the tendency to disorder by 'inventing the molecule', in fact, an unusually large molecule which has to be a masterpiece of highly differentiated order, safeguarded by the conjuring rod of quantum theory. The laws of chance are not invalidated by this 'invention', but their outcome is modified. The physicist is familiar with the fact that the classical laws of physics are modified by quantum theory, especially at low temperature. There are many instances of this. Life seems to be one of them, a particularly striking one. Life seems to be orderly and lawful behaviour of matter, not based exclusively on its tendency to go over from order to disorder, but based partly on existing order that is kept up.

To the physicist - but only to him - I could hope to make my view clearer by saying: The living organism seems to be a macroscopic system which in part of its behaviour approaches to that purely mechanical (as contrasted with thermodynamical) conduct to which all systems tend, as the temperature approaches the absolute zero and the molecular disorder is removed.

The non-physicist finds it hard to believe that really the ordinary laws of physics, which he regards as the prototype of inviolable precision, should be based on the statistical tendency of matter to go over into disorder. I have given examples in chapter 1. The general principle involved is the famous Second Law of Thermodynamics (entropy principle) and its equally famous statistical foundation. On pp. 69-74 I will try to sketch the bearing of the entropy principle on the large-scale behaviour of a living organism - forgetting at the moment all that is known about chromosomes, inheritance, and so on.

LIVING MATTER EVADES THE DECAY TO EQUILIBRIUM

What is the characteristic feature of life? When is a piece of matter said to be alive? When it goes on 'doing something', moving, exchanging material with its environment, and so forth, and that for a much longer period than we would expect an inanimate piece of matter to 'keep going' under similar circumstances. When a system that is not alive is isolated or placed in a uniform environment, all motion usually comes to a standstill very soon as a result of various kinds of friction; differences of electric or chemical potential are equalized, substances which tend to form a chemical compound do so, temperature becomes uniform by heat conduction. After that the whole system fades away into a dead, inert lump of matter. A permanent state is reached, in which no observable events occur. The physicist calls this the state of thermodynamical equilibrium, or of 'maximum entropy'.

Practically, a state of this kind is usually reached very rapidly. Theoretically, it is very often not yet an absolute equilibrium, not yet the true maximum of entropy. But then the final approach to equilibrium is very slow. It could take anything between hours, years, centuries,... To give an example - one in which the approach is still fairly rapid: if a glass filled with pure water and a second one filled with sugared water are placed together in a hermetically closed case at constant temperature, it appears at first that nothing happens, and the impression of complete equilibrium is created. But after a day or so it is noticed that the pure water, owing to its higher vapour pressure, slowly evaporates and condenses on the solution. The latter overflows. Only after the pure water has totally evaporated has the sugar reached its aim of being equally distributed among all the liquid water available.

These ultimate slow approaches to equilibrium could never be mistaken for life, and we may disregard them here. I have referred to them in order to clear myself of a charge of inaccuracy.

IT FEEDS ON 'NEGATIVE ENTROPY'

It is by avoiding the rapid decay into the inert state of 'equilibrium' that an organism appears so enigmatic; so much so, that from the earliest times of human thought some special non-physical or supernatural force (vis viva, entelechy) was claimed to be operative in the organism, and in some quarters is still claimed.

How does the living organism avoid decay? The obvious answer is: By eating, drinking, breathing and (in the case of plants) assimilating. The technical term is metabolism. The Greek word [omitted] means change or exchange. Exchange of what? Originally the underlying idea is, no doubt, exchange of material. (E.g. the German for metabolism is Stoffwechsel.) That the exchange of material should be the essential thing is absurd. Any atom of nitrogen, oxygen, sulphur, etc., is as good as any other of its kind; what could be gained by exchanging them? For a while in the past our curiosity was silenced by being told that we feed upon energy. In some very advanced country (I don't remember whether it was Germany or the U.S.A. or both) you could find menu cards in restaurants indicating, in addition to the price, the energy content of every dish. Needless to say, taken literally, this is just as absurd. For an adult organism the energy content is as stationary as the material content. Since, surely, any calorie is worth as much as any other calorie, one cannot see how a mere exchange could help.

What then is that precious something contained in our food which keeps us from death? That is easily answered. Every process, event, happening - call it what you will; in a word, everything that is going on in Nature means an increase of the entropy of the part of the world where it is going on. Thus a living organism continually increases its entropy - or, as you may say, produces positive entropy - and thus tends to approach the dangerous state of maximum entropy, which is death. It can only keep aloof from it, i.e. alive, by continually drawing from its environment negative entropy - which is something very positive as we shall immediately see. What an organism feeds upon is negative entropy. Or, to put it less paradoxically, the essential thing in metabolism is that the organism succeeds in freeing itself from all the entropy it cannot help producing while alive.

WHAT IS ENTROPY?

What is entropy? Let me first emphasize that it is not a hazy concept or idea, but a measurable physical quantity just like the length of a rod, the temperature at any point of a body, the heat of fusion of a given crystal or the specific heat of any given substance. At the absolute zero point of temperature (roughly- 273°C) the entropy of any substance is zero. When you bring the substance into any other state by slow, reversible little steps (even if thereby the substance changes its physical or chemical nature or splits up into two or more parts of different physical or chemical nature) the entropy increases by an amount which is computed by dividing every little portion of heat you had to supply in that procedure by the absolute temperature at which it was supplied - and by summing up all these small contributions. To give an example, when you melt a solid, its entropy increases by the amount of the heat of fusion divided by the temperature at the melting-point. You see from this, that the unit in which entropy is measured is cal./°C (just as the calorie is the unit of heat or the centimetre the unit of length).

THE STATISTICAL MEANING OF ENTROPY

I have mentioned this technical definition simply in order to remove entropy from the atmosphere of hazy mystery that frequently veils it. Much more important for us here is the bearing on the statistical concept of order and disorder, a connection that was revealed by the investigations of Boltzmann and Gibbs in statistical physics. This too is an exact quantitative connection, and is expressed by

entropy = k log D,

where k is the so-called Boltzmann constant ( = 3'2983.10-24 cal./°C), and D a quantitative measure of the atomistic disorder of the body in question. To give an exact explanation of this quantity D in brief non-technical terms is well-nigh impossible. The disorder it indicates is partly that of heat motion, partly that which consists in different kinds of atoms or molecules being mixed at random, instead of being neatly separated, e.g. the sugar and water molecules in the example quoted above. Boltzmann's equation is well illustrated by that example. The gradual 'spreading out' of the sugar over all the water available increases the disorder D, and hence (since the logarithm of D increases with D) the entropy. It is also pretty clear that any supply of heat increases the turmoil of heat motion, that is to say, increases D and thus increases the entropy; it is particularly clear that this should be so when you melt a crystal, since you thereby destroy the neat and permanent arrangement of the atoms or molecules and turn the crystal lattice into a continually changing random distribution.

An isolated system or a system in a uniform environment (which for the present consideration we do best to include as a part of the system we contemplate) increases its entropy and more or less rapidly approaches the inert state of maximum entropy. We now recognize this fundamental law of physics to be just the natural tendency of things to approach the chaotic state (the same tendency that the books of a library or the piles of papers and manuscripts on a writing desk display) unless we obviate it. (The analogue of irregular heat motion, in this case, is our handling those objects now and again without troubling to put them back in their proper places.)

ORGANIZATION MAINTAINED BY EXTRACTING 'ORDER' FROM THE ENVIRONMENT

How would we express in terms of the statistical theory the marvellous faculty of a living organism, by which it delays the decay into thermodynamical equilibrium (death)? We said before: 'It feeds upon negative entropy', attracting, as it were, a stream of negative entropy upon itself, to compensate the entropy increase it produces by living and thus to maintain itself on a stationary and fairly low entropy level.

If D is a measure of disorder, its reciprocal, 1/D, can be regarded as a direct measure of order. Since the logarithm of 1/D is just minus the logarithm of D, we can write Boltzmann's equation thus:

- (entropy) = k log (1/D).

Hence the awkward expression 'negative entropy' can be replaced by a better one: entropy, taken with the negative sign, is itself a measure of order. Thus the device by which an organism maintains itself stationary at a fairly high level of orderliness ( = fairly low level of entropy) really consists in continually sucking orderliness from its environment. This conclusion is less paradoxical than it appears at first sight. Rather could it be blamed for triviality. Indeed, in the case of higher animals we know the kind of orderliness they feed upon well enough, viz. the extremely well-ordered state of matter in more or less complicated organic compounds, which serve them as foodstuffs. After utilizing it they return it in a very much degraded form - not entirely degraded, however, for plants can still make use of it. (These, of course, have their most powerful supply of ‘negative entropy’ in the sunlight.)

NOTE TO CHAPTER 6

The remarks on negative entropy have met with doubt and opposition from physicist colleagues. Let me say first, that if I had been catering for them alone I should have let the discussion turn on free energy instead. It is the more familiar notion in this context. But this highly technical term seemed linguistically too near to energy for making the average reader alive to the contrast between the two things. He is likely to take free as more or less an epitheton ornans without much relevance, while actually the concept is a rather intricate one, whose relation to Boltzmann's order-isorder principle is less easy to trace than for entropy and 'entropy taken with a negative sign', which by the way is not my invention. It happens to be precisely the thing on which Boltzmann's original argument turned.

But F. Simon has very pertinently pointed out to me that my simple thermodynamical considerations cannot account for our having to feed on matter 'in the extremely well ordered state of more or less complicated organic compounds' rather than on charcoal or diamond pulp. He is right. But to the lay reader I must explain that a piece of un-burnt coal or diamond, together with the amount of oxygen needed for its combustion, is also in an extremely well ordered state, as the physicist understands it. Witness to this: if you allow the reaction, the burning of the coal, to take place, a great amount of heat is produced. By giving it off to the surroundings, the system disposes of the very considerable entropy increase entailed by the reaction, and reaches a state in which it has, in point of fact, roughly the same entropy as before.

Yet we could not feed on the carbon dioxide that results from the reaction. And so Simon is quite right in pointing out to me, as he did, that actually the energy content of our food does matter; so my mocking at the menu cards that indicate it was out of place. Energy is needed to replace not only the mechanical energy of our bodily exertions, but also the heat we continually give off to the environment. And that we give off heat is not accidental, but essential. For this is precisely the manner in which we dispose of the surplus entropy we continually produce in our physical life process.

This seems to suggest that the higher temperature of the warm-blooded animal includes the advantage of enabling it to get rid of its entropy at a quicker rate, so that it can afford a more intense life process. I am not sure how much truth there is in this argument (for which I am responsible, not Simon). One may hold against it, that on the other hand many warm-blooders are protected against the rapid loss of heat by coats of fur or feathers. So the parallelism between body temperature and 'intensity of life', which I believe to exist, may have to be accounted for more directly by van't Hoff's law, mentioned on p. 65: the higher temperature itself speeds up the chemical reactions involved in living. (That it actually does, has been confirmed experimentally in species which take the temperature of the surroundings.)

--------------------------------------------------------------------------------

ENTROPY

unavailable energy or molecular disorder. Entropy is at a maximum when the molecules in a gas are at the same energy level. Entropy should not be confused with uncertainty. Uncertainty is at a minimum when all elements are in the same category. (Umpleby)

--------------------------------------------------------------------------------

see statistical entropy, a measure of variation, dispersion or diversity; see thermodynamic entropy, a measure of usable energy. The similarity between the two types of entropy is merely formal in that both are expressed as the logarithm of a probability. The thermodynamic entropy S = k log W is a function of the dispersion W of heat, with k being Boltzmann's CONSTANT. The statistical entropy of an event a is H_a = -k log p_a where p_a is the statistical probability of a and k is arbitrarily set so as to make the logarithm dual (see bit). The negative sign gave rise to the notion of negentropy (Material entropy see pollution, social entropy). (Krippendorff)

--------------------------------------------------------------------------------

STATISTICAL ENTROPY

A measure or variation or diversity defined on the probability distribution of observed events. Specifically, if P is the probability of an event a, the entropy H(A) for all events a in A is:

H(A) = -SUM_a P_a log_2 P_a

The quantity is zero when all events are of the same kind, p =1 for any one a of A and is positive otherwise. Its upper limit is log_2 N where N is the number of categories available (see degrees of freedom) and the distribution is uniform over these, p = 1/N for all a of A (see variety, uncertainty, negentropy). The statistical entropy measure is the most basic measure of information theory. (Krippendorff)

Variation

[TEXT MISSING...] when probabilities are small and distributed over a great number of alternatives. statistical entropy is a measure of variation. ''Variation" is the qualitative analog of "variance" as used in the statistics of ordered (interval scale) variables. (Krippendorff))

THERMODYNAMIC ENTROPY

The quantity of energy no longer available to do physical work. Every real process converts energy into both work or a condensed form of energy and waste. Some waste may be utilized in processes other than those generating it (see recycling) but the ultimate waste which can no longer support any process is energy in the form of dispersed heat (see second law of thermodynamics). All physical process, despite any local and temporal concentration of energy they may achieve, contribute to the increased overall dispersion of heat. Entropy therefore irreversibly increases in the known universe. (Krippendorff)

Verteilungsbericht | Inequality Measures | Reichtum in Deutschland | Wirtschafts-Nobelpreis 1998 | Die Mutter der Negentropie | Literatur | Negentropie-Spiel

--------------------------------------------------------------------------------

"... in einem freien Volke, wo die Sklaverei verboten ist, [besteht] der sicherste Reichtum in einer großen Menge schwer arbeitender Armer. Denn ... ohne sie [würde] es keinen Lebensgenuß geben, und kein Erzeugnis irgendeines Landes hätte mehr einen Wert. Um die Gesellschaft glücklich und die Leute selbst unter den niedrigsten Verhältnissen zufrieden zu machen, ist es notwendig, daß ein beträchtlicher Teil davon sowohl unwissend wie auch arm sei. Kenntnisse vergrößern und vervielfachen unsere Bedürfnisse, und je weniger Dinge ein Mensch begehrt, um so leichter kann er zufriedengestellt werden."

Bernard de Mandeville, 1714

--------------------------------------------------------------------------------

Entropie und Ungleichverteilung

--------------------------------------------------------------------------------

Versteckte Verteilungsstatistik: Im Gegensatz z.B. zu den USA und zu England versteckt Deutschland seine Verteilungsstatistik. Sie ist auch nicht aktuell (Statistisches Jahrbuch 1997, z.B. Kapitel 20.11: Daten von 1992). Entsprechend spärlich sind die Daten, die zur Weltbank gelangen. Die alte (bis September 1998) Bundesregierung wehrte sich gegen die Veröffentlichung vergleichbar ausgearbeiteter Statistiken zur Vermögens- und Einkommensverteilung: Ablehnung der Anträge 13/6527, 13/7928 und 13/7933. Die Ablehnung 13/7606 erfolgte mit der Begründung, daß mit der Datenerhebung eine "Umverteilung" angestrebt werde. Werden also Ergebnisse befürchtet, die zu einer Umverteilungsdiskusssion führen könnten? In den USA dagegen wird ganz munter ungleichverteilt und gleichzeitig wird die Ungleichverteilung offen dokumentiert. Keiner käme auf die Idee (Heinz-Georg Seiffert, CDU), die Veröffentlichung der Einkommens- und Vermögensverteilung (z.T. mit Gini-Koeffizienten) für eine "statistische Spielerei" zu halten oder reflexhaft "Gleichmacherei!" zu schreien.

Rein marktwirtschaftlich orientierte und insbesondere wirtschaftsliberal eingestellte "Kapitalisten" wittern sofort Gleichmacherei, wenn die Frage nach Verteilungsgerechtigkeit gestellt sowie ein dem Allgemeinwohl dienender Gebrauch von Eigentum. gefordert (Art.14(2) GG) wird. Viele unter ihnen sehen die "Leistungseliten" gefährdet, zu denen sie sich selbst gerne rechnen möchten. (Solche Leute erschrecken schon, wenn Verteilungen ersteinmal nur gemessen werden sollen.) "Sozialisten" beklagen andererseits die "Umverteilung von unten nach oben" und fordern mehr Verteilungsgerechtigkeit. Auf den Begriff "Elite" reagieren sie eher allergisch.

Überreaktionen auf der einen Seite sind Folge von Mißbräuchen auf der jeweils anderen Seite: Auf der einen Seite wurde der Begriff "Elite" zu oft mißbraucht und zu oft Reichtum mit Zugehörigkeit zur Elite gleichgesetzt. Auf der anderen Seite bedienten Kämpfer für Verteilungsgerechtigkeit sich selbst häufig besonders reichlich.

Soziale Marktwirtschaft: In Deutschland leben wir in einem Umfeld, in dem der Einzelne sein Leben weitgehend eigenverantwortlich bestimmen kann. Je länger man sich an diesen Zustand gewöhnen darf, desto größer wird die Gefahr, ihn für selbstverständlich zu halten. Der hohe Grad an heute möglicher Selbstbestimmung wurde durch Gemeinschaftsleistungen erreicht und wird durch Gemeinschaftsleistungen erhalten. Wer nichts anderes als dieses Glück kennt, kommt aus der frühkindlichen Omnipotenzphase nie heraus und betont folglich nur noch "Eigenverantwortung", Selbstbestimmtheit und Handlungsfreiheit. Die Gemeinschaftsleistung besteht aber darin, fremdbestimmte (nicht vom Einzelnen erarbeitete und steuerbare) Resourcen und Risiken so zu verteilen, daß der Einzelne seine selbstbestimmten Leistungen nicht nur eigenverantwortlich handelnd, sondern insbesondere effizienter im Wettbewerb erbringen kann. Genau das ist das Erfolgsrezept für die Leistungsfähigkeit der sozialen Marktwirtschaft, dem "dritten Weg" zwischen libertärem Wettbewerb und sozialistischer Bevormundung. Das soziale Netz muß so aufgespannt sein, daß die Effektivität individueller Handlungsfreiheit und Verantwortung optimiert wird. Entsprechend muß die Güterverteilung sowohl leistungsorientiert wie auch an sozialen Gesichtspunkten orientiert sein.

Glück und Handeln: "Es ist die allerelementarste ökonomische Tatsache, daß die Art wie die Verfügung über sachlichen Besitz innerhalb einer sich auf dem Markt zum Zweck des Tauschs begegnenden und konkurrierenden Menschenvielheit verteilt ist, schon für sich allein spezifische Lebenschancen schafft." (Max Weber, "Wirtschaft und Gesellschaft", 1913). Sprechen wir über Verteilung: Die normalisierten Ungleichheitskoeffizienten unter den relativen Entropiemaßen nehmen bei totaler Gleichverteilung den Wert 0 an und bei totaler Ungleichverteilung den Wert 1. Als Referenzsystem gelten hierbei Partikel, die sich durch zufällige Bewegungen in einem Raum gleichverteilen und dabei gegebenenfalls Barrieren zum (osmotischen) Konzentrationsausgleich überwinden müssen. Sowohl Glück (statistisch zufällig, also fremdbestimmt) wie auch menschliches Handeln (selbstbestimmt determiniert) bestimmen dagegen die Verteilung zwischen Menschen und Resourcen:

Handeln (z.B. Arbeit, Leistung) bestimmt die Verteilung von Menschen zu Resourcen (Nachfrage-Koeffizient und Theil-Redundanz).

Glück (z.B. Geburtsort, Umwelteinflüsse, Klasse, Kaste, Politik): bestimmt die Verteilung von Resourcen an Menschen (Reserve-Koeffizient und Theil-Redundanz mit vertauschten Eingangsdaten).

Handeln und Glück bestimmen die gegenseitige Verteilung zwischen Resourcen und Menschen (D&R-Koeffizient und Kullback-Liebler-Redundanz).

Es gibt natürlich einen Unterschied zwischen der Gleichverteilung unintelligenter Partikel in der statistischen Teilchen-Physik einerseits und dem durch ordnendes Handeln sowie durch unbeeinflußbares Glück bestimmten Leben der Menschen andererseits. Eben dieser Unterschied wird durch Entropiemaße wie der Theil- und der Kullback-Liebler-Redundanz (und den daraus abgeleiteten Ungleichheitskoeffizienten) zum Ausdruck gebracht. Das Leben zwischen Selbstbestimmung und Fremdbestimmung gehört zu unserer täglichen Erfahrung. Selbst der neoliberalste Kapitalist erkennt gerne die Grenzen der Selbstbestimmtheit, wenn ihm "höhere Gewalt" aus seinen vertraglichen Verpflichtungen heraushelfen kann. Vergangenes Glück und Unglück bestimmen den Handlungsspielraum. In dessen Grenzen findet Handeln statt, das allerdings auch die Wahrscheinlichkeiten zukünften Glücks und Unglücks beeinflussen kann.

Alternativ zu dieser Sichtweise gibt es religiöse Sichtweisen, die aber nicht unbedingt einen Gott benötigen: Der positivistisch selbstbestimmte Mensch betet sich selbst an. (Neben Joseph Murphys Realität gibt es aber noch die eines Edsel Murphy.)

Die oben genannten normalisierten Redundanzen R sind dimensionslos, haben also die Einheit 1. Zur Beurteilung der Ungleichheit können sie mit Z=1-exp(-R) in Ungleichheitskoeffizienten umgewandelt werden. Für Systemuntersuchungen müßten jeweils Systemkontstanten k gefunden werden, um anwendungsgemäße Entropien S errechnen zu können: S=k×(Rmax-R). Die Einheiten dieser Konstanten k sind z.B. Resourcen pro Geschäftigkeit für Theil, Individuen pro Geschäftigkeit für Theil mit invertierten Eingangsdaten und Ö(Resourcen×Individuen) pro Geschäftigkeit für Kullback-Liebler. Die Geschäftigkeit oder Handelstemperatur oder Aktivitätsintensität bezeichnet hier eine der Temperatur ähnliche Größe, z.B. wenn es an der Börse "heiß hergeht". Die Einheit habe ich Godin genannt: 1 Godin = 1 Geschäft/Sekunde.)

Nun wieder was Ernsthafteres: Ungleichheit kann der Mensch durch ordnendes Handeln schaffen und damit eine Teilentropie senken. Nach dem zweiten Satz der Thermodynamik bedeutet das jedoch auch, daß durch das praktische Handeln in unserer realen Umwelt die Summe anderer Teilentropien um ein größeres Maß ansteigen muß. Der Satz gilt für abgeschlossene Systeme. Hoffnungen - aber keine hinreichenden Meßdaten - bestehen, daß unsere Umwelt als offenes System diese Entropiezunahme durch Entropieexport schnell genug kompensieren kann.

Die Entropie einer Menge steigt

mit dem Grad der Gleichverteilung

der Summe der Freiheitsgrade aller Elemente

auf die einzelnen Elemente dieser Menge.

Entropie in der Menge: Ein System belegt einen Raum. Unter "Raum" kann man sich hier jede Menge von Elementen (Objekten) vorstellen, die in bestimmten Abständen zueinander angeordnet sind und die einen festen "Identifikator" und variable "Parameter" besitzen. Die Elemente unterscheiden sich durch ihren Identifikator. Den Identifikator kann man auch einem "Ort" zuweisen.

Ist ein variabler Parameter eines Elements proportional zur Freiheit des Elementes (d.h. proportional zur Anzahl der "Freiheitsgrade" des Elements), dann ist er eine positive Zahl (oder Null). Unterschiedliche Elemente können gleiche Parameter haben. Die Parameter können also nur zu einer Klassifizierung, nicht jedoch zu einer Identifizierung herangezogen werden. Für die Ermittlung der zu einer Parametersumme (Summe von Freiheitsgraden) gehörenden Entropie des gesamten Raumes (der Menge) müssen die zu der Parametersumme gehörenden Summanden aller Orte (bzw. aller Elemente) des Raumes (der Raumes) untersucht werden. Die Entropie einer Menge steigt mit dem Grad der Gleichverteilung der Summe der Freiheitsgrade aller Elemente auf die einzelnen Elemente dieser Menge.

Die Redundanz einer Gesellschaft steigt

mit dem Grad der Ungleichverteilung

der Summe der Freiheitsgrade aller Menschen

auf die einzelnen Menschen.

Redundanz und Freiheitsverteilung: In der Wirtschaft sind bei der Berechnung von Ungleichverteilungen z.B. die Menschen einer Gesellschaft die Elemente einer Menge. Atot sei die Anzahl aller Menschen in der Menge. Etot sei proportional zur Summe aller Freiheitsgrade der einzelnen Menschen. Ein Parameter eines Menschen mit dem Identifikator "j" (Menschj) sei Ej. Wenn Ej proportional (gleicher Faktor wie bei Etot) zur Anzahl der Freiheitsgrade eines Menschenj ist, dann ist errechnet sich die normierte Redundanz RTheil der Menge - auf diese Parameterklasse bezogen - wie folgt: RTheil=ln(Atot/Etot)+sumj=1..Atot(Ej×ln(Ej))/Etot.

Bei Mengen mit sehr vielen Elementen (Menschen) kann man in der Praxis nicht jedes einzelne Ej jedes einzelnen Menschenj ermitteln. Aber die Menschen in der Menge lassen sich in eine Anzahl N von Teilmengen (Gruppen, Quantile usw.) zusammenfassen. In jeder Teilmengei gibt es dann Ai Menschen, deren Ej zur Teilsumme Ei zusammengefaßt werden, wobei die einzelnen Ej der Elemente dieser Teilmenge in einem Bereich liegen, der sich mit den anderen Teilmengen zugeordneten Bereichen nicht überschneidet. Die normierte Redundanz der Menge ist dann RTheil=ln(Atot/Etot)+sumi=1..N(Ei×ln(Ei/Ai))/Etot. Eine mögliche Ungleichverteilung innerhalb der Teilmengen geht in diese Berechnung nicht mit ein. (Das gilt allerdings auch für den Gini-Koeffizienten, s.u.)

Die Redundanz sinkt, wenn die Gleichverteilung von Freiheit steigt. Eine Gesellschaft mit privilegierten Eliten hat demzufolge eine höhere Redundanz als eine "gleichgemachte" Gesellschaft. Je ausgeprägter die Unterschiede bei der Freiheitsverteilung sind, desto höher wird die Redundanz. Das ist gut, weil Redundanz die Dinge in Bewegung setzt. Bis zu einem gewissen Punkt steigt die Wettbewerbsfähigkeit einer Gesellschaft mit ihrer Redundanz. Wenn die Redundanz aber eine bestimmte Schwelle übersteigt, dann wird aus der Bewegung Revolution, die Gesellschaft verbrennt an sich selbst. Der Mittelweg liegt darum zwischen der Diktatur der Elite einerseits und fundamentalistischer Basisdemokratie endererseits.

Dieser Absatz beschrieb die Grundlagen der Theil-Redundanz. Welche Rolle "Macht" bei der Kullback-Liebler-Redundanz (eine Kreuz-Redundanz) spielt, ist in dieser Veröffentlichung in English beschrieben.

Entropie in der Physik: In der Physik ist Entropie der "Direktor" der Energie, soll Robert Emden gesagt haben (zitiert von Michail Wolkenstein). Ganz stimmt das eigentlich nicht: Entropie beschreibt einen Zustand von Energie, den ein möglicher Direktor der Energie bewirkt hat oder haben könnte.

Die Entropie steigt mit dem Grad der Gleichverteilung von Energie und Masse in Raum und Zeit, wenn die Anzahl der Freiheitsgrade an jedem Ort des Raumes zusammen mit der Masse und/oder der Energie an diesem Ort ansteigt. (In der Thermodynamik ist Entropie eine Funktion der Zeit. In der Informationstheorie kann auch die Verteilung von Signalen über die Zeit die Entropie bestimmen.)

Es ist zum Beispiel möglich, daß Moleküle eines Gases in unterschiedlicher Konzentration in einem Behälter vorliegen. Die Entropie ist dann niedriger als bei gleichmäßiger Verteilung. Es ist aber auch möglich, daß die Moleküle im Raum gleichverteilt sind, aber ihre Geschwindigkeiten eine Vorzugsrichtung haben. Diese "ordentliche" Ausrichtung führt auch zu einer niedrigeren Entropie als der Fall, in dem alle möglichen Richtungen gleichmäß vertreten sind. (Eine gleiche Richtung aller Geschwindigkeiten entspräche einer Gleichverteilung im euklidischen Raum. Hier betrachten wir jedoch nun einen "Raum", der als die Menge aller möglichen Geschwindigkeiten definiert ist, wobei die Richtung der Geschwindigkeit das Element - einen "Ort" dieses Raumes - eindeutig identifiziert. Die Summe aller Geschwindigkeiten einer Richtung ist ein Parameter des dieser Richtung zugeordneten Elementes, wobei unterschiedliche Elemente gleiche Parameter besitzen können.) Es gibt eine Vielzahl weiterer Beispiele für lokal unterschiedliche Verteilungen irgendwelcher Parameter in unterschiedlichen Arten von "Räumen".

In der Thermodynamik betrachtet man die sich zeitlich verändernde (darum "Dynamik") Verteilung von Masse und/oder Energie im Raum. In der Informatik betrachten wir sowohl die Verteilung in der Zeit (z.B. Datenübertragung) wie im Raum (z.B. zur Berechnung der Komprimierbarkeit von Bildern). Bei der Messung der ökonomischen Ungleichheit können wir sowohl die Verteilung von von Resourcen auf Menschen (Menschen sind Raum) betrachten wie auch die Verteilung von Menschen auf Resourcen (Resourcen sind Raum).

Entropie und Tee-Zeremonie: Es gibt verschiedene Möglichkeiten, die physikalische Größe "Entropie" zu erklären. Meinem Naturell entsprechend wähle ich die folgende: Entropie bedeutet Grad der Unordnung. (Merkhilfe: Je gleichverteilter das Gerümpel herumliegt, desto weniger Freiheit hat man, den verbleibenden Schrott noch über den Raum zu verteilen.)

Als Halb-Ostfriese nehme ich nun die Gelegenheit wahr, zur Verdeutlichung der Entropie über einen entropischen Kult in den nordwestlichen Regionen Deutschlands zu berichten (d.h. nur über einen Teil der Zeremonie, weil es sonst viel zu lange dauert). Es handelt sich hierbei um die Mutter aller Teezeremonien: also die ostfriesische Teezeremonie.

Eine diese Zeremonie kennzeichnende rituelle Handlungen besteht darin, die Milch gaaaanz vorsichtig in den Tee zu geben und ohne weitere menschliche Einmischung ihre allmähliche Ausbreitung im Universum - hier dargestellt durch den Tee - wahrzunehmen. Anfangs haben wir Ordnung, d.h. die Milch hat ihren Bereich und der Tee hat seinen Bereich. Die Milch ist im Tee-Universum ungleichverteilt. Gegen Ende der Zeremonie aber ist die Milch dank verschiedener physikalischer Wirkungen fast gleichmäß im Tee-Universum verteilt und damit im Universum aufgegangen. Die Trennung - und damit die Ordnung - ist verschwunden. In der Sprache der Physiker: Die Entropie - und damit die Unordnung - hat ihr Maximum erreicht. Merkhilfe: Je gleichverteilter die Milch ist, desto weniger Freiheit hat sie, sich noch gleichmäßiger im Tee zu verteilen.

Benzinpreis: Oft wird Entropie auch mit dem Unwert von Energie gleichgesetzt. Je geringer der Wert von Energie, desto höher sind die Kosten ihrer Nutzung. Entsprechend beschreibt Redundanz dagegen den Wert von Energie, ihre Nutzbarkeit. Darf man über den Preis von Treibstoffen reden, ohne Entropie zu verstehen? Wer Entropie versteht, darf über den Benzinpreis diskutieren. (Warum das so ist, finden Sie bitte selbst heraus.) Und da so viele darüber diskutieren, könnte man vermuten, daß Entropie in Deutschland Bestandteil der Allgemeinbildung sei. (Ist das so?) Andernfalls könnten wir ja in der Wirtschaft, in der Politik und im Umgang mit unseren Resourcen viele Probleme nicht lösen. Und es käme auch vor, daß Entropieprobleme mit Energieproblemen verwechselt würden. (Oder kommt das sogar recht häufig vor?)

Entropie und Kosten: Auch in der Datenverarbeitung begegnet uns Entropie. Je unterschiedlicher die Informationen über die Zeit verteilt sind (bestimmten Zeiten zugeordnet sind), desto niedriger ist die Informationsentropie (desto höher ist die Ordnung). Esoterisch? Nein, denn hier geht es uns ans Geld: Wenn zum Beispiel ein Bild mit einem Verfahren übertragen wird, das zu einer Informationsentropie führt, die viel niedriger ist als die Informationsentropie des Original-Bildes, dann verschwenden wir Geld und/oder Übertragungskapazität. Denn Entropie zu senken verursacht immer Kosten. Es gibt daher Verfahren, die durch "Kompression" die Entropie des Datensatzes, der das Bild beschreibt, an die Entropie des Bildes heranbringen. (Die Kosten von "Ordnungs-Maschinen" sind proportional zur Entropie des zu ordnenden Systems. Hier wird Entropie konkret.) Je näher sich die beiden Entropien kommen, desto mehr Kosten können eingespart werden.

Ordnung ist Ungleichverteilung: Hohe Entropie bedeutet hohe Gleichverteilung und geringe Ordnung. Wenn wir im Herbst die Blätter zuerst gleichmäß über eine Wiese verteilt sehen und ihnen später als einem Haufen neben einem ansonsten laubfreien Rasen wiederbegegnen, dann vermuten wir, daß sie jemand zu diesem Haufen zusammengefegt, also geordnet hat. Die vormals gleichmäßige Verteilung ist verschunden. Zunehmende Ordnung ist zunehmende Ungleichverteilung. Die Ordnung kam auch nicht von selbst, denn sie ist eine Entropieverringerung. Es muß also von irgendjemandem Arbeit (Kosten) aufgebracht worden sein, um Ordnung bzw. Ungleichverteilung zu schaffen.

Der MacRae-Koeffizient und der Nachfrage-Koeffizient: Nun zu den Ungleichverteilungs-Koeffizienten. Einer dieser Koeffizienten ist der MacRae-Koeffizient. Der Koeffizient errechnet sich aus dem bekannteren Theil-Koeffizient. Dieses Koeffizient ergibt sich aus der Differenz zwischen maximaler Entropie und der zu der gegebenen Ungleichverteilung gehörenden Entropie - für eine gegebene Ungleichverteilung der Milch im Tee, für eine beobachtete Ungleichverteilung von Passagieren auf Flüge oder für die Ungleichverteilung des Volksvermögens in einem Land.

"Der Nachfrage-Coefficient (Demand-Coefficient, früher: "Entropic Disparity Coefficient") erweitert den MacRae-Koeffizienten und kehrt ihn um: Nachfrage=1-MacRaeerweitert. Durch die Umkehrung bekommt der MacRae-Koeffizient die gleiche Polarität wie der Gini-Koeffizient (siehe nächster Absatz). Der Nachfrage-Koeffizient ist ein Disparitäts-Koeffizient, Der MacRae-Koeffizient ein Paritäts-Koeffizient. Die Erweiterung besteht darin, daß Daten ausgewertet werden können, die auf Perzentilen (Quantilen) mit unterschiedlicher Gruppengröße basieren.

Aus der Theil-Redundanz zusammen mit einer Theil-Redundanz, bei der die Eingangswerte (E, A) vertauscht wurden, ergibt sich der D&R-Koeffizient. Er läßt sich auch sehr einach aus der Kullback-Liebler-Redundanz ableiten. Details sind in meinen englischsprachigen Seiten erklärt.

Der Gini-Koeffizient: In den Sozialwissenschaften besonders etabliert ist jedoch der (im Gegensatz zu Entropie-Koeffizienten nur axiomatisch begründete) Gini-Koeffizient als Kenngröße für Disparität. Er errechnet sich aus dem Verhältnis von zwei Flächen: die Fläche B unter der gemessenen Lorenz-Kurve und die Fläche A+B unter der Lorenz-Kurve einer Gleichverteilung. (Bei Gleichverteilung ist die Lorenz-Kurve eine Diagonale im Lorenz-Diagramm.) Der Gini-Koeffizient wird dann mit A/(A+B) berechnet. (1-B/(A+B) geht auch und ist leichter zu berechnen. Es gibt hier in der Literatur viele Berechnungsmethoden. Anstelle einer verwirrenden Auflistung beschrieb ich hier nur den Umgang mit den Flächen A und B. Der Rest ist analytische Geometrie.) Weitere Hinweise und Hyperlinks zum Gini-Koeffizienten gibt es in meinen anderen Web-Seiten.

Aus dem aus der Grafik (basierend auf Daten des WSI und des SPIEGEL) errechenbaren Flächenverhältnis ergibt sich für 1993 ein Gini-Koeffizient von 0,58 (einen Nachfrage-Koeffizienten von 0,51) für die Verteilung des Geld-, Immobilien- und Betriebsvermögens auf deutsche Haushalte.

Für Einkommens- und Vermögensverteilungen fehlten mir zunächst allerdings Vergleichszahlen. Die Bundesregierung wehrt sich gegen eine Verpflichtung, Daten zur Einkommensverteilung zu veröffentlichen. (Hessen z.B. wehrt sich nicht.) Im Vergleich zu anderen sogenannten fortgschrittenen Staaten liegen daher der Weltbank aus Deutschland nur recht alte Daten vor. Man kommt aber trotzdem an Daten heran: Hier zeigt z.B. das WSI in der Hans-Böckler-Stiftung, daß Gewerkschaften mit eigener wissenschaftlicher Forschung und mit der Beschaffung von Daten und Fakten eine immer wichtiger werdende Dienstleistung erbringen müssen (deren Bedeutung leider in den eigenen Reihen noch zu sehr unterschätzt wird). Bei der Einkommensverteilung zeigte der Gini-Koeffizient Ende der achtziger Jahre in Deutschland eine Disparität von über 0,3 (bzw. einen Nachfrage-Koeffizienten um 0,14 herum). Länder wie Mexiko haben eine Einkommensverteilung mit Gini-Koeffizienten um die 0,6 herum. Wolff nennt für die Zeit von 1983 bis 1989 Gini-Koeffizienten von 0,80 bis 0,84 für die Vermögensverteilung in den USA ("Top Heavy", Kapitel 6). Für die Einkommensverteilung gibt er entsprechend 0,41 bis 0,43 an.

Am 24.10.1997 jedoch veröffentlichte DIE ZEIT im ersten Teil ihrer Serie "über die neue soziale Ungleichheit" Ergebnisse von Untersuchungen, die sie beim DIW in Auftrag gegeben hatte. Daraus lassen sich Verteilungkoeffizienten berechnen. Zusammen mit den WSI-Daten aus dem SPIEGEL ergibt sich nun für Deutschland das folgende Bild (mit Vergleichsdaten aus anderen Ländern):

Nach-

frage Gini Jahr Verteilung von:

--------------------------------------------------------------- Deutschland -----------------

- 0,59 1993 Bruttogeldvermögen West (DIW)

- 0,53 1993 Bruttogeldvermögen Ost (DIW)

- 0,61 1993 Nettogeldvermögen West (DIW)

- 0,59 1993 Nettogeldvermögen Ost (DIW)

- 0,59 1995 Bruttogeldvermögen (DIW)

- 0,60 1995 Nettogeldvermögen (DIW)

- 0,63 1995 Vermögenseinkommen (DIW)

0,51 0,70 1990 Vermögen je Haushalt, (H.Creutz, 10×10% Perzentile)

0,51 0,58 1993 Geld-, Immobilien- und Betriebsvermögen 1993 (SPIEGEL/WSI)

D&R: 0,49, Reserve: 0,46, Hoover: 0,44

0,64 0,65 1995 Gesamtvermögen (SPD, Bundestagsdrucksache 13/7828)

A/E: 50%/2.5%, 40%/47.5%, 9%/27%, 1%/23%

D&R: 0,69, Reserve: 0,73, Hoover: 0,48

0,68 0,71 1999 Vermögensaufteilung, TAZ 1999/11/12 (und eigene Abschätzung)

A/E: 80%(50%+30%)/25%(2,5%+22,5%), 15%/35%, 5%(4%+1%)/40%(17%+23%)

D&R: 0,71, Reserve: 0,75, Hoover: 0,55

0,17 0,33 1993 Immobilienvermögen privater Haushalte (ZEIT/DIW)

0,4 0,5 1996? Erbschaften (Schätzung, Basis: ZEIT/BBE)

0,24 0,56 1990 verfügbares Eink. je Haush., (H.Creutz, 10×10% Perzentile)

0,30 0,47 1993 Nettoeinkommen (E.K. u. U. Scheuch: Bürokraten..., S.200; ALLBUS 1994;

eigene Berechnungen: Top 0,4% haben etwa 8% vom Gesamtnetto)

0,14 0,32 1978 Einkommen (Deininger/Squire, Weltbank, Quintile: 20,20,20,20,20)

0,14 0,32 1984 Einkommen (Weltbank)

0,58 0,64 1996 Einkommen aus Zinsen und Dividenden (ZEIT/DIW)

0,14 0,30 1996 Bruttoarbeitseinkommen (ZEIT/DIW, Quintile: 20,20,20,20,20)

0,16 0,31 1996 Bruttoarbeitseinkommen (ZEIT/DIW, Septile: 10,10,20,20,20,10,10)

0,14? 0,36 1990 Bruttoarbeitseinkommen West, Bundesamt für Statistik

0,18? 0,49 1995 Bruttoarbeitseinkommen West, (dto.)

0,25 0,4 1996 Bruttoeinkommen aus Arbeit, Vermögen und Mieten (Schätzung)

0,26 0,42 1992 steuerpflichtiges Einkommen (Land Hessen), Demand&Reserve:0,28 Hoover:0,29

0,32 0,37 1992 steuerpflichtiges Einkommen (Beck/Meine, S.124):

A=Steuerpflichtige: 57,2% 32,8% 8,9% 1,0% 0,1% Rest: 751

E=Anteil am Einkommen: 27,2% 40,4% 21,2% 6,8% 3,4% 1,0%

Anteile am verfügbaren Nettoeinkommen (Grafik ZEIT/WSI)

Nettoarbeits- entnommene

einkommen Gewinne & Zinsen

-------------------------------------------

1980 55% 25%

1984 50% 30%

1996 45% 35%

Nach-

frage Gini Jahr Verteilung von:

--------------------------------------------------------------- andere Länder ---------------

0,08 0,26 1984 Einkommen, VR China (Weltbank)

0,12 0,31 1985 dto.

0,16 0,36 1991 dto.

0,18 0,38 1992 dto.

0,35 0,50 1994 dto. (Michelson)

0,10 0,26 1984 Einkommen, Großbritannien (Weltbank)

0,15 0,32 1991 dto.

0,31 0,51 1984 Einkommen, Mexiko (Weltbank)

0,36 0,50 1989 dto.

0,10 0,27 1983 Einkommen, Niederlande (Weltbank)

0,12 0,29 1991 dto.

0,13 0,31 1984 Einkommen, Norwegen (Weltbank)

0,18 0,33 1991 dto. (hohe Spitzeneinkommen wg. Öl?)

0,09 0,26 1991 Einkommen, Polen (Weltbank)

0,15 0,33 1993 dto.

0,14 0,32 1984 Einkommen, Schweden (Weltbank)

0,14 0,32 1992 dto.

0,26 0,43 1981 Einkommen, Thailand (Weltbank)

0,34 0,52 1992 dto.

? 0,82 1992 Vermögen, USA (Wolff)

0,19 0,37 1984 Einkommen, USA (Weltbank)

? 0,43 1984 dto. (Wolff)

0,20 0,38 1991 dto. (Weltbank)

0,46 0,54 1963 Einkommen, Welt (UNDP)

0,63 0,67 1993 Einkommen, Welt (UNDP)

Die Tabelle wurde überwiegend im Jahr 1997 erstellt und danach Schritt für Schritt erweitert. Mit meinem jetzigen Kenntnisstand hätte ich anstelle des Nachfrage-Koeffizienten (MacRae-Ungleichheit, Atkinson-Index) die Ungleichverteilung nach Kullback-Liebler errechnet. Unter den Bedingungen in Deutschland liegen die beiden Koeffizienten jedoch häufig nahe beieinander. Im folgenden Text gehe ich nur auf Teile der Tabelle ein.

Die Daten des WIS für die deutsche Einkommensverteilung im Jahr 1996 sind feiner unterteilt (7 Septile, davon 3 mit 20% und jeweils am oberen und unteren Ende 2 mit 10%) und damit genauer auswertbar als die Daten der Weltbank (5×20%). Die feinere Unterteilung dient einer genaueren Erfassung der Verhältnisse in den Randzonen. Zum Vergleich mit den Weltbank-Daten habe ich für die WIS-Daten jedoch Koeffizienten auch so errechnet, wie man bei der Weltbank vorgegangen ist. Daraus ergibt sich, daß die Koeffizienten (Gini und Nachfrage-Koeffizient) im Jahr 1996 gegenüber den Weltbank-Daten im Jahr 1984 nicht höher sind. In Deutschland entspricht die Ungleichverteilung (Nachfrage-Koeffizient=0,14) der Arbeitseinkommen von 1996 recht gut den Ungleichverteilungen von 1984 und 1978. Eine "neue soziale Ungleichheit" gibt es bei der Verteilung der Arbeit, des Kapitalvermögens und des Immobilienbesitzes, aber nicht bei der Verteilung der Arbeitseinkommen.

Eine gegenüber der Einkommens-Entropie deutlich niedrigere Vermögens-Entropie (höhere Ungleichverteilung) kann dadurch zu erklären sein, daß in hohen Einkommen der Anteil zur Vermögensbildung den Anteil zur Deckung der Lebenshaltungskosten deutlich übersteigen kann. (Wer reich ist, wird noch reicher.) Interessant wäre hier ein Vergleich der Verteilung der Vermögen mit der Verteilung der zur Vermögensbildung übrig bleibenden Arbeitseinkommensanteile.

Der Schutz von Privatvermögen wird gerne als Voraussetzung für den Erhalt des "Leistungsprinzips" verkauft. Genau dieses Prinzip wird aber untergraben, wenn die Ungleichheit der Vermögensverteilung stärker als die Ungleichheit der Verteilung von Arbeitseinkommen wächst. "Besserverdienende" sind nur unter bestimmten Voraussetzungen auch "Leistungsträger".

Vor- und Nachteile des Gini-Koeffizienten:. Vielleicht sollte der Gini-Koeffizient trotz seiner Mängel (Kritik: Schaich, Sen und Ward) auch allgemein bekannter werden, denn mit ihm kann die Verteilungsgerechtigkeit durchaus gemessen werden. Die Wirkung der Top-Vermögen (oder Top-Einkommen) versteckt der Gini-Koeffizient jedoch. Der Gini-Koeffizient spiegelt insgesamt eine zu hohe Ungleichverteilung (und eine zu hohe Verteilungsänderungen bei Zeitreihen) vor. Daher sollte man zusätzlich zu den Gini-Koeffizient auch Entropie-Koeffizienten angeben.

Die Überbewertung der mittleren Perzentile ist eine Schwäche des Gini-Koeffizienten. Sie wird allerdings zu einer Stärke, wenn z.B. die Spitzen-Einkommen nicht (oder nicht zuverlässig) erfaßt werden. Im Gegensatz zu Entropiemaßen ist der Gini-Koeffizient unsensibeler gegenüber Schwankungen im Spitzenbereich und eignet sich sehr gut zur Anzeige von Änderungen im Mittelfeld. Dieser Vorteil kommt z.B. bei der Auswertung der Daten des Bundesamtes für Statistik zum Tragen. (Bei diesen Daten muß man sich jedoch im Zusammenhang mit der Kritik am Gini-Koeffizient fragen, ob ein Anstieg des Gini-Koeffizienten mit einem Sinken des Hoover-Koeffizienten vereinbar sein kann.)

Entropie-Koeffizienten sind "natürlicher": Der Gini-Koeffizient hat inzwischen "Gewohnheitsrecht". Entropie-Koeffizienten dagegen haben es auch schwer, weil viele Ökonomen und Soziologen noch nicht begriffen haben, was "Entropie" bedeutet. Erhöht sich in einem System in bestimmten Bereichen die Ungleichverteilung oder werden Strukturen ausgebaut (d.h. eine Teilentropie sinkt), dann muß die Ungleichverteilung oder die Strukturierung in einem anderen Bereich sinken (d.h. eine andere Teilentropie steigt) und/oder dem System externe Energie zugeführt werden, die einen Sortiervorgang im System bewirkt. (So kann z.B. die starke Verringerung der Einkommens-Entropie in China neben anderen Faktoren mit einem enormen Import von Kapital in Beziehung gesetzt werden. Beobachtet werden sollte auch, ob die soziale Entropie steigt.)

Wenn z.B. der Zusammenhang zwischen den verschiedenen Verteilungen (Einkommen, Grad der Kontrolle von Energien und Technologien, sozialer Status, Bildung usw.) in Gesellschaft und Wirtschaft untersucht werden soll oder man Beziehungen zwischen Verteilung, Zufriedenheit und Dynamik herstellen will, wäre es sinnvoll, Kenngrößen zu verwenden, die sich an Naturgesetzen orientieren. Hier bietet sich besonders die Shannon-Boltzmann-Entropie als Kenngröße für Ungleichverteilungen direkt an. Daraus wurden verschiedene Entropie-Indizes entwickelt, der gut aus dem bereits bekannten Theil-Koeffizienten ableitbare MacRae-Koeffizient - und damit der Nachfrage-Koeffizient - ist einer davon.

Berechnung des Nachfrage-Koeffizienten: Die folgende Tabelle zeigt, wie man z.B. die Vermögensverteilung innerhalb einer gegebenen Bevölkerung als Nachfrage-Koeffizient ausdrücken kann. Die Bevölkerung besteht hierbei aus N Gruppen. Für jede Gruppei müssen dann 2 Angaben vorliegen: über das Vermögen Ei dieser Gruppei und über die Anzahl Ai der Menschen, die zu dieser Gruppei gehören. (Für die Bezeichnung der Variablen habe ich Maugis' Diktion gewählt.)

Größe

der Gruppe Vermögen

der Gruppe Negentropie Lorenzkurve Segmentfläche

A1 E1 H1 = E1 × ln(A1 / E1) Y1 = E1 P1 = (2×Y1 - E1) × A1

A2 E2 H2 = E2 × ln(A2 / E2) Y2 = Y1 + E2 P2 = (2×Y2 - E2) × A2

A3 E3 H3 = E3 × ln(A3 / E3) Y3 = Y2 + E3 P3 = (2×Y3 - E3) × A3

... ... ... ... ...

AN EN HN = EN × ln(AN / EN) YN = YN-1 + EN PN = (2×YN - EN) × AN

Atot = Summe(A) Etot = Summe(E) Rtot = Summe(H) / Etot + HE (für Lorenz: Ei/Ai > Ei-1/Ai-1) Ptot = Summe(P) / Etot

HA = ln(Atot) HE = ln(Etot) Nachfr. = 1 - exp(Rtot-HA) Nachfr. = 1 - exp(Rtot) / Atot Gini = 1 - Ptot / Atot

Bedeutung des Nachfrage-Koeffizienten: Der Nachfrage-Koeffizient für die


Sehr lesenswerter Artikel

nzz

Chaotische Dynamik in der Kreiszahl PI ***

Wie viel Zufall steckt in den transzendenten Zahlen?

In der unendlichen Ziffernfolge der Zahl Pi scheint der Zufall zu regieren. Auf der Suche nach einem strengen Beweis hierfür haben amerikanische Forscher ungewöhnliche Wege eingeschlagen und eine Verbindung zur Chaostheorie hergestellt.

Die Quadratur des Kreises ist eines der antiken Rätsel, die auch heute noch manche Amateure in den Bann ziehen. Doch das Problem ist längst gelöst: 1882 bewies Ferdinand Lindemann, dass man mit Zirkel und Lineal nur Zahlenabschnitte konstruieren kann, die entweder rational oder algebraisch sind. Die Zahl pi aber ist transzendent, zeigte Lindemann. Was Mathematiker schon lange vermutet hatten, wurde damit zur Gewissheit: Die Quadratur des Kreises ist unmöglich, weil pi niemals durch endlich viele rationale Operationen erzeugt werden kann.

Endlicher oder unendlicher Zufall?

Die Zahl pi ist neben e (der Basis des natürlichen Logarithmus) zwar die bekannteste transzendente Zahl; sie ist aber bei weitem kein Sonderfall. Fast die gesamte Zahlengerade ist mit solchen Zahlen überdeckt, und nur sporadisch tauchen in diesem Meer der Transzendenz Bruchzahlen und ganze Zahlen auf. Wie die algebraischen Zahlen (etwa Wurzel 2) gehören auch die transzendenten Zahlen zu den sogenannten irrationalen Zahlen, deren Dezimalentwicklung weder abbricht noch irgendwann periodisch wird.

Mathematiker vermuten stark, dass sich die Ziffernfolgen solcher Zahlen bis ins Unendliche fortsetzen, ohne jemals in ein voraussagbares Muster zu fallen. Bisher können sie diese Eigenschaft jedoch nicht beweisen - ein wunder Punkt im Reich der Zahlentheorie. Es wäre beispielsweise denkbar, dass pi nach Trillionen von zufällig aufeinander folgenden Dezimalzahlen nur noch aus einer alternierenden Folge der Ziffern 5 und 7 besteht. Eben das soll der lange gesuchte Beweis ausschliessen.

Die Geschichte der Zahl pi begann im dritten vorchristlichen Jahrhundert mit Archimedes. Er war es, der entdeckte, dass sowohl der Umfang eines Kreises als auch seine Fläche mit der Zahl pi zusammenhängen und dass diese Zahl auch bei der Berechnung von Kugelfläche und -volumen ins Spiel kommt. Archimedes bewies auch, dass pi zwar kleiner als 3+ 1/7, aber grösser als 3+ 10/71 sein muss, indem er ein Polygon mit 96 Ecken durch raffinierte Näherungsverfahren berechnete.

Mathematiker haben seitdem viele verschiedene Summenformeln gefunden, die mit wachsender Zahl der Terme immer näher an den «wirklichen» Wert der Kreiszahl herankommen, ohne ihn je zu erreichen. Eine Gruppe um Yasumasa Kanada von der Universität Tokio hat pi vor zwei Jahren auf 206 Milliarden Stellen nach dem Komma berechnet, der heutige Rekord soll bei 500 Milliarden Nachkommastellen liegen.

Praktische Gründe sind nicht das Motiv für solche Parforceleistungen: Bereits 40 Nachkommastellen würden ausreichen, um den Umfang der Milchstrasse bis auf die Dicke eines Protons genau zu berechnen, schreibt der Mathematiker David Bailey vom Lawrence Berkeley National Laboratory, einer der Pioniere auf dem Gebiet der Berechnung von pi. Die Suche nach weiteren Stellen von pi ist jedoch ein hervorragender Leistungs- und Fehlertest für Superrechner: Wenn zwei Maschinen unabhängig voneinander über Milliarden von Nachkommastellen zum gleichen Ergebnis kommen, dann zeigt dies, dass beide Computer Trillionen von Operationen fehlerlos ausführen.

Daneben gibt es aber auch ein prinzipielles Interesse am Verlauf der Ziffernfolge von pi. Bis heute sind sechs Milliarden Stellen von p mit statistischen Tests analysiert worden. Die Ziffernfolge wirkt so zufällig, als wäre sie mit einem idealen zehnseitigen Würfel erzeugt worden.

Folglich eignet sich p, um Pseudo-Zufallszahlen für Modellierungen, Simulationen oder kryptographische Anwendungen zu generieren. Wirklich verlässlich sind solche «Rezepte» allerdings nur dann, wenn sich die Zufälligkeit in der Abfolge der Ziffern mathematisch streng beweisen liesse.

Wie normal ist p?

Das Schlüsselwort für einen solchen Beweis lautet Normalität und bedeutet, dass jede Ziffer mit der Häufigkeit 0,1 vorkommt, jede Zweiergruppe mit einem Hundertstel, jede Dreiergruppe mit einem Tausendstel und so weiter. Die erste Bedingung allein könnte auch durch eine rationale Zahl erfüllt werden, beispielsweise die periodische Zahl 0,01234567890123456789 . . . Aber schon an der zweiten Bedingung scheitert eine solche Zahl, denn von den Zweiergruppen kommen zwar 01, 12 oder 23 vor, aber niemals 02 oder 15. Noch interessanter wird die Frage der Normalität, wenn man verlangt, dass diese Eigenschaft in allen Darstellungen gelten soll, also im binären, im hexadezimalen System oder bezüglich einer beliebigen anderen Basis.

David Bailey könnte dem lange gesuchten Beweis der Normalität von pi nun einen Schritt nähergekommen sein. Gemeinsam mit dem theoretischen Physiker Richard Crandall untersuchte er, wie sich aufeinander folgende Zifferngruppen bestimmter Länge von p verhalten. Nimmt man beispielsweise von p=3,1415926535 . . . aufeinander folgende Dreiergruppen und schreibt sie als Nachkommastellen einer Null, so würde man Zahlen erhalten, die zwischen 0,000 und 0,999 hin und her springen; in diesem Fall beginnt es mit 0,314, gefolgt von 0,141, dann 0,415 und so fort. Bailey und Crandall konnten beweisen, dass die Normalität von p automatisch aus einer anderen Tatsache folgen muss: Wenn sich diese künstlich hergestellten Zahlenfolgen im Intervall zwischen null und eins erratisch bewegen, dann ist pi normal. Dieses Phänomen erratischer Bewegung ist aus der Theorie chaotischer Systeme wohlbekannt.

Bailey und Crandall bauten diese Arbeit auf einer Formel auf, die Bailey zusammen mit Peter Borwein und Simon Plouffe 1996 gefunden hatte und die es erlaubt, gezielt die n-te Stelle von pi zu berechnen, ohne die vorhergehenden Stellen zu kennen. Noch haben die beiden Forscher nicht bewiesen, dass sich Folgen jeder Länge erratisch verhalten, also chaotisch und regellos zwischen den Grenzen umher tanzen, wie es Bailey ausdrückt, aber dieser Beweis scheint in Reichweite zu sein. Mathematiker bewerten diese Arbeit als sehr wichtig, weil sie eine alte Frage der Zahlentheorie in einen neuen Zusammenhang stellt, der vorher noch nicht gesehen wurde, erklärt Gisbert Wüstholz, Zahlentheoretiker an der ETH Zürich. Alexander Zaikin, der an der Universität Potsdam nichtlineare, chaotische Systeme untersucht, zweifelt zwar an einem direkten Nutzen oder einer baldigen Anwendung im Rahmen der Chaosforschung, aber inspirierend könnten diese neuen Erkenntnisse schon sein, meint er.

Wetteifern um Komplexität

Die Normalität ist nicht das einzige Mass für die Komplexität irrationaler Zahlen. In den sechziger Jahren entstand im Rahmen der Computereuphorie die Idee der Algorithmischen Information: Eine Zahl galt als umso komplexer, je länger das Programm in Maschinensprache sein musste, um diese Zahl zu erzeugen. pi ist demnach gar nicht besonders komplex, denn die Summenformeln lassen sich in ein paar Zeilen und einer unendlichen Schleife einprogrammieren.

Aufsehen erregte vor wenigen Jahren auch das Konzept der approximativen Entropie, das Rudolf Kalman, emeritierter Mathematiker der ETH Zürich und Steve Pincus, freischaffender Mathematiker aus den USA, entwickelt hatten. Sie untersuchten die Häufigkeitsverteilung von Zahlengruppen in einer Zahl und ihre Abweichung von der absoluten Gleichverteilung. Damit hatten sie ein Mass für die Voraussagbarkeit der Zahlenfolge in der Hand.

Wenn beispielsweise in der Binärdarstellung einer Zahl die Ziffernfolge 0101 häufiger mit 0 als mit 1 fortgesetzt wird, dann gibt es bereits eine gewisse Struktur, die Vorhersagen erlaubt. Kalman und Pincus haben die approximative Entropie von einigen bekannten Zahlen wie pi, e und Wurzel2 berechnet und kamen zu einem merkwürdigen Ergebnis: pi nahm im Dezimalsystem den ersten Platz  ein, gefolgt von Wurzel2 und e. In der binären Darstellung ändert sich die Reihenfolge jedoch! pi und e sind gleichermassen komplex, und erst dann folgt Wurzel2.

Dass die Komplexität einer Zahl von der Darstellung abhängt, gibt zu denken und ist bis heute nicht verstanden. Möglich ist, dass die approximative Entropie ein Mass ist, das nicht viel weiterführt.

Andererseits betonen Pincus und Kalman, dass dieses Konzept nützlich sei, um beispielsweise im Herzschlag Abweichungen vom gesunden Mass an zufälligen Schwankungen aufzuspüren. Sie schlugen 1997 zahlreiche Anwendungen in Medizin und Technik vor und verteilten auch die Programme zur Berechnung der approximativen Entropie. Allerdings hat sich die approximative Entropie nicht so durchgesetzt, wie begeisterte Berichte in populärwissenschaftlichen Zeitschriften erwarten liessen. Jürgen Kurths, der als Physiker an der Universität Potsdam die nichtlinearen und chaotischen Anteile in Hirnströmen und Herzrhythmen analysiert, hält dies sogar für einen sehr einseitigen Zugang.

David Bailey und Richard Crandall arbeiten zurzeit daran, die chaotische Dynamik von pi mit der bestehenden Theorie zur Erzeugung von Pseudo-Zufallszahlen zusammenzubringen. Hier seien in Kürze einige neue Erkenntnisse zu erwarten, verspricht Bailey. Natürlich könne auch dieser Weg in eine Sackgasse führen, schränkt er ein; dennoch ist er optimistisch. Seine Arbeit hat immerhin eine neue Tür zu einem alten Problem geöffnet, und damit stehen auch die Werkzeuge der Chaostheorie plötzlich zur Verfügung.

Antonia Rötger 31. Oktober 2001


Denn Dariao Benedetto, Emanuele Caglioti und Vittorio Loreto von der Università degli Studi di Roma "La Sapienza" fanden heraus, dass sich das hilfreiche Programm bestens dazu eignet, den Informationsgehalt von Texten zu vergleichen. Dabei entspricht eine Zunahme an Information einer Abnahme der Entropie des Systems - hier eines Textes. Und genau diese Entropie liefert der Lempel-Ziv-Algorithmus (LZ77), welcher der ZIP-Software zugrunde liegt, auf denkbar einfach Weise: Denn die Länge der Zeichenfolge nach dem Komprimieren geteilt durch die ursprüngliche Länge strebt im Grenzwert für unendlich lange Textpassagen gegen den Wert ihrer Entropie.

http://www.data-compression.com/lempelziv.html


http://www.techfak.uni-kiel.de/matwis/amat/def_en/kap_2/basics/b2_1_8.html

Vagaries in the Statistical Definition of the Entropy

The statistical definition of the entropy appears in many forms; almost every textbook

finds its own version - and all versions are equally correct. You will always find the

definition

S = k · ln P

but the meaning of P may be quite different on a first glance. To give a few examples:

"P means the probability of a macrostate, where P in turn is proportional to the number of microstates accessible to the system contained within that macrostate".

(R.P. Baumann; Modern Thermodynamics with Statistical Mechanics, p. 337).

Note that a probability is a number <=1; S thus would be always negative.

P is the volume in phase space occupied by the system.

(Becker, Theorie der Wärme, S. 117)

Note that this looks like a number with a dimension!

P is the number of indistinguishable microstates belonging to one macrostate. That is the definition we used in the script. Note that this is a pure, and mostly very large number.

P is the probability for a macrostate, i.e. the number Pi of microstates belonging to a certain macrostate i divided by the sum over all possible Pi.

Note that P than is a pure number between 0 and 1

What is correct? The numerical value of S obviously could be very different depending on which definition one uses.

The answer, of course, is the old fact that in classical physics incl. thermodynamics  there is no absolute scale for energies (and entropy is a form of energy).  ?

We thus can always use a P* instead of P, defined by P* = P/P0 with P0 = arbitrary constant factor (that does not depend on the variables of the system under consideration). All that happens is that you add a constant factor to the entropy or free energy of a system; i.e. you change the zero point of the energy scale:

If we replace P by P*, we obtain for the entropy

S* = klnP* = kln(P/P0) = klnP - klnP0 = S - const,

and for the free enthalpy

G* = G -kT·lnP0 = G - const.

Moreover, since in practice most applications contain the derivative of S with respect to some variable x of the system, constant factors will disappear, i.e. dS*/dx = dS/dx.

In short, all definitions are equivalent and you don't have to worry about the additional constant factors that may appear. Feel free to use the definition that is most easily applied to the problem under consideration. If you like to worry, however, or noticed that there was a little disclaimer above, read on in the advanced section

Quantum Mechanical Concept of Entropy

As we have seen in the basic module, all kinds of definitions for the entropy are equivalent as long as some

undetermined constant is allowed. Using quantum theory however, an absolute definition of the entropy, or an

absolute zero point for entropy emerges.

Without going into details, what happens is:

The "phase space volume" definition for P is the most general choice. Since we have to have a pure number in

the ln, the volume that the system under consideration occupies in phase space must be divided by an

appropriate elementary unit of phase space. In classical physics, there is no way of uniquely defining that unit;

you are left with the ambiguity as discussed above.

Quantum theory, however, leaves only one choice for the elementary unit P0 of phase space volume for a

system with N particles:

P0 = h3N

with H = Plancks constant.

Entropy, it turns out, is a well defined quantity after all. But again, for most applications, especially concerning

defects, you do not have to worry about the finer points highlighted here.


http://www-mtl.mit.edu/Courses/6.095/notes/preface.html

Massachusetts Institute of Technology

Department of Electrical Engineering and Computer Science

Department of Mechanical Engineering

6.095 / 2.995

Information and Entropy

Notes

Preface

These notes, and the related freshman-level course, are about information. Although you may have a general notion of what

information is, and may have dealt with both precise and imprecise information, you may not have realized that the information

you deal with can be quantified. Yes, that's right, you can measure the amount of information in a variety of situations and state

general principles about how information behaves. We will consider applications to computation and to communications, and

we will also look at general laws in other fields of science and engineering.

One of these general laws is the Second Law of Thermodynamics. Although thermodynamics, a branch of physics, deals with

physical systems, the Second Law is approached here as an example of information processing in natural and engineered

systems. The Second Law may well be one of science's most glorious achievements, but as traditionally taught, through

physical systems and models such as ideal gases, it is difficult to appreciate at an elementary level. On the other hand, the form

of the Second Law that applies to computation and communications is more easily understood, especially today, as the

information revolution is getting under way.

In the context of thermodynamics, one type of information is known as "entropy." The title of these notes is therefore

"Information and Entropy."

These notes and the course based on them are intended for first-year university students. Although developed at the

Massachusetts Institute of Technology, a university that specializes in science and engineering, and one at which a full year of

calculus is required, no substantial use is made of calculus in these notes. Most examples are from discrete systems, not

continuous systems, so that sums and differences can be used instead of integrals and derivatives. Thus this course is accessible

to students who are not studying engineering or science. In fact, when combined with a similar one about energy, this course

could provide an excellent science background for liberal-arts majors.

The analogy between information and energy is interesting. In both high-school and first-year college physics courses, students

learn that there is a physical quantity known as energy which is conserved (it cannot be created or destroyed), but which can

appear in various forms (potential, kinetic, electric, chemical, etc.). Energy can exist in one region of space or another, can flow

from here to there, can be stored for later use, and can be converted from one form to another. In many ways the industrial

revolution was all about man's ability to harness energy for useful purposes. Scientific progress was made when it was noted

that energy was conserved -- despite its being moved, stored, and converted, at the end of the day there was still exactly the

same total amount of energy.

In the context of thermodynamics, this conservation of energy principle is known as the First Law. It has proven to be so

important and fundamental that whenever a "leak" was found, the theory was rescued by defining a new form of energy. One

example of this occurred in 1905 when Albert Einstein recognized that mass is a form of energy, as expressed by his famous

formula E = mc2. That understanding later enabled the development of devices (atomic bombs and nuclear power plants) that

convert energy from its form as mass to other forms.

The corresponding unified theory of information and entropy is not as well developed, for several historical reasons. Yet such a

theory is exactly what is needed to simplify the teaching of the concepts. The basic notions can be appreciated, even at the

freshman level, and applied to several domains.

These notes present such a unified view of information, in which entropy is one kind of information, and there are other kinds as

well. Like energy, information can reside in one place or another, it can be transmitted through space, and it can be stored for

later use. But unlike energy, information is inherently subjective, because it deals with what you know and what you don't know

(entropy, as one form of information, is also subjective -- this point makes some physicists uneasy). Also, information is not

conserved as is energy; the Second Law states that entropy never decreases as time goes on -- it generally increases and may

only in limiting cases remain constant.

The unified framework presented here has never been developed specifically for freshmen. It is not entirely consistent with

some conventional theories in the various disciplines, which were developed separately. In fact, we may not yet have it right.

One consequence of teaching at an elementary level is that unanswered questions close at hand are disturbing, and their

resolution demands new research into the fundamentals. Trying to explain things rigorously but simply often requires new

organizing principles and new approaches. In the present case, the new approach is to start with information and work from

there to entropy, and the new organizing principle is the unified theory of information.

This will be an exciting journey. Welcome aboard!

URL of this page: http://www-mtl.mit.edu/Courses/6.095/notes/preface.html

Author: Paul Penfield, Jr. | Created: Sep 11, 1999 | Modified: Feb 2, 2001

Notes | Site map | 6.095 / 2.995 home page | Your comments and inquiries are welcome.

What is Entropy?

Entropy is information we don't have.

Entropy is therefore subjective.

Traditionally, entropy is a property of physical systems.

Avogadro's number = 6 x 10^23

With that many atoms there is lots of information you don't have.

So entropy is not very subjective (knowledge is only a few bits).

But things are changing.

Today we can manipulate bits with only a few atoms.

Semiconductor devices are pushing the quantum limits.

Note: Entropy is not the monotonic quantity in the Second Law of Thermodynamics.

Information is.

Entropy is only the information we don't have.

You can design information converters.

. . . quantum computers, Maxwell's Demon, measurements,

even steam engines . . .


http://pespmc1.vub.ac.be/ENTRTHER.HTML

There are at least three ways of defining entropy:

in terms of thermodynamics (the science of heat), where the names of Mayer, Joule, Carnot, and Clausius (1865) are important;

in terms of statistical theory, which fosters the equivalence of entropy and disorder -- as a result of the work of Maxwell, Gibbs, and Boltzmann (1875), and

in terms of information theory, which demonstrates the equivalence of negentropy (the opposite of entropy) and information -- as a result of the work of Szilard, Gabor, Rothstein, and Brillouin (1940-1950)

==> hier taucht wieder der Gegensatz zwischen Entropie und Information auf . Außerdem der Begriff Negentropie

Entropy and the Laws of Thermodynamics

The principal energy laws that govern every organization are derived from two famous laws of thermodynamics. The second law, known as Carnot's principle, is controlled by the concept of entropy.

Today the word entropy is as much a part of the language of the physical sciences as it is of the human sciences. Unfortunately, physicists, engineers, and sociologists use indiscriminately a number of terms that they take to be synonymous with entropy, such as disorder, probability, noise, random mixture, heat; or they use terms they consider synonymous with antientropy, such as information, neguentropy, complexity, organization, order, improbability.

There are at least three ways of defining entropy:

The two principal laws of thermodynamics apply only to closed systems, that is, entities with which there can be no exchange of energy, information, or material. The universe in its totality might be considered a closed system of this type; this would allow the two laws to be applied to it.

The first law of thermodynamics says that the total quantity of energy in the universe remains constant. This is the principle of the conservation of energy. The second law of thermodynamics states that the quality of this energy is degraded irreversibly. This is the principle of the degradation of energy.

The first principle establishes the equivalence of the different forms of energy (radiant, chemical, physical, electrical, and thermal), the possibility of transformation from one form to another, and the laws that govern these transformations. This first principle considers heat and energy as two magnitudes of the same physical nature

About 1850 the studies of Lord Kelvin, Carnot, and Clausius of the  exchanges of energy in thermal machines revealed that there is a hierarchy among the various forms of energy and an imbalance in their transformations. This hierarchy and this imbalance are the basis of the formulation of the second principle.

In fact physical, chemical, and electrical energy can be completely changed into heat. But the reverse (heat into physical energy, for example) cannot be fully accomplished without outside help or without an inevitable loss of energy in the form of irretrievable heat. This does not mean that the energy is destroyed; it means that it becomes unavailable for producing work. The irreversible increase of this nondisposable energy in the universe is measured by the abstract dimension that Clausius in 1865 called entropy (from the Greek entrope, change).

The concept of entropy is particularly abstract and by the same token difficult to present. Yet some scientists consider it intuitively; they need only refer mentally to actual states such as disorder, waste, and the loss of time or information. But how can degraded energy, or its hierarchy, or the process of degradation be truly represented?

There seems to be a contradiction between the first and second principles. One says that heat and energy are two dimensions of the same nature; the other says they are not, since potential energy is  degraded irreversibly to an inferior, less noble, lower-quality form--heat. Statistical theory provides the answer. Heat is energy; it is kinetic energy that results from the movement of molecules in a gas or the vibration of atoms in a solid. In the form of heat this energy is reduced to a state of maximum disorder in which each individual movement is neutralized by statistical laws.

Potential energy, then, is organized energy; heat is disorganized energy. And maximum disorder is entropy. The mass movement of molecules (in a gas, for example) will produce work (drive a piston). But where motion is ineffective on the spot and headed in all directions at the same time, energy will be present but ineffective. One might say that the sum of all the quantities of heat lost in the course of all the activities that have taken place in the universe measures the accumulation of entropy.

One can generalise further. Thanks to the mathematical relation between disorder and probability, it is possible to speak of evolution  toward an increase in entropy by using one or the other of two statements: "left to itself, an isolated system tends toward a state of maximum disorder" or "left to itself, an isolated system tends toward a state of higher probability." These equivalent expressions can be summarized:

The concepts of entropy and irreversibility, derived from the second principle, have had a tremendous impact on our view of the universe. In breaking the vicious circle of repetitiveness in which the ancients were trapped, and in being confronted with biological evolution generating order and organization, the concept of entropy indirectly opens the way to a philosophy of progress and development (see: the direction of evolution). At the same time it introduces the complementarity between the "two great drifts of the universe" described in the works of Bergson and Teilhard de Chardin.

The image of the inexorable death of the universe, as suggested by the second principle, has profoundly influenced our philosophy, our ethics, our vision of the world, and even our art. The thought that by the very nature of entropy the ultimate and only possible future for man is annihilation has infiltrated our culture like a paralysis. This consideration led Leon Brillouin to ask, "How is it possible to understand life when the entire world is ordered by a law such as the second principle of thermodynamics, which points to death and annihilation?"

See also:

The Principle of Asymmetric Transitions, entropy and energy  

C. Joslyn: "Semantics of Entropy" (tex).

PRNCYB-L discussions on: Entropy & Evolution

Entropy and Information Theory on the Web

PCP Web Dictionary of Systems and cybernetics:

ENTROPY

NEGENTROPY

SOCIAL ENTROPY

STATISTICAL ENTROPY

THERMODYNAMIC ENTROPY

FIRST LAW OF THERMODYNAMICS

SECOND LAW OF THERMODYNAMICS

THERMODYNAMICS

THIRD LAW OF THERMODYNAMICS

Entropy: primer and historical notes by F.H. George

ENTROPY: an electronic journal of entropy and information

studies


http://www.ldolphin.org/entropynotes.html

Entropy: Primer and Historical Notes

{en'-troh-pee}

Entropy is the scientific term for the degree of randomness or disorder in processes and systems. In the physical sciences the

concept of entropy is central to the descriptions of the THERMODYNAMICS, or heat-transfer properties, of molecules, heat

engines, and even the universe as a whole. It is also useful in such diverse fields as communications theory and the social and

life sciences.

Entropy was first defined by the German physicist Rudolf CLAUSIUS in 1865, based in part on earlier work by Sadi Carnot

and Lord Kelvin. Clausius found that even for "perfect," or completely reversible, exchanges of heat energy between systems

of matter, an inevitable loss of useful energy results. He called this loss an increase in entropy and defined the increase as the

amount of heat transfer divided by the absolute temperature at which the process takes place. Because few real processes are

truly reversible, actual entropy increases are even greater than this quantity. This principle is one of the basic laws of nature,

known as the Second Law of Thermodynamics.

The First Law of Thermodynamics states that energy is conserved; no process may continuously release more energy than it

takes in, or have an efficiency greater than 100%. The Second Law is even more restrictive, implying that all processes must

operate at less than 100% efficiency due to the inevitable entropy rise from the rejection of waste heat. For example, large

coal-fired electric power plants inevitably waste about 67% of the energy content of the coal. Other heat engines, such as the

automobile engine and the human body, are even less efficient, wasting about 80% of available energy. An imaginary

PERPETUAL MOTION MACHINE would have to defy these laws of nature in order to function. Such a machine, having its

own output as its only energy source, would have to be 100% efficient to remain in operation. Friction always makes this

impossible, for it converts some of the energy to waste heat.

Another manifestation of entropy is the tendency of systems to move toward greater confusion and disorder as time passes.

Natural processes move toward equilibrium and homogeneity rather than toward ordered states. For example, a cube of sugar

dissolved in coffee does not naturally reassemble as a cube, and perfume molecules in the air do not naturally gather again into

a perfume bottle. Similarly, chemical reactions are naturally favored in which the products contain a greater amount of disorder

(entropy) than the reactants. An example is the combustion of a common fuel. Such reactions will not spontaneously reverse

themselves. This tendency toward disorder gives a temporal direction--the "arrow of time"--to natural events.

A consequence of nature's continual entropy rise may be the eventual degrading of all useful energy in the universe. Physicists

theorize that the universe might eventually reach a temperature equilibrium in which disorder is at a maximum and useful energy

sources no longer exist to support life or even motion. This "heat death of the universe" would be possible only if the universe is

physically bounded and is governed as a whole by the same laws of thermodynamics observed on earth.

The concept of entropy also plays an important part in the modern discipline of INFORMATION THEORY, in which it

denotes the tendency of communications to become confused by noise or static. The American mathematician Claude E.

SHANNON first used the term for this purpose in 1948. An example of this is the practice of photocopying materials. As such

materials are repeatedly copied and recopied, their information is continually degraded until they become unintelligible.

Whispered rumors undergo a similar garbling, which might be described as psychological entropy. Such degradation also

occurs in telecommunications and recorded music. To reduce this entropy rise, the information may be digitally encoded as

strings of zeros and ones, which are recognizable even under high "noise" levels, that is, in the presence of additional, unwanted

signals.

The onset and evolutionary development of life and civilization on Earth appears to some observers to be in conflict with the

Second Law's requirement that entropy can never decrease. Others respond that the Earth is not a closed system, because it

receives useful energy from the Sun, and that the Second Law allows for local entropy decreases as long as these are offset by

greater entropy gains elsewhere. For example, although entropy decreases inside an operating refrigerator, the waste heat

rejected by the refrigerator causes an overall entropy rise in the kitchen. Life on Earth may represent a local entropy decrease

in a universe where the total entropy always rises. Ongoing work by the Belgian chemist Ilya PRIGOGINE and others is aimed

at broadening the scope or traditional thermodynamics to include living organisms and even social systems.

Gary Settles

Bibliography: Carnap, Rudolf, Two Essays on Entropy, ed. by Abner Shimony (1978); Faber, M., and Niemes, H., Entropy,

Environment, and Resources (1987); Fenn, John B., Engines, Energy and Entropy: A Thermodynamics Primer (1982);

Kubat, D., Entropy and Information in Science and Philosophy (1975); Rifkin, Jeremy, and Howard, Ted, Entropy: A

New World View (1980).

Thermodynamics is the branch of the physical sciences that studies the transfer of heat and the interconversion of heat and

work in various physical and chemical processes. The word thermodynamics is derived from the Greek words thermos (heat)

and dynamis (power). The study of thermodynamics is central to both chemistry and physics and is becoming increasingly

important in understanding biological and geological processes. There are several subdisciplines within this blend of chemistry

and physics. These include: classical thermodynamics, which considers the transfer of energy and work in macroscopic

systems--that is, without any consideration of the nature of the forces and interactions between individual (microscopic)

particles; statistical thermodynamics, which considers microscopic behavior, describing energy relationships on the statistical

behavior of large groups of individual atoms or molecules and relying heavily on the mathematical implications of quantum

theory; and chemical thermodynamics, which focuses on energy transfer during chemical reactions and the work done by

chemical systems (see PHYSICAL CHEMISTRY). Thermodynamics is limited in its scope. It emphasizes the initial and the

final state of a system (the system being all of the components that interact) and the path, or manner, by which the change takes

place, but it provides no information concerning either the speed of the change or what occurs at the atomic and molecular

levels during the course of the change.

Development of Thermodynamics

The early studies of thermodynamics were motivated by the desire to derive useful work from heat energy. The first reaction

turbine was described by Hero (or Heron) of Alexandria (AD c.120); it consisted of a pivoted copper sphere fitted with two

bent nozzles and partially filled with water. When the sphere was heated over a fire, steam would escape from the nozzles and

the sphere would rotate. The device was not designed to do useful work but was instead a curiosity, and the nature of HEAT

AND HEAT TRANSFER at that time remained mere speculation. The changes that occur when substances burn were initially

accounted for, in the late 17th century, by proposing the existence of an invisible material substance called PHLOGISTON,

which was supposedly lost when combustion took place.

In 1789, Antoine LAVOISIER prepared oxygen from mercuric oxide; in doing so he demonstrated the law of conservation of

mass and thus overthrew the phlogiston theory. Lavoisier proposed that heat, which he called caloric, was an element,

probably a weightless fluid surrounding the atoms of substances, and that this fluid could be removed during the course of a

reaction. The observation that heat flowed from warmer to colder bodies when such bodies were placed in thermal contact

was explained by proposing that particles of caloric repelled one another. Somewhat simultaneous to these chemical advances,

the actual conversion of heat to useful work was progressing as well. At the end of the 17th century Thomas Savery invented a

machine to pump water from a well, using steam and a system of tanks and hand-operated valves. Savery's pump is generally

hailed as the first practical application of steam power. Thomas Newcomen developed Savery's invention into the first piston

engine in 1712. The design of the steam-powered piston engine was further refined by James WATT during the last quarter of

the 18th century.

Mechanical Equivalent of Heat

The downfall of the caloric theory was initiated by Sir Benjamin Thompson, Count Rumford. After spending his early years in

America and England, Thompson became a minister of war and minister of police in Bavaria. In 1798, while overseeing the

boring of cannon at the Munich Arsenal, Thompson noted that an apparently inexhaustible amount of heat was produced during

the procedure. By having the cannon bored underwater, he found that a given quantity of water always required the same

amount of time to come to a boil. If the caloric theory were correct, there would come a time when all of the caloric had been

removed from the atoms of the cannon and no more heat would appear. Instead, Thompson interpreted his results as a

demonstration that work was being converted into heat, just as the steam engines of his time converted heat into work. In

1799, Sir Humphry DAVY demonstrated that pieces of ice melt more rapidly when rubbed together, even in a vacuum. This

provided additional support to the idea that work could be converted into heat. A precise determination of the mechanical

equivalent of heat was reported in 1849 by James JOULE. With the use of very precise homemade thermometers, Joule found

that by stirring water (mechanical work input), its temperature was increased (heat output). His conversion factor of 0.241

calories of heat energy equaling one joule of work was based on the observation that to generate one calorie of heat, a 1-kg

weight must fall through a distance of 42.4 cm (the work performed by the falling weight was used to mechanically stir the

water). Joule also electrically heated gases and measured the resulting pressure changes; he found similar results here on the

interconversion of work and heat.

The First Law of Thermodynamics

The findings of Joule and others led Rudolf CLAUSIUS, a German physicist, to state in 1850 that "In any process, energy can

be changed from one form to another (including heat and work), but it is never created or destroyed." This is the first law of

thermodynamics. An adequate mathematical statement of this first law is delta E = q - w, where delta E is the change (delta) in

internal energy (E ) of the system, q is the heat added to the system (a negative value if heat is taken away), and w is work

done by the system. In thermodynamic terms, a system is defined as a part of the total universe that is isolated from the rest of

the universe by definite boundaries, such as the coffee in a covered Styrofoam cup; a closed room; a cylinder in an engine; or

the human body. The internal energy, E, of such a system is a state function; this means that E is dependent only on the state of

the system at a given time, and not on how the state was achieved. If the system considered is a chemical system of fixed

volume--for example, a substance in a sealed bulb--the system cannot do work (w) in the traditional sense, as could a piston

expanding against an external pressure. If no other type of work (such as electrical) is done on or by the system, then an

increase in internal energy is equal to the amount of heat absorbed at constant volume (the volume of the system remains

constant throughout the process). If the heat is absorbed at constant pressure instead of constant volume (which can occur to

any unenclosed system), the increase in the energy of the system is represented by the state function, H, which is closely related

to the internal energy. Changes in H (heat content) are called changes in ENTHALPY. In 1840, before Joule had made his

determinations of the mechanical equivalent of heat, Germain Henri Hess reported the results of experiments that indicated that

the heat evolved or absorbed in a given chemical reaction (delta H) is independent of the particular manner (or path) in which

the reaction takes place. This generalization is now known as HESS'S LAW and is one of the basic postulates of

THERMOCHEMISTRY.

The Second Law of Thermodynamics

The steam engine developed by James Watt in 1769 was a type of heat engine, a device that withdraws heat from a heat

source, converts some of this heat into useful work, and transfers the remainder of the heat to a cooler reservoir. A major

advance in the understanding of the heat engine was provided in 1824 by N. L. Sadi Carnot, a French engineer, in his

discussion of the cyclic nature of the heat engine. This theoretical approach is known as the CARNOT CYCLE. A result of the

analysis of the heat engine in terms of the Carnot cycle is the second law of thermodynamics, which may be stated in a variety

of ways. According to Rudolf Clausius, "It is impossible for a self- acting machine, unaided by external agency, to convey heat

from a body at one temperature to another body at a higher temperature." William Thomson (Lord KELVIN), a British

thermodynamicist, proposed that "it is impossible by a cyclic process to take heat from a reservoir and convert it into work

without, in the same operation, transferring heat from a hot to a cold reservoir."

Entropy

The second law of thermodynamics leads to a new state function S, the ENTROPY of a system. The increase in the entropy of

a system when heat is added to it must be at least q/T, where q is the added heat and T is the absolute temperature. If the heat

is added in an idealized (reversible) process, delta S = q/T, but for real (irreversible) processes, the entropy change is always

greater than this value. Ludwig BOLTZMANN, an Austrian physicist, demonstrated the significance of entropy on the

molecular level in 1877, relating entropy to disorder. J. Willard GIBBS, an American mathematical physicist, referred to

entropy as a measure of the "mixed-upedness" of the system.

The second law of thermodynamics may also be stated in terms of entropy: in a spontaneous irreversible process, the total

entropy of the system and its surroundings always increases; for any process, the total entropy of a system and its surroundings

never decreases.

The Third Law of Thermodynamics

Entropy as a measure of disorder is a function of temperature, increasing temperature resulting in an increase in entropy

(positive delta S). The third law of thermodynamics considers perfect order, and it states that the entropy of a perfect crystal is

zero only at ABSOLUTE ZERO . This reference point allows absolute entropy values to be expressed for compounds at

temperatures above absolute zero.

Equilibrium and Free Energy

While thermodynamics does not deal with the speed of a chemical reaction, the driving force (or spontaneity) of a chemical

reaction is a thermodynamic consideration. A reaction is said to be spontaneous if the reactants and the products of a chemical

reaction are mixed together under carefully specified conditions and the quantity of the products increases while the quantity of

reactants decreases. The spontaneity (or, less precisely, the direction) of a chemical reaction may be predicted by an evaluation

of thermodynamic functions. Marcellin Berthelot, a French thermodynamicist, and Julius Thomsen, a Danish thermodynamicist,

proposed in 1878 that every chemical change proceeds in such a direction that it will produce the most heat; in other words, all

spontaneous reactions are those that result in a decrease in enthalpy, H, and are thus exothermic. This statement is incorrect,

for many exceptions are known in which chemical reactions are spontaneous (proceed to more products than reactants) even

though they are endothermic reactions (result in an increase in enthalpy).

The Gibbs Free Energy Function

Chemical reactions always occur in a direction (at constant temperature and pressure) that results in a decrease in the free

energy of the system. The free energy of the system, G, is also a state function. (Several years ago free energy was designated

by the symbol F, but it is now called Gibbs free energy for its discoverer, J. Willard Gibbs, and is given the symbol G.) The

free energy is defined by G = H - TS; and, at constant temperature, delta G = delta H - T delta S. A reaction is spontaneous if

delta G is negative, that is, if the reaction proceeds to a state of lower free energy. A negative delta G may be the result of a

negative delta H (an exothermic reaction) and/or a positive T delta S (the absolute temperature multiplied by a positive delta

S), indicative of an increase in entropy (or disorder) of the system. Spontaneous chemical reactions will continue until the

minimum of free energy for the system is reached, so that, with reference to further reaction, delta G = 0. At this point a

dynamic equilibrium is reached in the system (see CHEMICAL EQUILIBRIUM AND KINETICS). As long as the reaction

conditions remain unchanged, no macroscopic change will be noted in the system; there will be no further change in the

amounts of reactants and products even though, microscopically, the chemical reactions continue, because the reactants are

being formed at the same rate as the products. Equilibrium, in a thermodynamic sense, is defined by delta G = 0.

Oxidation-Reduction Reactions

An efficient conversion of energy into work is accomplished by electrochemical cells (see ELECTROCHEMISTRY). An

OXIDATION-REDUCTION REACTION takes place spontaneously in such an arrangement that the free energy released is

converted into electrical energy. Nonspontaneous oxidation-reduction reactions (reactions with a positive value of delta G) can

be caused to occur by doing work on the system by means of an external energy source (usually a DC electrical power

supply). This process, which causes oxidation-reduction reactions to proceed in the reverse direction from that which would

have been spontaneous, is called ELECTROLYSIS and was developed by Michael FARADAY in 1833. Changes in State

Thermodynamics also studies changes in physical state, such as solid ice becoming liquid water. At temperatures above 0 deg

C and at atmospheric pressure, ice spontaneously melts, an endothermic reaction (positive delta H) that is driven by a positive

delta S; that is, liquid water is much more disordered than solid water. At 0 deg C and atmospheric pressure, solid ice and

liquid water exist in PHASE EQUILIBRIUM (delta G = 0).

In 1876, Gibbs established a relationship between the number of phases present in a system, the number of components, and

the number of degrees of freedom (the number of variables such as temperature and pressure), the values of which must be

specified in order to characterize the system. A phase may be considered a homogeneous region of matter separated from

other homogeneous regions by phase boundaries. For a pure substance, three phases are generally considered: solid, liquid,

and vapor. Other types of phases exist, such as the two solid crystalline forms of carbon (graphite and diamond), and the

ionized gaseous phase of matter known as plasma (see PLASMA PHYSICS). If a sample of a pure substance is a solid, and

heat (q) is added to the substance, the temperature (T) will increase, indicating an increase in the heat content (H). The

temperature of the solid will continue to increase until the solid begins to melt, at which point the two phases, solid and liquid,

coexist in equilibrium (delta G = 0). This is the melting point and is reported at atmospheric pressure. The heat necessary to

convert one mole of a solid substance into one mole of its liquid form is the molar heat of fusion. After the solid has been

converted to liquid, additional input of heat into the system will cause an increase in temperature until the liquid and the gaseous

form of the substance coexist in equilibrium at atmospheric pressure. This temperature is called the boiling point. The heat

necessary to convert one mole of a liquid substance into one mole of its gaseous form is the molar heat of vaporization. There is

one set of conditions (temperature and pressure, in the above example) at which the solid, liquid, and gas may coexist in

equilibrium; this is called the triple point. (See also CRITICAL CONSTANTS.) A liquid-gas equilibrium may exist at a number

of different temperatures. In 1834, the French engineer B. P. E. Clapeyron carried out studies on liquids and gases; these

studies were later refined by Clausius. The relationship between the equilibrium vapor pressures of a liquid, its temperature, and

its molar heat of vaporization is called the Clausius-Clapeyron equation.

Equation of State

Experimental measurements on solids, liquids, and gases have indicated that the volume (V) occupied by a substance is

dependent on the absolute temperature (T ), the pressure (P), and the amount of the substance, usually expressed in moles (n).

If three of these properties are known, the fourth is fixed by a relationship called an equation of state. The equation of state for

a gas is PV = nRT, where R is a proportionality constant in appropriate units (see GAS LAWS). Gases that obey this equation

are called ideal gases. The equation is obeyed by real systems when the distances between the particles of the gas are large

(high V and T, low P and n). Under this condition the volume occupied by the gas molecules or atoms is small compared to the

total volume, and the attractive and repulsive forces between the atoms and molecules are negligible. Real gases (as opposed

to ideal gases) frequently show deviations from ideal behavior; in 1873, Johannes D. van der Waals proposed a modification of

this equation to correct for nonideal behavior. An extreme would be that the product of the pressure and the volume of the gas

is predicted to be zero at absolute zero. In reality, of course, any gas will liquefy at low temperature, and the equation of state

of a gas would no longer apply. The nonideal behavior of gases has an important thermodynamic consequence. If an ideal gas

is allowed to pass through an orifice from a region of higher pressure to one of lower pressure, no heat is evolved or absorbed,

no change in internal energy has taken place, and therefore there is no change in temperature. Real gases, however, behave

differently. All real gases, except for hydrogen and helium, cool when expanded in this fashion. If no heat is transferred (an

ADIABATIC PROCESS, or one in which q = 0), the internal energy of the system decreases because of the work done by

the system in decreasing the attractive forces between the gas molecules. This phenomenon is called the Joule- Thomson effect

and has significance in such areas as refrigeration, the liquefaction of gases, and artificial snow production.

Perpetual Motion Machines and Heat Engines

PERPETUAL MOTION MACHINES are devices that would create energy out of nothing; such devices have been sought

unsuccessfully for centuries. The impossibility of constructing a perpetual motion machine actually was an early basis for

verification of the first law of thermodynamics, which states that heat and work may be interconverted. It also states the

impossibility of creating a machine that, once set in motion, will continuously produce more useful work or energy than it

consumes. This type of machine, in violation of the first law, is called a perpetual motion machine of the first kind. Another kind

of perpetual motion machine is one that would be 100% efficient at converting heat into work and could, for example, extract

heat from ocean waters to run the boilers of an ocean vessel, and returning the water to the ocean. This would involve

transferring heat from a reservoir of lower temperature to one at a higher temperature without work being done on the system.

Such a device is called a perpetual motion machine of the second kind and is forbidden by the second law of thermodynamics.

A perpetual motion machine, if it could be built, would be the ultimate heat engine.

The Ultimate Source of Energy

The first law of thermodynamics has been called the law of conservation of energy. Lavoisier stated also the law of

conservation of mass at the end of the 18th century. Relativity physics has demonstrated that the real conservation law is one

combined of these two, and that matter and energy may be interconverted according to Einstein's equation E = mcc, where E is

energy in ergs, m is the mass in grams, and c is the speed of light in centimeters per second. All energy ultimately originates

from the conversion of mass into energy. In the burning of gasoline, the mass of the combustion products is slightly less than the

mass of the reactants by an amount precisely proportional to the amount of energy (heat) produced.

Some of this heat may be converted into useful work and some must be lost. Nuclear power uses nuclear reactions as a source

of heat to power heat engines (turbines), which convert this heat energy into other energy forms (for example, electricity). In

nuclear reactions, substantially more mass is converted into energy; thus, far less fuel is required to provide an equivalent

amount of energy. As always, the goal of the thermodynamicist is to convert efficiently this heat into work. Statistical

Thermodynamics The major concern of thermodynamics is the state functions and the properties of the macroscopic system.

Statistical thermodynamics deals with the distribution of the various atoms and molecules that make up the system and with the

energy levels of these particles. The second law of thermodynamics on the atomic and molecular level is a statistical law; it

expresses a tendency toward randomness and disorder in a system having a large number of particles. Statistical

thermodynamics uses probability functions and complex mathematical methods to express thermodynamic functions in accord

with the KINETIC THEORY OF MATTER.

Norman V. Duffy

Bibliography: Adkins, Clement J., Equilibrium Thermodynamics , 3d ed. (1984); Andrews, Frank C., Thermodynamics:

Principles and Applications (1971); Dickerson, Richard E., et al., Chemical Principles (1974); Fermi, Enrico,

Thermodynamics (1937); Hatsopoulos, George N., and Keenan, Joseph H., Principles of General Thermodynamics

(1965; repr. 1981); Haywood, R. W., Equilibrium Thermodynamics (1980; repr. 1990); Johnston, R. M., et. al., Elements

of Applied Thermodynamics, 5th ed. (1992); Moore, Walter J., Basic Physical Chemistry (1983); Mott-Smith, Morton,

The Concept of Energy Simply Explained (1934); Rolle, K. A., Introduction to Thermodynamics, 2d ed. (1980);

Sonntag, Richard E., and Van Wylen, Gordan J., Introduction to Thermodynamics, 2d ed. (1982); Sussman, M. V.,

Elementary General Thermodynamics (1972); Zemansky, Mark W., and Dittman, Richard, Heat and Thermodynamics,

6th ed. (1981).

Information Theory

Information theory, also called the theory of communication, is a branch of PROBABILITY theory that has been developed to

provide a measure of the flow of information from an information source to a destination. It also supplies a measure of the

channel capacity of a communications medium such as a telephone wire and shows the optimal coding procedures for

communication. Although originally concerned with telephone networks, the theory has a wider application to any

communication process, even as simple as one human being talking to another. It may also be viewed as a branch of

CYBERNETICS, the science of control and communication, and it has strong associations with control engineering, theories of

learning, and the physiology of the nervous system.

Information theory was developed to a great extent at the Bell Telephone Company laboratories in New Jersey under the

auspices of Claude SHANNON in the 1940s and '50s. Many other versions of the theory have been suggested, notably by D.

M. MacKay and Dennis GABOR.

Principles

The principal features involved in information theory are a source of information that is encoded and transmitted on a channel to

a receiver, where it is decoded.

There are two versions of information theory, one for continuous and the other for discrete information systems. The first theory

is concerned with the wavelength, amplitude, and frequency of communications signals, and the second with the stochastic

(random) processes associated with the theory of AUTOMATA. The discrete theory applies to a larger range of applications

and was developed for both noiseless and noisy channels. A noisy channel contains unwanted signals and requires a filter to

take a copy of the transmitted message and compare it to the message received.

Entropy--the Measure of Information

(For a discussion of the Shannon-Weaver measure of information, see this article in the Academic American Encyclopedia.)

Channel Capacity

The measure of the channel capacity of an information system is best illustrated where the probabilities again are equal. Given a

set of 16 carriers, A, B . . . , P, each carrying 4 bits of information, then the channel capacity is 4n bits per second, where the

channel is capable of transmitting n symbols per second; this becomes slightly more complicated when the probabilities are not

all the same. The encoding of messages now requires a suitable procedure. It requires punctuation, as in the case of a "pause"

in Morse code, or alternatively, all the words must be of fixed length. Furthermore, to achieve an optimal code, there are

certain procedures that are all based on the principle that the most frequently occurring words (or letters) should be coded with

the symbol of shortest duration. Thus e (the most frequently occurring letter in English) would be 1 in binary code, whereas the

letter x might be 26 (11010 in binary).

Applications

More complicated theorems for continuous and discrete systems, with or without noise, make up the mathematical theory of

information. The discrete theory can generate letter sequences and word sequences that can approximate ordinary English. A

Markov net is a stochastic process that deals with conditional probabilities. For example, the probability of q being followed by

u in an English word is very nearly 1 (certainty); one can also work out the probabilities for all letters and all words: for

instance, the probability of the being followed by the is very nearly 0 (impossible). Information theory is thus an important tool

in the analysis of language or of any sequence of events--and its encoding, transmission, reception, and decoding. Such

methods have been used to describe learning from the point of view of the learner, where the source is one where some pattern

of events occurs (in the case of human learning, this is often nature or life).

The theory of information has also been used in some models of the brain, where thoughts and beliefs (some configuration of

neurons) are the source; they are encoded in neural language, translated into a natural language such as English, and decoded

by the hearer into his or her own thoughts. There is also a semantic of information, so far little developed, which deals with

meaning, as opposed to uncertainty of information.

F. H. George

Bibliography: Ash, R. B., Information Theory (1965); Bendat, Julius S., Principles and Applications of Random Noise

Theory (1958; repr. 1978); Clark, F., Information Processing (1970); Guiascu, Silviu, Information Theory with New

Applications (1977); Haber, Fred, An Introduction to Information and Communication Theory (1974); Kullback,

Solomon, Information Theory and Statistics (1974); Littlejohn, Stephen, Theories of Human Communication (1978);

MacKay, Donald, Information, Mechanism and Meaning (1970); Meetham, A. R., Encyclopedia of Linguistics,

Information and Control (1969);


http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html

Shuffled Cards, Messy Desks, and Disorderly Dorm

Rooms - Examples of Entropy Increase? Nonsense!

Frank L. Lambert

2834 Lewis Dr., La Verne, CA 91750

The order of presentation in this article is unusual; its conclusion is

first. This is done because the title entails text and lecture examples

so familiar to all teachers that most may find a preliminary

discussion redundant.

Conclusion

The dealer shuffling cards in Monte Carlo or Las Vegas, the

professor who mixes the papers and books on a desk, the student

who tosses clothing about his or her room, the fuel for the huge

cranes and trucks that would be necessary to move the nonbonded

stones of the Great Pyramid of Cheops all across Egypteach

undergoes physical, thermodynamic entropy increase in these

specific processes. The thermodynamic entropy change from

human-defined order to disorder in the giant Egyptian stones

themselves, in the clothing and books in a room or papers on a

desk, and in the millions of cards in the world's casinos is precisely

the same: Zero.

K. G. Denbigh succinctly summarizes the case against identifying

changes in position in one macro object or in a group with physical

entropy change (1):

If one wishes to substantiate a claim or a guess that some

particular process involves a change of thermodynamic or

statistical entropy, one should ask oneself whether there exists

a reversible heat effect, or a change in the number of

accessible energy eigenstates, pertaining to the process in

question. If not, there has been no change of physical entropy

(even though there may have been some change in our

"information").

Thus, simply changing the location of everyday macro objects from

an arrangement that we commonly judge as orderly (relatively

singular) to one that appears disorderly (relatively probable) is a

"zero change" in the thermodynamic entropy of the objects because

the number of accessible energetic microstates in any of them has

not been changed. Finally, although it may appear obvious, a

collection of ordinary macro things does not constitute a

thermodynamic system as does a group of microparticles. The

crucial difference is that such things are not ceaselessly colliding

and exchanging energy under the thermal dominance of their

environment as are microparticles.

A postulate can be derived from this fundamental criterion:

The movement of macro objects from one location to another

by an external agent involves no change in the objects'

physical (thermodynamic) entropy. The agent of movement

undergoes a thermodynamic entropy increase in the process.

A needed corollary, considering the number of erroneous

statements in print, is:

There is no spontaneous tendency in groups of macro objects

to become disorderly or randomly scattered. The tendency in

nature toward increased entropy does not reside in the

arrangement of any chemically unchanging objects but rather

in the external agent moving them. It is the sole cause of their

transport toward more probable locations.

The Error

There is no more widespread error in chemistry and physics texts

than the identification of a thermodynamic entropy increase with a

change in the pattern of a group of macro objects. The classic

example is that of playing cards. Shuffling a new deck is widely

said to result in an increase in entropy in the cards.

This erroneous impression is often extended to all kinds of things

when they are changed from humanly designated order to what is

commonly considered disorder: a group of marbles to scattered

marbles, racked billiard balls to a broken rack, neat groups of

papers on a desk to the more usual disarray. In fact, there is no

thermodynamic entropy change in the objects in the "after" state

compared to the "before". Further, such alterations in arrangement

have been used in at least one text to support a "law" that is stated,

"things move spontaneously in the direction of maximum chaos or

disorder".1

The foregoing examples and "law" seriously mislead the student by

focusing on macro objects that are only a passive part of a system.

They are deceptive in omitting the agent that actually is changed in

entropy as it follows the second lawthat is, whatever energy source

is involved in the process of moving the static macro objects to

more probable random locations. Entropy is increased in the

shuffler's and in the billiard cue holder's muscles, in the tornado's

wind and the earthquake's stressnot in the objects shifted.

Chemically unchanged macro things do not spontaneously, by

some innate tendency, leap or even slowly lurch toward visible

disorder. Energy concentrated in the ATP of a person's muscles or

in wind or in earth-stress is ultimately responsible for moving

objects and is partly degraded to diffuse thermal energy as a result.

Discussion

To discover the origin of this text and lecture error, a brief review

of some aspects of physical entropy is useful. Of course, the

original definition of Clausius, dS = Dq(rev)/T, applies to a system

plus its surroundings, and the Gibbsian relation of

pertains to a system at constant pressure and constant temperature.

Only in the present discussion (where an unfortunate term,

information "entropy", must be dealt with) would it be necessary to

emphasize that temperature is integral to any physical

thermodynamic entropy change described via Clausius or Gibbs. In

our era we are surer even than they could be that temperature is

indispensable in understanding thermodynamic entropy because it

indicates the thermal environment of microparticles in a system.

That environment sustains the intermolecular motions whereby

molecules continuously interchange energy and are able to access

the wide range of energetic microstates available to them. It is this

ever-present thermal motion that makes spontaneous change

possible, even at constant temperature and in the absence of

chemical reaction, because it is the mechanism whereby molecules

can occupy new energetic microstates if the boundaries of a system

are altered. Prime examples of such spontaneous change are

diffusion in fluids and the expansion of gases into vacua, both

fundamentally due to the additional translational energetic

microstates in the enlarged systems. (Of course, spontaneous

endothermic processes ranging from phase changes to chemical

reactions are also due to mobile energy-transferring microparticles

that can access new rotational and vibrational as well as

translational energetic microstatesin the thermal surroundings as

well as in the chemical system.)

Misinterpretation of the Boltzmann equation for entropy change,

ln(number of energetic microstates after change/number

of energetic microstates before change), is the source of much of

the confusion regarding the behavior of macro objects. R, the gas

constant, embeds temperature in Boltzmann's entropy as integrally

as in the Clausius or Gibbs relation and, to repeat, the

environment's temperature indicates the degree of energy

dispersion that makes access to available energy microstates

possible. The Boltzmann equation is revelatory in uniting the

macrothermodynamics of classic Clausian entropy with what has

been described above as the behavior of a system of microparticles

occupying energetic microstates.

In discussing how probability enters the Boltzmann equation (i.e.,

the number of possible energetic microstates and their occupancy

by microparticles), texts and teachers often enumerate the many

ways a few symbolic molecules can be distributed on lines

representing energy levels, or in similar cells or boxes, or with

combinations of playing cards. Of course these are good analogs

for depicting an energetic microsystem. However, even if there are

warnings by the instructor, the use of playing cards as a model is

probably intellectually hazardous; these objects are so familiar that

the student can too easily warp this macro analog of a

microsystem into an example of actual entropic change in the

cards.

Another major source of confusion about entropy change as the

result of simply rearranging macro objects comes from information

theory "entropy".2 Claude E. Shannon's 1948 paper began the era

of quantification of information and in it he adopted the word

"entropy" to name the quantity that his equation defined (2). This

occurred because a friend, the brilliant mathematician John von

Neumann, told him "call it entropy no one knows what entropy

really is, so in a debate you will always have the advantage" (3).

Wryly funny for that moment, Shannon's unwise acquiescence has

produced enormous scientific confusion due to the increasingly

widespread usefulness of his equation and its fertile mathematical

variations in many fields other than communications (4, 5).

Certainly most non-experts hearing of the widely touted information

"entropy" would assume its overlap with thermodynamic entropy.

However, the great success of information "entropy" has been in

areas totally divorced from experimental chemistry, whose

objective macro results are dependent on the behavior of energetic

microparticles. Nevertheless, many instructors in chemistry have

the impression that information "entropy" is not only relevant to the

calculations and conclusions of thermodynamic entropy but may

change them. This is not true.

There is no invariant function corresponding to energy embedded in

each of the hundreds of equations of information "entropy" and thus

no analog of temperature universally present in them. In contrast,

inherent in all thermodynamic entropy, temperature is the objective

indicator of a system's energetic state. Probability distributions in

information "entropy" represent human selections; therefore

information "entropy" is strongly subjective. Probability distributions

in thermodynamic entropy are dependent on the microparticulate

and physicochemical nature of the system; limited thereby,

thermodynamic entropy is strongly objective.

This is not to say that the extremely general mathematics of

information theory cannot be modified ad hoc and further

specifically constrained to yield results that are identical to Gibbs'

or Boltzmann's relations (6). This may be important theoretically

but it is totally immaterial here; such a modification simply supports

conventional thermodynamic results without changing themno lesser

nor any greater thermodynamic entropy. The point is that

information "entropy" in all of its myriad nonphysicochemical

forms as a measure of information or abstract communication

has no relevance to the evaluation of thermodynamic entropy

change in the movement of macro objects because such

information "entropy" does not deal with microparticles whose

perturbations are related to temperature.3 Even those who are very

competent chemists and physicists have become confused when

they have melded or mixed information "entropy" in their

consideration of physical thermodynamic entropy. This is shown by

the results in textbooks and by the lectures of professors found on

the Internet.1

Overall then, how did such an error (concerning entropy changes in

macro objects that are simply moved) become part of mainstream

instruction, being repeated in print even by distinguished physicists

and chemists? The modern term for distorting a photograph,

morphing, is probably the best answer. Correct statements of

statistical thermodynamics have been progressively altered so that

their dependence on the energetics of atoms and molecules is

obliterated for the nonprofessional reader and omitted by some

author-scientists.

The morphing process can be illustrated by the sequence of

statements 1 to 4 below.

1.Isolated systems of atoms and molecules spontaneously tend

to occupy all available energetic microstates thermally

accessible to them and tend to change to any arrangement or

macro state that provides more such microstates. Thus,

spontaneous change is toward a condition of greater

probability of energy dispersion. After a spontaneous

change, the logarithm of the ratio of the number of available

microstates to those in the prior state is related to the

system's increase in entropy by a constant, R/N per mole. It

is the presence of temperature in R that distinguishes physical

entropy from all information "entropy".

2.Systems of atoms and molecules spontaneously tend to go

from a less probable state in which they are relatively

"orderly" (few microstates, low entropy) to one that is more

probable in which they are "disorderly" (many microstates,

high entropy).

3.Spontaneous (natural) processes go from order to disorder

and entropy increases. Order is what we see as neat,

patterned. Disorder is what we see as messy, random.

4.Things naturally become disorderly.

Most chemists would read statements 3 and 4 with the implications

from statement 1 or 2 automatically present in their thoughts.

Undoubtedly, a majority are aware that 3 really applies only to

atomic and molecular order and disorder. However, most students

and nonscientists lack such a background. As is evident from their

writing, some physicists err because they ignore or forget the

dependence of physical thermodynamic entropy upon atomic and

molecular energetic states.

The following recent quote from a distinguished physicist is in the

middle of a discussion of the arrangement of books in a young

person's room: "The subjective terms 'order' and 'disorder' are

quantified by association with probability, and identified,

respectively, with low and high entropy." He then informs his

readers that "in the natural course of events the room has a

tendency to become more disordered."1 (Italics added.)

The phrase "in the natural course of events" implies to a chemist

that energy from some sourcethe internal energy of a substance in a

chemical process, the external energy involved as an agent

transports a solid objectcan powerfully affect macro things in a

room, but is this true for most readers? "Naturally" to many

students and nonscientists even has the inappropriate connotation

"of course" or "as would be expected". Certainly, it does not

properly imply a truly complex set of conditions, such as "in nature,

where objects can be pushed around by people or windstorms or

hail or quakes and where the substances from which they are made

can change if their activation energies are exceeded"!

Thus, errors in texts and lectures have arisen because of two types

of category slippage: (i) misapplying thermodynamic entropy

evaluationsproper in the domain of energetic atoms and

moleculesto visibly static macro objects that are unaltered

packages of such microparticles, and (ii) misinterpretation of words

such as natural (whose common meaning lacks a sense of the

external energy needed for any agent to move large visible things.)

Why is there no permanent thermodynamic entropy change in a

macro object after it has been transported from one location to

another or when a group of them is scattered randomly?

Thermodynamic entropy changes are dependent on changes in the

dispersal of energy in the microstates of atoms and molecules. A

playing card or a billiard ball or a blue sock is a package, a sealed

closed system, of energetic microstates whose numbers and types

are not changed when the package is transported to a new site

from a starting place. All macro objects are like this. Their

relocation to different sites does not create any permanent

additional energetic microstates within them. (Any temporary

heating effects due to the initiation and cessation of the movement

are lost to the environment.) Thus, there is a zero change in their

physical entropy as a result of being moved.

Acknowledgments

I thank Norman C. Craig and the reviewers for invaluable criticism

of the original manuscript.

Notes

1.Singling out individual authors from many could appear

invidious. Thus, references to quotations or errors are not

listed.

2.It is important that information "entropy" always be in quotes

whenever thermodynamic entropy is mentioned in the same

article or book. Otherwise, the unfortunate confusion of the

past half-century is amplified rather than attenuated.

3.It has been said that an information "entropy"

equationcompared to those for thermodynamic entropymay

look like a duck but, without any empowering thermal

energy, it can't quack like a duck or walk like a duck.

Literature Cited

1.Denbigh, K. G. Br. J. Philos. Sci. 1989, 40, 323-332.

2.Shannon, C. E. Bell System Tech. J. 1948, 27, 329-423,

623-656.

3.Tribus, M.; McIrvine, E. C. Sci. Am. 1971, 225, 180.

4.Including: Golembiewski, R. T. Handbook of

Organizational Behavior; Dekker: New York, 1993.

5.Hillman, C. Entropy on the World Wide Web;

http://www.math.washington.edu/~hillman/entropy.html.

Extensive references to print and WWW sites, primarily

information "entropy" but thermodynamic entropy in the

physical sciences in

http://www.math.washington.edu/~hillman/Entropy/phys.html

(The "e" in entropy is case sensitive in these two URLs.). A

European mirror site (via China) is at

http://www.unibas.ch/mdpi/entropy (accessed June 1999).

6.Tribus, M. Am. Sci. 1966, 54, 201-210.

Citation: Lambert, Frank L. Shuffled Cards, Messy Desks, and Disorderly

Dorm Rooms - Examples of Entropy Increase? Nonsense! J. Chem. Educ.

1999 76 1385.

Keywords: Introductory / High School Chemistry; Physical Chemistry;

Nonmajor Courses; Statistical Mechanics; Thermodynamics


Definition eines Markoff-Prozesses

Ein Markoff-Prozeß wird definiert durch

1.einen Zeichenvorrat, aus dem er eine unendliche Folge von Zeichen schrittweise auswählt,

2.mögliche Zustände, die er (wiederholt) einnimmt,

3.je eine Wahrscheinlichkeitsverteilung für das Auftretens eines bestimmten Zeichens in einem bestimmten Zustand,

4.Wahrscheinlichkeiten für die Übergänge von einem Zustand in einen anderen.

Die Folge der bei den Übergängen erzeugten Zeichen heißt Markoff-Kette.


SPIEGEL ONLINE - 24. Dezember 2001, 17:30

URL: http://www.spiegel.de/wissenschaft/mensch/0,1518,173733,00.html

Top Ten der Forschung (2)

Kondensiertes Kollektiv

Von Alexander Stirn

Es klingt nach Spaß, und hat doch einen wissenschaftlichen Hintergrund: Wenn Physiker ein Atomkollektiv urplötzlich zum Implodieren bringen, ist der Nobelpreis nicht weit.

Die Theorie existierte seit Jahrzehnten, allein es fehlte der Beweis: Erst im Jahr 1995 konnten zwei US-Physiker genau das vorführen, was der Nobelpreisträger Albert Einstein und der indische Physiker Satyendra Nath Bose bereits 1924 formulierten:

Dass sich eine Vielzahl von Atomen nahe dem absoluten Temperaturnullpunkt wie ein einziges Superteilchen verhalten.

Bei entsprechender Kälte können sich Bosonen - neben den Fermionen die zweite Klasse von Teilchen, die heute bekannt sind - problemlos sehr nahe kommen. Alle Teilchen nehmen denselben niedrigen Energiezustand ein, sie bewegen sich synchron. Physiker sprechen von einem "Bose-Einstein-Kondensat". Erst bei einigen Milliardstel Kelvin schafften es Carl Wieman und Eric Cornell vor sechs Jahren, ihren Rubidium-87-Isotopen den freien Willen auszutreiben.

Dieses Jahr hat die Gruppe nachgelegt und die Stabilität des Superatoms relativiert: Einmal dem Einfluss eines magnetischen Feldes ausgesetzt, ist ein "Bose-Einstein-Kondensat" offensichtlich recht labil: Zumindest war es möglich, das Kollektiv so stark zum Schrumpfen zu bringen, dass es sich anschließend ruckartig ausdehnte - vergleichbar mit der Explosion eines Sternes, der so genannten Supernova.

Auch die Kollegen waren kreativ: Erstmals konnten 2001 Kondensate aus Helium, Lithium und Kalium hergestellt werden. Andere Forscher drückten das Kollektiv zusammen oder erzeugten blasenartige Strukturen in seinem Innern. Die Spielereien könnten Wege zu neuartigen Atomlasern und hochpräzisen Messmethoden ebnen.  

Sonderlich überraschend dürfte für Wieman und Cornell die "Science"-Nominierung als bedeutende wissenschaftliche Entdeckung des Jahres nicht gekommen sein, hatten doch schon andere die Relevanz ihrer Arbeiten erkannt. Zusammen mit dem Deutschen Wolfgang Ketterle durften die beiden US-Forscher dieses Jahr den Physik-Nobelpreis für ihre Arbeiten zum Bose-Einstein-Kondensat entgegen nehmen.


Sehr geehrter Herr Dr. Hofmann

Ich habe heute kurz Ihre Homepage zum Thema Entropie gestreift. In Ihrer Auflistung vermisste ich die Arbeiten von Georgesciu Roegen (4. Thermodynamischer Hauptsatz / Lit. the entropie law of economic process).

Ich selber beschäftige mich mit der Thematik im Zusammenhang mit ökonomischen Prozessen sowie im raumwissenschaftlichen Kontext (Stichwort fraktale Geographie)

Besten dank für ein kurzes Feedback

Mit freundlichen Grüssen

Peter Schichan


zurück     bei Kritik , Ergänzungen , Anregungen : rho54@gmx.de

Diese WWW-Seite stammt von R.Ho, www.madeasy.de