mini|desno|400px|Ilustracija sustava koji postaje sve neuređeniji kako se brze i spore čestice miješaju. U ovakvom procesu entropija sustava raste.
Entropija je fizikalna veličina koja karakterizira mogućnost odvijanja fiziklanih procesa te ujedno i opisuje količinu nasumičnosti i neuređenosti u sustavu.
Kao fizikalna veličina proizišla je iz termodinamike, a koristi se i u granama kao što su statistička mehanika, teorija informacija, biologija i kozmologija.
Entropija je kao koncept proizišla iz razmatranja Sadija Carnota o učinkovitosti parnog stroja , a prvu rigoroznu matematičku definiciju entropije u termodinamici postavio je Rudolf Clausius 1850. godine kao termodinamičko svojstvo koje opisuje, ako su određeni fizikalni procesi spontani ili nemogući (nepovratni). Clausius je u početku entropiju opisao kao "transformacijski sadržaj", na njemačkom Verwandlungsinhalt, a kasnije je skovao termin "entropija" od grčke riječi za transformaciju.
Poslije se pojam razvijao kroz generacije fizičara, te je dobivao različite opise i razvijao i povezivao različita polja fizike i istraživanja.Wehrl, Alfred (1 April 1978). "General properties of entropy". Reviews of Modern Physics. 50 (2): 221–260. Bibcode:1978RvMP...50..221W. doi:10.1103/RevModPhys.50.221.
Entropijom i drugim zakonom termodinamike bavili su se i hrvatski znanstvenici Josip Lončar, Fran Bošnjaković i Vladimir Matković, koji je istraživao entropiju hrvatskoga jezika.Sinković, Vjekoslav. 2005. Vladimir Matković HAZU
Entropija u klasičnoj termodinamici mini|desno|300px|Nepovratni adijabatski proces: od termodinamičkog stanja (temperatura, tlak i obujam) plina s lijeve gornje strane može se postići termodinamičko stanje plina s desne strane, ali obratno, zbog izmjene toplinske energije s okolinom, postiže se novo stanje s povećanom entropijom (s gubitcima energije).
Entropija je središnji pojam u formulaciji drugog zakona termodinamike. Jedan od najpoznatijih iskaza tog zakona glasi:
"Promjena entropije izoliranog sustava uvijek je veća ili jednaka nuli."
Matematički aparat za opis drugog zakona razvio je Rudolf Clausius, pa se stoga njegova matematička formulacija naziva Clausiusova nejednakost. Slijedeći Clausiusa, entropija se definira kao termodinamička funkcija stanja.
Za beskonačno malu (infinitezimalnu) promjenu entropije između dvaju bliskih ravnotežnih stanja vrijedi:
gdje je količina topline razmijenjena u reverzibilnom procesu, a apsolutna temperatura. Ovaj izraz u literaturi je poznat i kao Clausiusova jednakost.Fermi, E. (1956). Thermodynamics. Dover Publications, str. 52, jednadžba 72.
Mjerna jedinica entropije u SI sustavu je J/K.
U klasičnoj termodinamici apsolutna vrijednost entropije sustava ne može se odrediti (zbog proizvoljne integracijske konstante), već se mjeri samo njezina promjena.
Objašnjenje U klasičnoj termodinamici entropija služi za određivanje mogu li se pojedini procesi zapravo odvijati u prirodi. Prema drugom zakonu termodinamike, promjena entropije izoliranog sustava (sustava koji nije u interakciji sa svojom okolinom, odnosno ne razmjenjuje ni energiju ni tvar s okolinom) uvijek je veća od nule, tj. . Entropija takvih sustava raste jer oni spontano teže stanju najveće neuređenosti.
Drugi zakon termodinamike jedan je od temeljnih zakona fizike. Njegova snaga proizlazi iz njegove statističke prirode: neuređena stanja mnogo su brojnija od uređenih, pa je vjerojatnost da se sustav nakon spontanog procesa nađe u stanju veće entropije daleko veća nego da se sam od sebe posloži u vrlo uređenu konfiguraciju.
U otvorenim i zatvorenim sustavima moguće je ulaganjem rada ili izmjenom topline s okolinom privremeno smanjiti entropiju (hladnjak), no ukupna entropija sustava i okoline uvijek raste. Iz toga proizlazi da se makroskopski procesi odvijaju samo u smjeru porasta entropije, što im daje strijelu vremena i čini ih ireverzibilnima. Budući da u stvarnosti ne opažamo smanjenje entropije, makroskopski procesi nemaju obrat vremena.
Kao filozofsku implikaciju drugog zakona, Arthur Stanley Eddington uveo je pojam strijele vremena, koji ima važnu ulogu u modernoj kozmologiji, fizici elementarnih čestica i biologiji. Entropija je u tom smislu jedinstvena fizikalna veličina jer određuje smjer vremena u makroskopskom svijetu.
Promjena entropije za jednostavne procese Izotermna ekspanzija ili kompresija idealnog plina Za ekspanziju (ili kompresiju) idealnog plina iz početnog volumena i tlaka do konačnog volumena i tlaka pri bilo kojoj konstantnoj temperaturi, promjena entropije dana je s Ovdje je količina plina (u molovima), a je opća plinska konstanta.
Hlađenje i grijanje Za zagrijavanje ili hlađenje bilo kojeg sustava (plin, tekućina ili krutina) pri konstantnom tlaku od početne temperature do konačne temperature , promjena entropije je:
gdje je molarni toplinski kapacitet konstantnog volumena konstantan i nema promjene faznog prijelaza.
Miješanje idealnih plinova mini|desno|300px|Entropija miješanja za idealnu mješavinu je maksimalna kada su dvije vrste potpuno pomiješane (tj. molarni udio svake vrste je 0,5). Na grafu je molarni udio označen s , a u tekstu s . Za višekomponentni idealni plin, promjena entropije nakon procesa mješanja dobije se formulom:
gdje je , broj molova, , molarni toplinski kapacitet, , temperatura plina, , temperatura smjese, , opća plinska konstanta, , tlak plina, , parcijalni tlak, , molni udio
Ako su tempetatura i talk konstanti prije i nakon mješanja dobije se:
gdje je ukupni broj molova u smjesi, a molni udio -te komponente.
Svi prijašnji izrazi u ovom odjeljku izvedeni su iz temeljne termodinamičke relacije.
Entropija u statističkoj mehanici
mini|desno|250px|Slika prikazuje statističku osnovu drugog zakona termodinamike. Sva su mikrostanja jednako vjerojatna, ali ima puno više makrostanja u kojima su čestice neuređeno posložene te je puno vjerojatnije da ćemo vidjeti sustav u takvom makrostanju."
Entropija je makroskopska fizikalna veličina koja ima statističko podrijetlo. Statistički opis entropije uveo je 1870-ih austrijski fizičar Ludwig Boltzmann, čime je utemeljeno novo područje fizike koje povezuje makroskopska opažanja prirode s mikroskopskim zakonima fizike. Boltzmannova entropija Prvi statistički opis entropije, kao mjere broja dostupnih mikrostanja, dao je Ludwig Boltzmann. On ju je definirao kao veličinu proporcionalnu logaritmu broja mikrostanja sustava, određenih u faznom prostoru:
gdje je broj sustavu dostupnih mikrostanja.
Konačni oblik formule:
postavio je Max Planck 1901. godineMax Planck (1914) The theory of heat radiation equation 164, p.119, gdje je Boltzmannova konstantna koju je Max Planck prvi numerički odredio u svojem radu "On the Law of the Energy Distribution in the Normal Spectrum" u kojem je započeo kvantnu mehaniku.https://upload.wikimedia.org/wikipedia/commons/4/4e/On_the_Law_of_the_Energy_Distribution_in_the_Normal_Spectrum.pdf
Gibbsova entropija
Sljedeći korak bio je povezivanje entropije s pojmom vjerojatnosti. To je ostvario američki fizičar Josiah Willard Gibbs. Entropija se prema njemu definira kao:
ovdje je vjerojatnost da će se određeno mikrostanje pojaviti uslijed fluktuacije sustava. Ova definicija vrijedi čak i kada je sustav daleko od stanja termodinamičke ravnoteže.
Iz prethodne jednadžbe entropija se može shvatiti kao očekivana vrijednost sadržaja informacije:
Ovdje ozačava očekivanu vrijednost, a je tzv. sadržaj informacije koji je mali ukoliko , odnosno , te raste kako je vjerojatnost događaja sve manja, odnosno .
Boltzmannova entropija se dobije iz Gibbsove pomoću sljedeće relacije .Tolman, Richard Chace (1979). The Principles of Statistical Mechanics. Courier Corporation. ISBN 978-0-486-63896-6. str. 59 Ova jednadžba predstavlja princip a priori jednakih vjerojatnosti.
Ako se Boltzmannova raspodjela (raspodjela vjerojatnosti za kanonski ansambl):
uvrsti u formulu za Gibbsovu entropiju, dobije se temeljna termodinamička relacija.Gao, Xiang; Gallicchio, Emilio; Roitberg, Adrian (2019). "The generalized Boltzmann distribution is the only distribution in which the Gibbs-Shannon entropy equals the thermodynamic entropy". The Journal of Chemical Physics. 151 (3): 034113. arXiv:1903.02121. Bibcode:2019JChPh.151c4113G. doi:10.1063/1.5111333. PMID 31325924. S2CID 118981017.
Pokazano je kako su i ova i prethodna definicija entropije jednake klasičnoj Clausiusovoj definiciji entropije s početka članka.E.T. Jaynes; Gibbs vs Boltzmann Entropies; American Journal of Physics, 391 (1965); https://doi.org/10.1119/1.1971557
Također, vrijede slijedeće relacije:
gdje su , , particijske funkcije (sume po stanjima) za mikronanonski, kanonski i velekanonski ansambl.
Slijedeća tablica prikazuje funkcije vjerojatnosti mikrostanja i particijske funkcije (sume po stanjima) za svaki asambl:
+ Funkcije raspodjele i vjerojatnosti u različitim ansamblima Ansambl Vjerojatnost mikrostanja Suma po stanjima Mikrokanonski Kanonski Velekanonski
Granulacija faznog prostora
mini|desno|300px|Razlika između sitnozrnate (plavo) i grubozrnate granulacije (crveno) faznog prostora. Ukupna površina omeđena crnom linijom je u oba slučaja ista, ali u donjem prikazu nakon nekog vremena veći dio faznog prostora je ispunjen te dolazi do povečajna tzv. grubozrnate entropije.
Mikrostanje sustava opisano je točkom u faznom prostoru, s koordinatama položaja i količine gibanja . Evolucija sustava u faznom prostoru određena je Hamiltonovim jednadžbama, a Liouvilleov teorem osigurava očuvanje volumena u faznom prostoru.
U statističkoj mehanici, umjesto pojedinačnih stanja, često se promatra ansambl sustava, odnosno skup mogućih mikrostanja opisanih s gustoćom vjerojatnosti u faznom prostoru. Gibbsova entropija mjeri nesigurnost o točnom mikrostanju sustava i ostaje konstantna tijekom Hamiltonove evolucije, to je tzv. sitnozrnata entropija.
Međutim, u praksi se često uvodi grubozrnata aproksimacija: fazni prostor se dijeli u konačne ćelije. Kako se funkcija gustoće vjerojatnosti u većini fizikalnih procesa "razmuti" (npr. u kaotičnim sustavima), ukupni volumen koju pokrivaju ćelije nakon evolucije veći je od početnog volumena faznog prostora, što onda dovodi do povećanja entropije.
Takva grubozrnata entropija daje makroskopski prikaz ireverzibilnosti i približava sustav ravnotežnom stanju, te se može shvatiti kao uzrok drugog zakona termodinamike.E.T. Jaynes; Gibbs vs Boltzmann Entropies; American Journal of Physics,391,1965 Povećanje entropije posljedica je naše nemogućnosti praćenja točne evolucije sustava do najsitnijih detalja. Naše aproksimativno opisivanje sustava, odnosno ukrupnjavanje mikrostanja u ćelije, dovodi do porasta entropije i daje nam privid da sustav postaje sve neuredniji. Da bismo mogli pratiti sva mikro-kretanja (npr. prijenos trenja u mikro-gibanja podloge), mogli bismo točno slijediti evoluciju sustava i ne bismo zapazili porast entropije.E.T. Jaynes; Gibbs vs Boltzmann Entropies; American Journal of Physics,391,1965
Entropija u kvantnoj mehanici von Neumannova entropija
Za kvantno-mehanički sustav opisan matricom gustoće , von Neumannova entropija definira se kao:
ovdje je operator gustoće definiran kao a označava traghttps://enciklopedija.hr/clanak/trag-matrice matrice.
Unitarnost Vremenska evolucija izoliranog sustava opisana je unitarnim operatorom:
Unitarna evolucija prslikava čista stanja u čista stanja, i ostavlja von Neumannovu entropiju nepromijenjenom.
Znači za unitarnu evoluciju vrijedi: .Nielsen & Chuang 2010, p. 102; Zwiebach 2022, §22.3.
Entropija u informacijskoj znanosti