Neblux 知識圖譜
資訊理論
資訊理論是對資訊的量化、儲存與傳輸進行數學研究的學科，提供嚴格的工具來衡量資訊的不確定性、最佳編碼，以及透過雜訊通道進行可靠通訊。
概觀
由克勞德·夏農在其1948年的里程碑論文中奠基，該領域確立熵為衡量資訊不確定性的基本度量，並證明每條通道都具有一個確定的容量——夏農極限——在此限度內，無錯誤傳輸是可實現的。這一結果既出人意料又具有深遠意義，為資料壓縮與可靠通訊奠定了理論基礎，支撐起數位時代。
為什麼重要
資訊理論橋接了異常廣泛的學科範疇，並深刻影響物理學：夏農熵直接對應熱力學熵，將資訊連結至支配能量與無序度的基本定律，而朗道爾原理則表明抹除資訊有不可化約的物理能量代價。在生物學中，資訊論度量推進了對基因編碼、神經信號傳導與感官系統效率的理解。