Термодинамическая энтропия появилась в классической термодинамике. Однако далее по ряду причин термин энтропия был использован в теории информации, а затем он приглянулся математикам. В статье 'Вселенная энтропии', опубликованной в 2021 году, перечисляется немереное количество
Об энтропии говорят всякое: энтропия увеличивается со временем, энтропия — это беспорядок, энтропия увеличивается с ростом энергии, энтропия определяет стрелу времени и т. д.. Но я понятия не имел, что такое энтропия, и, судя по тому, что я обнаружил, большинство других людей тоже.
1. Энтропия измеряет не беспорядок, а вероятность Идея о том, что энтропия – это мера беспорядка, совсем не помогает разобраться в вопросе. Допустим, я делаю тесто, для чего я разбиваю яйцо и выливаю его на муку. Затем добавляю сахар, масло, и смешиваю их до тех пор, пока тесто не…
Вторая часть перевода лонгрида посвященного визуализации концепций из теории информации. Во второй части рассматриваются энтропия, перекрестная энтропия, дивергенция Кульбака-Лейблера, взаимная информация и дробные биты. Все концепции снабжены прекрасными визуальными объяснениями. Для полноты восприятия, перед чтением второй части, рекомендую ознакомиться с первой. Читать дальше →