Обычно энтропия — мера хаоса. Но наш сегодняшний герой — IH-анализ (Information-Entropy analysis) — вычисляет информационную энтропию, чтобы измерить обратное: степень детерминированности связи между признаками и целевой переменной. Мы будем вычислять: насколько утверждение «если А, то Б, и, если не А, то и не Б» выполняется в наших данных устойчиво. Одновременная работа с категориальными и количественными признаками нас не затруднит. Читать далее
Об энтропии говорят всякое: энтропия увеличивается со временем, энтропия — это беспорядок, энтропия увеличивается с ростом энергии, энтропия определяет стрелу времени и т. д.. Но я понятия не имел, что такое энтропия, и, судя по тому, что я обнаружил, большинство других людей тоже.
Термодинамическая энтропия появилась в классической термодинамике. Однако далее по ряду причин термин энтропия был использован в теории информации, а затем он приглянулся математикам. В статье 'Вселенная энтропии', опубликованной в 2021 году, перечисляется немереное количество
Второе начало термодинамики гласит: энтропия замкнутой системы не убывает. Любой сложный порядок — будь то живая клетка или работающий двигатель — это локально пониженная энтропия. Чтобы поддерживать такой порядок, его нельзя просто «сохранять»: необратимые процессы…