Глава 3. Кодирование при наличии штрафов. Первая вариационная задача Количество информации, которое можно записать или передать, определяется логарифмом числа различных реализаций записи или передачи. Подсчет этого числа, однако, не всегда является простым делом. Он может осложняться наличием каких-либо ограничений, наложенных на допустимые реализации. Вместо непосредственного вычисления числа реализаций во многих случаях целесообразно вычислять максимальное значение энтропии записи, беря максимум по распределениям, совместимым с условиями, наложенными на математическое ожидание определенной случайной величины штрафов. Это максимальное значение энтропии носит название пропускной способности канала без помех. Описанная вариационная задача является первой из ряда основных вариационных задач, играющих большую роль в теории информации. Соотношения, полученные в результате решения указанной вариационной задачи, оказываются аналогичными соотношениям статистической термодинамики (см., например, учебники Леонтовича [1,2]). Для нахождения пропускной способности и оптимальных распределений удобно применять разработанные там методы. Эти методы основаны на систематическом использовании термодинамических потенциалов и формул. Функция штрафов при этом служит аналогом энергии. В теории подобающее место находит температура, свободная энергия и другие термодинамические понятия. Тем самым математический аппарат этого раздела теории информации смыкается с аппаратом статистической термодинамики. Рассмотрение и решение ряда частных задач (пример 3 из 3.4) на оптимальное кодирование со штрафами математически эквивалентно расчету одномерной модели Изинга, хорошо известной в статистической физике. В конце главы приведено распространение результатов на более общее определение энтропии, справедливое для непрерывных и произвольных случайных величин