Трагедия Свободы  Умопримечания | Стихи | Библиотека 
  на первую страницу НОВОСТИ | ССЫЛКИ   
Ю.Л. Климонтович. Энтропия и информация открытых систем
от 20.02.03
  
Библиотека


УФН. 1999 г. вып. 4, 443. http://www.ufn.ru/archive/russian/abstracts/abst1832.html

Аннотация В теории связи используются два определения Шеннона понятия информация. Одно из них совпадает с энтропией Больцмана и является фактически мерой неопределенности при статистическом описании. Второе выражается через разность значений безусловной и условной энтропий. Конкретизация второго определения позволяет ввести меру информации открытых систем в зависимости от значений управляющих параметров. Выделен класс систем, для которых возможно равновесное состояние и имеет место закон сохранения информации и энтропии. Для равновесного состояния таких систем информация равна нулю, а энтропия максимальна. В процессах самоорганизации по мере удаления от равновесного состояния информация возрастает. Выделен и другой класс систем, для которых равновесное состояние невозможно. Для них вводится понятие - норма хаотичности - и рассматриваются два рода процессов самоорганизации. Дается соответствующее определение информации. Общие определения информации используются для классических и квантовых физических систем, а также при анализе результатов медико-биологического исследования
Содержание:
1. Введение
2. Энтропия и информация
2.1. S - информация
2.2. Информация Шеннона
2.3. Информация открытых систем
3. Н - теорема Больцмана
3.1. Функционал Ляпунова
3.2. Информация и функционал Ляпунова. Закон сохранения суммы информации и энтропии.
4. S - теорема и закон сохранения суммы информации и энтропии
5. Генератор Ван дер Поля. S - информация и информация Шеннона
6. Оценка информации и относительной степени упорядоченности по экспериментальным данным
7. Информация медико-биологических и сложных физических обьектов
8. Информация квантовых систем
8.1. Осцилляторная форма принципа неопределенности Гейзенберга.
8.2. Функция распределения f(x,p) при знаке = .
9. Относительная упорядоченность состояний при знаках =, >
10. Энтропия и информация квантовых открытых систем
11. Информация, свободная энергия и функционал Ляпунова для броуновского движения
12. Заключение
Список литературы
1. Введение В 1997 г. редакция журнала Успехи Физических Наук опубликовала первое издание книги Бориса Борисовича Кадомцева  - Динамика и информация [1]. Значение этой работы прежде всего в том, что она вносит существенный вклад в разьяснение ряда принципиальных вопросов и понятий как классической, так и квантовой физики. В число основных входит и понятие информации, важность которого подчеркивается самим названием книги. На протяжении всей работы [1] обсуждаются понятия  - информация, информационная связь, информационно открытые системы, информационное общение, информационный смысл волновой функции. Существенно, что книга Бориса Борисовича стимулирует читателя, заставляет его в тех случаях, когда он не согласен в той или иной мере с автором, искать алтернативные решения рассматриваемых вопросов. Теперь, уже, к сожалению, нет возможности обсудить с Борисом Борисовичем возникшие при чтении его книги вопросы. Невозможно больше услышать и оценить глубину четких физических аргументов в защиту его точки зрения. В настоящей статье впервые дается обзор известных результатов теории информации, составляющей важный раздел общей теории связи, а также обзор недавних работ, в которых рассматривается возможность определения информации как пассивных, так и активных открытых систем в зависимости от значений управляющих параметров. Основы современной теории связи заложены в классических работах К. Шеннона [2,3]. В них даны два определения информации. Первое определение информации фактически совпадает с определением энтропии Больцмана. Эта информация, как и энтропия Больцмана, является мерой степени неопределенности при выбранном уровне статистического описания рассматриваемой системы. Поэтому используется термин S - информация. Такое определение информации, хотя и широко используется в литературе, все же не является достаточным при исследовании открытых систем. Более адекватным для открытых систем является другое, также предложенное К. Шенноном определение информации. Суть его состоит в следующем. Пусть имеется функция распределения двойного набора переменных f (X,Y) рассматриваемой системы. Это позволяет определить информацию об обьекте X относительно Y, и наоборот. В обоих случаях информация определяется разностью безусловной и условной энтропий и связана тем самым с соответствующим изменением степени неопределенности о состоянии выделенной системы. Научный вклад работ К. Шеннона в развитие информации прекрасно охарактеризовал А.Н. Колмогоров, в предисловии к русскому изданию сборника К. Шеннона  - Работы по теории информации и кибернетики (М.: ИЛ,1963). Он писал: Значение работ Шеннона для чистой математики не сразу было достаточно оценено. Мне вспоминается, что еще на международном съезде математиков в Амстердаме (1951) мои американские коллеги, специалисты по теории вероятностей, считали мой интерес к работам Шеннона несколько преувеличенным, так как это более техника, чем математика. Сейчас такие мнения вряд ли нуждаются в опровержении. Правда, строгое математическое обоснование своих идей Шеннон в сколько-либо трудных случаях предоставил своим продолжателям. Однако, его математическая интуиция изумительно точна...- Работы К. Шеннона послужили стимулом для появления публикаций, в которых был дан прочный математический фундамент теории информации. Отметим лишь первые работы такого рода, опубликованные на страницах журнала Успехи математических наук и в ДАН СССР [4,5]. В первой из них дано доказательство основных теорем теории информации для дискретного случая, а во второй - наиболее общее определение энтропии и информации для непрерывных распределений. В последующем потоке книг по теории информации выделяется книга Р.Л. Стратоновича [6]. В ней, наряду с традиционным к тому времени изложением основных результатов теории информации Шеннона представлена и разработанная Р.Л. Стратоновичем теория ценности информации. Прослеживается также глубокая аналогия математического аппарата теории информации и статистической термодинамики. Настоящая статья является обзором работ, посвященных дальнейшему развитию теории информации, в частности приложений к теории открытых систем [7-9]. Открытые системы могут обмениваться с окружающими телами энергией, веществом и. что, также весьма существенно, информацией. Здесь будут рассматриваться лишь макроскопические открытые системы. Они могут состоять из многих элементов различной природы. В открытых системах возможно спонтанное возникновение различных структур. В их образовании диссипация играет конструктивную роль. Чтобы подчеркнуть это обстоятельство И. Пригожин, ввел очень точный и емкий термин  - диссипативные структуры [10-12]. Можно выделить три класса: временные, пространственные и пространственно-временные диссипативные структуры. Примером последних могут служить автоволны [13]. Сложность макроскопических открытых систем дает широкие возможности для проявления кооперативных явлений. С целью подчеркнуть роль коллективных взаимодействий в образовании диссипативных структур, которые образуются в результате неравновесных фазовых переходов, формирующих процессы самоорганизации, Г. Хакен ввел термин  - cинергетика, что означает совместное, кооперативное действие [14-17]. Макроскопические системы во многих случаях можно рассматривать как непрерывные среды. Переход к сплошной среде радикально меняет представление о системе как о состоящей из отдельных микроскопических или макроскопических, но малых элементов. Чтобы избежать многих принципиальных трудностей, необходима конкретизация определения физически бесконечных малых масштабов, определяющих, в частности, размер точки сплошной среды [7,8]. Для определения информации открытых систем необходимо преобразование общей формулы Шеннона с целью выявления зависимости информации от управляющих параметров. При этом для положительности информации требуется дополнительное условие одинаковости средней (в общем случае эффективной) энергии при определении разности энтропий, определяющих информацию. Выделяется класс систем, для которых (как, например, для газа Больцмана) постоянство средней энергии в процессе эволюции является свойством системы. Для таких систем выражение для информации совпадает с функционалом Ляпунова, который также определяется разностью безусловной (например для равновесного состояния) и условной (например, для неравновесных состояний в процессе временной эволюции) энтропий. Для такого рода систем имеет место закон сохранения информации и энтропии. Для систем другого класса средняя энергия меняется в процессах временной эволюции или эволюции стационарных состояний в пространстве управляющих параметров. В этих случаях имеются две возможности определения информации. Первая (которая широко используется в настоящее время как для физических, так и биологических систем) основана на использовании критерия относительной степени упорядоченности (S - теорема), вторая использует для систем броуновского типа, когда рассматриваемая система находится во флуктуируещей среде с заданной интенсивностью шума. Для броуновских систем информацию можно определить и как функционал Ляпунова, который, однако, определяется не разностью энтропий, а разностью свободных энергий [7-9]. Общие определения информации открытых систем конкретизируются для классических и квантовых систем, а также для медико-биологических исследований, основанных на статистическом анализе кардиограмм. Работа представляет собой первый обзор результатов теории информации открытых систем. В настоящее время появляются обзоры на эту тему (см. например, [27]). Однако они не отражают в достаточной мере специфику понятия информации открытых систем. Цель работы состоит в том, чтобы заполнить существующий пробел
2. Энтропия и информация
2.1. S - информация Итак, существуют два статитистических определения понятия информация. Первое служит обобщением данного Больцманом определения энтропии на случай произвольных систем, когда не может быть использовано представление о механическом движении элементов открытой системы.
Пусть f(X) - некоторая безразмерная функция распределения значений безразмерной случайной величины Х. В качестве последней может выступать и набор величин, составляющих некоторый вектор. Информация и энтропия определяются тогда формулами
Соответствующее определение для случая дискретной переменной имеет вид
I[n] = S[n] = - Sum f(n) ln f(n), Sum f(n) = 1                    (2.2)
(где, Sum - символ суммы по n)
Иногда (см., например, [1,18] приводятся аргументы в пользу существования закона сохранения суммы энтропии и информации. Это утверждение в наших обозначениях выражается равенством
I[X] + S[X] = const                                                        (2.3)
Оно не следут, однако, из приведенных определений S-информации.
Мы увидим, что при некоторых условиях закон сохранения суммы информации и энтропии действительно существует. Однако соответствующее равенство может быть получено лишь на основе более общего определения информации Шеннона
2.2. Информация Шеннона Более естественно в качестве определения информации использовать разностную характеристику - разность безусловной энтропии (энтропии Больцмана) и условной энтропии [2-9]:
I[X,Y] = S[X] - S[X/Y]                                                     (2.4)
Здесь S[X] - обычная (безусловная ) энтропия Больцмана-Шеннона,
а S[X/Y] - условная энтропия.
Она определяется через соответствующую условную функцию распределения f[X/Y] (f(X,Y) = f[X/Y]f(Y)) следующим образом:
Выражение (2.4) можно переписать в явно симметричном виде:
Знак равенства относится к случаю, когда величины X, Y статистически независимы. По этой причине функцию I[X,Y] можно назвать - корреляционной информацией. Она характеризует информацию о состоянии с двойным набором переменных X, Y, которая определяется их статистической корреляцией.
2.3. Информация открытых систем Конкретизируем общее выражение Шеннона для корреляционной информации с целью выявления зависимости от управляющих параметров. Простейший способ решения этой задачи состоит в следующем [9]. Нарушим симметрию формулы Шеннона, а именно предположим, что функция распределения f(Y) набора переменных Y полностью характеризуется соответствующим набором первых моментов:
f(Y) = g (Y - a), = a.                                                            (2.8)
( где g - обозначает символ дельта)
Примем набор параметров или хотя бы один из них в качестве управляющих параметров. Подставим последнее выражение в формулу Шеннона и выполним интегрирование по Y. В результате получим выражение для информации о совокупности Х при заданном значении управляющих параметров а
Заметим, что такое определение информации не может быть использовано во всех случаях. Действительно, по определению информация - всегда положительная величина. Последнее же выражение может быть в общем случае и отрицательным.
Чтобы обеспечить его положительность, т.е. обеспечить выполнение неравенства I[X/a] >=0, необходимо ввести дополнительное условие. Суть этого дополнительного условия проще всего выяснить на конкретном примере открытой системы…
12. Заключение Из перичисленных во введении вопросов теории информации, рассматриваемых в книге Б.Б. Кадомцева [1], нами дан краткий обзор лишь тех работ, в которых формула Шеннона трансформируется с целью определения информации классических и квантовых открытых систем в зависимости от значений управляющих параметров. Другие же фундаментальные работы и понятия (информационная связь, информационно открытые системы, информационное общение, информационный смысл волновой функции), которые обсуждаются в книге Б.Б. Кадомцева, требуют специального рассмотрения и анализа. Один из основных вопросов обзора состоит в выявлении различия роли S-информации (которая фактически служит лишь мерой неопределенности при статистическом описании) и формулы Шеннона (которая при соответствующей конкретизации может служить мерой информации открытых систем как в процессах временной эволюции, так и при эволюции стационарных состояний в пространстве управляющих параметров). Эффективность конкретизации формулы Шеннона продемонстрирована здесь на ряде классических и квантовых систем, а также на примере медико-биологической системы, основой анализа которой служит специальная статистическая обработка кардиограмм на основе критерия S-теорема [22-24]
Список литературы
1. Кадомцев Б.Б. Динамика и информация. (М., Ред.журн. УФН, 1997); 2-е изд. (М., Ред.журн. УФН, 1999)
http://kirsoft.com.ru/freedom/KSNews_930.htm
2. Shannon C. Bell Syst. Tech. J. 27 379 (1948)
3. Шеннон К. Э. Работы по теории информации и кибернетике (Под ред. Р.Л. Добрушина, О.Б. Лупанова) (М.,ИЛ, 1963)
4. Хинчин А.Я. УМН 11 (1) (1956)
5. Гельфанд И.М., Колмогоров А.Н., Яглом А.М. ДАН СССР 111 745 (1956)
6. Стратонович Р.Л. Теория информации (М., Сов.радио, 1975)
http://kirsoft.com.ru/freedom/KSNews_186.htm
7. Климонтович Ю.Л. Статистическая физика (М., Наука, 1982)
8. Климонтович Ю.Л. Статистическая теория открытых систем Т.1. (М., ТОО Янус, 1995)
http://kirsoft.com.ru/freedom/KSNews_231.htm
9. Klimontovich Yu I. Phys. Scripta 58 54 (1998)
10. Nicolis G, Prigogine I. Self-Organization in Nonequilibrium System (New York: Wiley, 1977)
11. Prigogine I. From Being to Becoming (San Francisco: W.H. Freeman, 1980)
12. Prigogine I, Stengers I. Order out of Chaos (Toronto: Bantam Books, 1984)
13. Васильев В.А, Романовский Ю.М, Яхно В.Г. Автоволновые процессы (М. Наука, 1987)
14. Haken H. Synergetics 2d enl.ad. (Berlin: Springer-Verlag, 1978)
15. Haken H. Advanced Synergetics. ( Springer Series in Synergetics, Vol. 20) (Berlin: Springer-Verlag, 1983)
16. Haken H. Information and Self-Organization. ( Springer Series in Synergetics, Vol. 40) (Berlin: Springer-Verlag, 1988)
17. Haken H. Principles of Brain Functioning ( Springer Series in Synergetics, Vol. 67) (Berlin: Springer, 1996)
18. Волькенштейн М.В. Энтропия и информация (М., Наука, 1986)
19. Стратонович Р.Л. Нелинейная неравновесная термодинамика (М., Наука, 1985)
20. Климонтович Ю.Л. Письма в ЖТФ 9 1089 (1983)
21. Климонтович Ю.Л. Письма в ЖТФ 10 80 (1984)
22. Анищенко В.С, Сапарин П.И, Анищенко Т.Г. ЖТФ 64 (11) 1 (1994)
23. Анищенко В.С. и др. Изв. вузов. Сер. Прикладная нелинейная динамика 2 (3-4) 55 (1994)
24. Климонтович Ю.Л. УФН 166 1231 (1996)
25. Ландау Л.Д, Лифшиц Е.М. Квантовая механика (М., Наука, 1974)
26. Соколов А.А, Тернов И.М, Жуковский В.Ч. Квантовая механика (М., Наука, 1979)
27. Ebeling W, Freund J, Schweitzer F. Komplexe Strukturen: Entropic und Information (Stuttgart, Leipzig: B.G. Teubner, 1998)

  
СТАТИСТИКА

  Веб-дизайн © Kirsoft KSNews™, 2001 Copyright © Трагедия Свободы, 2001-2004