Энтропия объединения двух источников

Энтропию объединения двух источников и находят через вероятности совместного появления пар сообщений для всех , которые обозначаются как . Для этого составляется матрица совместных безусловных вероятностей двух источников: Энтропия объединения…

Условная энтропия

Ранее полученная формула определения энтропии является мерой среднего количества информации, на одно сообщение источника статистически независимых сообщений. Такая энтропия называется безусловной. Как известно из математической статистики мерой нарушения статистической независимости сообщений x и y служит условная вероятность p(x/y) появления сообщения x_i при условии, что уже выбрано сообщение y_j или условная вероятность появления сообщения y_j, если появилось сообщение x_i, причем в общем случае p(x/y) \ne p(y/x). Continue Reading

Энтропия источника. Свойства количества информации и энтропии

Количество информации, содержащееся в одном элементарном сообщении x_i, не полностью характеризует источник. Источник дискретных сообщений может быть охарактеризован средним количеством информации, приходящимся на одно элементарное сообщение, носящим название энтропия источника Continue Reading

Способы измерения информации

Предположим, что состояние некоторого объекта или системы заранее известно. Тогда сообщение об этом состоянии не несет никакой информации для ее получателя. Если же состояние объекта изменилось, и источником передано какое-то…

Базовые понятия теории информации

Информация — нематериальная сущность, с помощью которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности. Информация противоположна неопределённости.

Кодирование — преобразование информации на упорядоченный набор символов, элементов, знаков.
Continue Reading

Предмет курса. Виды информации. Теорема дискретизации

Непрерывная информация представляет собой непрерывный процесс изменения некоторой величины.

Дискретная информация представляет собой последовательность отсчётов (замеров значений) непрерывной величины, взятых через некоторый, обычно равный, промежуток времени, т.е. с некоторой частотой дискретизации f Continue Reading

Урок 4. Чем зарядить свой компьютер для эффективной работы в интернет

Здесь приведен перечень рекомендуемого программного обеспечения, которым должны быть оснащены компьютеры студентов Бизнес-информатики для эффективного обучения. Всё, что здесь перечислено и рекомендовано, по возможности, должно быть установлено и проверено дома…

Урок 3. Секреты поиска в Google

Если вы активно пользуетесь Интернетом, то, наверняка, используете поисковик от Google по нескольку раз в день. Но, думаю, что не ошибусь в том, что вы используете его в самой простейшей…

Урок 2. Секреты поиска в Яндекс

Если Вы похожи на меня и много времени проводите в Интернете, то несомненно по нескольку раз в день для поиска патриотично обращаетесь к Яndex, а не к Google. Однако, не…