Философские проблемы информатики



страница4/37
Дата12.06.2019
Размер0.64 Mb.
Название файлаЧасть2 - современные проблемы информатики.doc
1   2   3   4   5   6   7   8   9   ...   37
Теория информации К. Шеннона.

В 40-е гг. прошлого столетия американский ученый К. Шеннон, специализировавшийся в вопросах пропускной способности каналов связи и кодирования сообщений, придал мере количества информации более универсальную форму: количество информации стало пониматься как величина энтропии, на которую уменьшается общая энтропия системы в результате получения этой системой информации. Формула эта выражает энтропию через сумму целого ряда вероятностей, помноженных на их логарифмы, и относится только к энтропии (неопределенности) сообщения.

Энтропия – количественная мера неопределённости, снимаемой при получении ниформации.

Иными словами, информативность сообщения обратно пропорциональна его очевидности, предсказуемости, вероятности: чем менее предсказуемо, неочевидно и маловероятно сообщение, тем больше информации оно несет для получателя. Совершенно очевидное (с вероятностью, равной 1) сообщение столь же пусто, сколь полное отсутствие такового (т. е. сообщения, вероятность которого заведомо равна 0). Оба они, согласно допущению Шеннона, неинформативны, не несут получателю никакой информации. По ряду причин, относящихся к математике и связанных с удобствами формализации, энтропия сообщения описывается Шенноном как функция распределения случайных величин.

Статья «Математическая теория связи», была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили по всему миру огромное число исследований. Шеннон обобщил идеи Хартли и ввел понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения М, Хартли предложил использовать логарифмическую функцию . Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные множества сообщений, так и непрерывные множества сообщений.

Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами.



Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения.

Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.




  1. Поделитесь с Вашими друзьями:
1   2   3   4   5   6   7   8   9   ...   37


База данных защищена авторским правом ©nashuch.ru 2019
обратиться к администрации

    Главная страница
Контрольная работа
Курсовая работа
Лабораторная работа
Пояснительная записка
Методические указания
Рабочая программа
Методические рекомендации
Теоретические основы
Практическая работа
Учебное пособие
Общая характеристика
Теоретические аспекты
Общие сведения
Физическая культура
Дипломная работа
Федеральное государственное
Самостоятельная работа
История развития
Направление подготовки
Методическое пособие
Общая часть
квалификационная работа
Технологическая карта
Выпускная квалификационная
Техническое задание
Краткая характеристика
Теоретическая часть
Общие положения
Технология производства
Методическая разработка
Исследовательская работа
прохождении производственной
государственное бюджетное
Гражданское право
Техническое обслуживание
учреждение высшего
Организация работы
Металлические конструкции
Правовое регулирование
Метрология стандартизация
Математическое моделирование
Практическое занятие
Технологическая часть
Понятие предмет
Решение задач
Описание технологического
История возникновения
Уголовное право
Основная часть
Общие требования
Сравнительная характеристика