33. Скорость передачи информации и пропускная способность дискретного канала без помех.

Передача информации происходит во времени, поэтому можно ввести понятие скорости передачи как количество информации, передаваемой в среднем за единицу времени. Для эргодических последовательностей сообщений, где до пускается усреднение во времени, скорость передачи равна:

Здесь J(a_T) — количество информации, содержащейся в последовательности сообщений a_T, общая длительность которых равна Т, причем предполагается, что все сообщения, входящие в последовательность , имеют определенную длительность.

Количество информации, создаваемое источником сообщений в среднем за единицу времени, называется производительностью источника R_и. Эту величину удобно выразить через энтропию источника Н(а). Действительно, при T→0 можно считать J(a_T)=n*H(a) и , где n — число сообщений, а — средняя длительность одного сообщения. Тогда, подставляя в (6.18) значения J(a_T) и T, получим:

Величина для независимых сообщений может быть вычислена как математическое ожидание:

где P(τ_i)=P(a_i) — вероятность сообщения a_i длительностью τ_i. Если длительность всех сообщений одинакова и равна τ_i, выражение (6.19) принимает вид:

Отсюда следует, что наибольшей производительностью обладает источник с максимальной энтропией H(a)_max=logm (см. (6.12)), т. е.:

Выданная источником информация в виде отдельных сообщений поступает в канал связи, где осуществляются кодирование и ряд других преобразований, в результате которых информация переносится уже сигналами и, имеющими другую природу и в общем случае обладающими другими статистическими характеристиками.

Для сигналов также может быть найдена скорость передачи по каналу связи:

Высокая скорость передачи является одним из основных требований, предъявляемых к системам передачи информации. Однако в реальных условиях существует ряд причин, ведущих к ее ограничению. Остановимся на некоторых из них.

В реальном канал е число используемых сигналов всегда конечно, поэтому энтропия в соответствии с (6.12) есть величина ограниченная:

С другой стороны, уменьшение длительности сигналов приводит, как известно, к расширению спектра, что ограничивается полосой пропускания канала. Это в конечном счете ставит предел уменьшению и средней длительности τ. Таким образом, существуют, по крайней мере, две причины: конечное число сигналов и конечная длительность сигналов, которые не позволяют беспредельно повышать скорость передачи информации по каналу связи.

Максимально возможная скорость передачи информации по каналу связи при фиксированных ограничениях называется пропускной способностью канала:

Пропускная способность канала характеризует его предельные возможности в отношении передачи среднего количества информации за единицу времени. Максимум скорости R в выражении (6.25) ищется по всем возможным ансамблям сигналов u. Определим пропускную способность канала, в котором существуют два ограничения: число используемых сигналов не должно превышать m, а длительность их не может быть меньше τ.

Так как Н(u) и независимы, то, согласно выражению (6.25), следует искать максимум Н(u) и минимум .

Тогда:

Для двоичных сигналов m-2 и пропускная способность

т. е. совпадает со скоростью телеграфирования в бодах. При передаче информации простейшими двоичными сигналами — телеграфными посылками — необходимая полоса пропускания канала зависит от частоты манипуляции F_m=1/2τ, которая по определению равна частоте первой гармоники спектра сигнала, представляющего собой периодическую последовательность посылок и пауз. Очевидно, минимальная полоса пропускания канала, при которой еще возможна передача сигналов, F = F_m . Отсюда максимальная скорость передачи двоичных сигналов по каналу без помех равна:

С = V = 2F_m

(предел Найквиста).

Понятие пропускной способности применимо не только ко всему каналу в целом, но и к отдельным его звеньям. Существенным здесь является то, что пропускная способность C’ какого-нибудь звена не превышает пропускной способности C’’ второго звена, если оно расположено внутри первого. Соотношение C’≤C’’ обусловлено возможностью дополнительных ограничений, накладываемых на участок канала при его расширении и снижающих пропускную способность.