Теорія інформації

Не плутати з Науковою інформатикою.

Тео́рія інформ́ації (англ. Information theory) — це математичне дослідження кількісного вираження, зберігання та передавання інформації. Заснував цю галузь і забезпечив їй надійну основу Клод Шеннон у 1940-х роках, хоча ранній внесок до цьому напряму зробили в 1920-х роках праці Гаррі Найквіста та Ральфа Гартлі. Вона перебуває на перетині електронної інженерії, математики, статистики, інформатики, нейробіології, фізики та електротехніки.

Ключовою мірою в теорії інформації є ентропія. Ентропія вимірює рівень невизначеності щодо значення випадкової величини або результату випадкового процесу. Наприклад, визначення результату підкидання (інші мови) (що має два рівноймовірні результати) дає менше інформації (меншу ентропію, меншу невизначеність), аніж визначення результату кидання гральної кісточки (що має шість рівноймовірних результатів). До інших важливих мір у теорії інформації належать взаємна інформація, пропускна спроможність каналу, (інші мови) та відносна ентропія. До важливих підрозділів теорії інформації належать кодування джерела, алгоритмічна теорія складності, алгоритмічна теорія інформації та (інші мови).

До застосувань основних предметів теорії інформації належать кодування джерела/стиснення даних (наприклад, для файлів zip) та канальне кодування/виявляння та виправляння помилок (наприклад, для DSL). Її вплив був вирішальним для успіху місій «Вояджер» до глибокого космосу, винайдення компакт-диска, можливості мобільних телефонів і розвитку Інтернету й штучного інтелекту. Ця теорія також знайшла застосування й в інших сферах, як-от індуктивній статистиці,криптографії, нейробіології,сприйнятті,обробці сигналів,мовознавстві, еволюції та функціюванні молекулярних кодів (біоінформатиці), теплофізиці,молекулярній динаміці,чорних дірах, квантових обчисленнях, інформаційному пошуку, збиранні інформації, виявлянні плагіату,розпізнаванні образів, виявлянні аномалій,музичній аналітиці, створенні живопису, проєктуванні (інші мови), вивченні космічного простору, вимірності простору, і навіть епістемології.

Огляд

Теорія інформації вивчає передавання, обробку, виділяння та використання інформації. Абстрактно інформацію можливо розглядати як розв'язання невизначеності. У випадку передавання інформації зашумленим каналом це абстрактне поняття формалізував 1948 року Клод Шеннон у статті під назвою «Математична теорія зв'язку», в якій інформацію розглянуто як набір можливих повідомлень, а метою є передавання цих повідомлень зашумленим каналом, щоби приймач міг відтворити повідомлення з низькою ймовірністю помилки, незважаючи на шум каналу. Головний результат Шеннона, (інші мови), показав, що за великої кількості використань каналу швидкість передачі інформації, яка асимптотично досяжна, дорівнює пропускній спроможності каналу, величині, яка залежить лише від статистичних характеристик каналу, яким передають повідомлення.

Теорія кодування займається пошуком конкретних методів, званих кодами (англ. codes), для підвищення ефективності та зниження рівня помилок при передаванні даних зашумленими каналами, з наближенням до пропускної спроможності каналу. Ці коди можливо умовно поділити на методи стискання даних (кодування джерела) та виправляння помилок (кодування каналу). У випадку останнього знадобилося багато років, щоби знайти методи, можливість яких довів Шеннон.^{[джерело?]}

Третій клас кодів у теорії інформації — алгоритми шифрування (як (інші мови), так і шифри). Поняття, методи й результати з теорії кодування та теорії інформації широко використовують у криптографії та криптоаналізі, наприклад, одиничний бан.^{[джерело?]}

Історичне підґрунтя

Докладніше: (інші мови)

Знаковою подією, що заклала основу дисципліни теорії інформації та привернула до неї негайну світову увагу, стала публікація класичної статті Клода Е. Шеннона «Математична теорія зв'язку» в (інші мови) у липні та жовтні 1948 року. Історик (інші мови) оцінив цю статтю як найважливіше досягнення 1948 року, вище за транзистор, зазначивши, що ця праця була «навіть глибшою й фундаментальнішою» за транзистор. Шеннон став відомим як «батько теорії інформації». Він викладав деякі зі своїх початкових ідей щодо теорії інформації ще 1939 року в листі до Веннівера Буша.

До цієї статті обмежені інформаційно-теоретичні ідеї розробили в Bell Labs, при цьому всі вони неявно виходили з однакової ймовірності подій. У своїй статті 1924 року «Деякі чинники, які впливають на швидкість телеграфу» (англ. Certain Factors Affecting Telegraph Speed) Гаррі Найквіст помістив теоретичний розділ, де кількісно визначив «відомості» (англ. "intelligence") та «швидкість лінії» (англ. "line speed"), з якою їх можливо передавати комунікаційною системою, встановивши співвідношення W = K log m (що нагадує сталу Больцмана), де W — швидкість передачі відомостей, m — кількість різних рівнів напруги, з яких можна обирати на кожному часовому кроці, а K — стала. Стаття Ральфа Гартлі 1928 року «Передавання інформації» (англ. Transmission of Information) використовує термін інформація (англ. information) як вимірювану величину, що відображає здатність приймача розрізняти одну послідовність символів з будь-якими іншими, тим самим кількісно визначаючи інформацію як H = log Sⁿ = n log S, де S — кількість можливих символів, а n — кількість символів у передаванні. Отже, одиницею інформації була десяткова цифра, яку згодом іноді називали гартлі на його честь як одиницю, шкалу або міру інформації. 1940 року Алан Тюрінг використав подібні ідеї як частину статистичного аналізу для розшифровки німецьких шифрів «Енігми» під час Другої світової війни.^{[джерело?]}

Більшість математичного апарату теорії інформації для різноймовірнісних подій розробили для галузі термодинаміки Людвіг Больцман та Джозая Віллард Ґіббз. Зв'язки між інформаційною ентропією та термодинамічною ентропією, включно з важливими внесками (інші мови) 1960-х років, розглянуто в статті (інші мови)».^{[джерело?]}

У революційній і новаторській статті Шеннона, роботу над якою було значною мірою завершено в Bell Labs до кінця 1944 року, Шеннон уперше представив якісну та кількісну модель зв'язку як статистичний процес, що лежить в основі теорії інформації, розпочавши з твердження:

Основна задача зв'язку полягає в тому, щоби відтворити в одній точці, точно або приблизно, повідомлення, вибране в іншій точці. Оригінальний текст (англ.) The fundamental problem of communication is that of reproducing at one point, either exactly or approximately, a message selected at another point.

З нею прийшли ідеї:

• інформаційної ентропії та надмірності джерела, та їхньої значущості через (інші мови);
• взаємної інформації та пропускної спроможності зашумленого каналу, включно з обіцянкою бездоганної передачі без втрат, яку дає теорема про кодування для зашумленого каналу;
• практичного результату закону Шеннона — Гартлі для пропускної спроможності гауссового каналу; а також
• біта — нового способу бачення найфундаментальнішої одиниці інформації.^{[джерело?]}

Кількості інформації

Докладніше: Кількості інформації

Теорія інформації ґрунтується на теорії ймовірностей та статистиці, де кількісно виражену інформацію зазвичай описують у бітах. Теорія інформації часто займається вимірюванням інформації в розподілах, пов'язаних із випадковими величинами. Однією з найважливіших мір є ентропія, що є основою для багатьох інших мір. Ентропія дозволяє кількісно виразити міру інформації в окремій випадковій величині. Іншим корисним поняттям є взаємна інформація, визначена для двох випадкових величин, яка описує міру інформації, спільної між цими величинами, що можливо використовувати для опису їхньої кореляції. Перша величина є властивістю розподілу ймовірності випадкової величини й визначає границю швидкості, з якою дані, породжені незалежними зразками із заданим розподілом, можливо надійно стиснути. Друга є властивістю спільного розподілу двох випадкових величин і є максимальною швидкістю надійного передавання зашумленим каналом в границі довжин блоків, коли статистика каналу визначається цим спільним розподілом.

Вибір основи логарифму в наступних формулах визначає вживану одиницю інформаційної ентропії. Загальновживаною одиницею інформації є біт або шеннон, що ґрунтується на двійковому логарифмі. До інших одиниць належать нат, що ґрунтується на натуральному логарифмі, та десяткова цифра, що ґрунтується на десятковому логарифмі.

Далі вираз вигляду p log p, коли p = 0, вважають за згодою нульовим. Це виправдано тим, що ${\displaystyle \lim _{p\rightarrow 0+}p\log p=0}$ для будь-якої основи логарифму.

Ентропія інформаційного джерела

Виходячи з функції маси ймовірності кожного символу джерела, що передається, ентропію Шеннона H у бітах (на символ) задають як

${\displaystyle H=-\sum _{i}p_{i}\log _{2}(p_{i})}$

де p_i — ймовірність трапляння i-того можливого значення символу джерела. Це рівняння дає ентропію в одиницях «біт» (на символ), оскільки воно використовує логарифм з основою 2, і таку міру ентропії на основі логарифму за основою 2 іноді називають шенноном на його честь. Ентропію також часто обчислюють, використовуючи натуральний логарифм (з основою e, де e — число Ейлера), що дає вимірювання ентропії в натах на символ й іноді спрощує аналіз, усуваючи потребу в додаткових сталих у формулах. Можливі й інші основи, хоча їх використовують рідше. Наприклад, логарифм з основою 2⁸ = 256 дає вимірювання в байтах на символ, а логарифм з основою 10 — у десяткових цифрах (або гартлі) на символ.

Інтуїтивно, ентропія H_X дискретної випадкової величини X є мірою невизначеності (англ. uncertainty), пов'язаної зі значенням X, коли відомий лише її розподіл.

Ентропія джерела, яке видає послідовність з N символів, які незалежні й однаково розподілені (н. о. р.), дорівнює N ⋅ H біт (на повідомлення з N символів). Якщо символи даних джерела однаково розподілені, але не незалежні, ентропія повідомлення довжиною N буде меншою за N ⋅ H.

Ентропія проби Бернуллі як функція ймовірності успіху, часто звана (інші мови), H_b(p). Ця ентропія досягає максимуму в 1 біт на пробу, коли два можливі результати рівноймовірні, як у випадку підкидання симетричної монети.

Якщо передати 1000 бітів (нулів та одиниць), але значення кожного з цих бітів відоме приймачу (має певне значення з упевненістю) ще до передачі, то очевидно, що жодної інформації не передано. Якщо ж кожен біт незалежно й однаково правдоподібно може бути 0 або 1, то передано 1000 шеннонів інформації (частіше званих бітами). Між цими двома крайнощами інформацію можливо кількісно виразити наступним чином. Якщо ${\displaystyle \mathbb {X} }$ — множина всіх повідомлень {x₁, ..., x_n}, якими може бути X, а p(x) — імовірність деякого ${\displaystyle x\in \mathbb {X} }$, то ентропію H величини X визначають як

${\displaystyle H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).}$

(Тут I(x) — власна інформація, що є внеском ентропії окремого повідомлення, а ${\displaystyle \mathbb {E} _{X}}$ — математичне сподівання.) Однією з властивостей ентропії є те, що вона максимізується, коли всі повідомлення у просторі повідомлень рівноймовірні, тобто p(x) = 1/n, тобто найнепередбачуваніші, й у такому випадку H(X) = log n.

Особливий випадок інформаційної ентропії для випадкової величини з двома можливими результатами — функція бінарної ентропії, зазвичай з логарифмом за основою 2, що відтак має одиницею шеннон (Sh):

${\displaystyle H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).}$

Спільна ентропія

Спільна ентропія (англ. joint entropy) двох дискретних випадкових величин X та Y — це просто ентропія їхньої двійки: (X, Y). Це означає, що якщо X та Y незалежні, то їхня спільна ентропія дорівнює сумі їхніх окремих ентропій.

Наприклад, якщо (X, Y) подає положення шахової фігури — X це рядок, а Y це стовпець, то спільна ентропія рядка та стовпця фігури буде ентропією її положення.

${\displaystyle H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,}$

Попри схожість позначень, спільну ентропію не слід плутати з перехресною ентропією (англ. cross-entropy).

Умовна ентропія (неоднозначність)

Умовна ентропія (англ. conditional entropy) або умовна невизначеність (англ. conditional uncertainty) величини X за заданої випадкової величини Y (також звана неоднозначністюX щодо Y, англ. equivocation) — це усереднена умовна ентропія за Y:

${\displaystyle H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).}$

Оскільки ентропія може бути обумовлена випадковою величиною (загальна умовна ентропія) або конкретним значенням цієї випадкової величини (часткова умовна ентропія), слід бути уважними, щоби не плутати ці два визначення умовної ентропії, перше з яких є поширенішим. Основною властивістю цієї форми умовної ентропії є те, що

${\displaystyle H(X|Y)=H(X,Y)-H(Y).\,}$

Взаємна інформація (трансінформація)

Взаємна інформація (англ. mutual information) вимірює кількість інформації про одну випадкову величину, яку можливо отримати, спостерігаючи іншу. Вона важлива в комунікаціях, де її можливо використовувати для максимізування кількості спільної інформації між передаваним та отримуваним сигналами. Взаємну інформацію X відносно Y визначають як

${\displaystyle I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}}$

де SI (англ. Specific mutual Information, конкретна взаємна інформація) — це поточкова взаємна інформація.

Основна властивість взаємної інформації полягає в тому, що

${\displaystyle I(X;Y)=H(X)-H(X|Y).\,}$

Тобто, знаючи Y, можливо заощадити в середньому I(X; Y) бітів при кодуванні X порівняно з ситуацією, коли Y невідома.

Взаємна інформація симетрична:

${\displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,}$

Взаємну інформацію можливо виразити як усереднення розходження Кульбака — Лейблера (приросту інформації) апостеріорного розподілу ймовірності X за заданого значення Y з апріорним розподілом X:

${\displaystyle I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].}$

Іншими словами, це міра того, наскільки в середньому зміниться розподіл імовірності X, якщо задано значення Y. Її часто переобчислюють як розходження добутку відособлених розподілів зі справжнім спільним розподілом:

${\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).}$

Взаємна інформація тісно пов'язана з критерієм логарифмічного відношення правдоподібностей у контексті таблиць спряженості та поліноміального розподілу, а також із критерієм χ² Пірсона: взаємну інформацію можливо вважати статистикою для оцінювання незалежності пари змінних, і вона має добре визначений асимптотичний розподіл.

Розходження Кульбака — Лейблера (приріст інформації)

Розходження Кульбака — Лейблера (англ. Kullback–Leibler divergence, або розходження інформації, англ. information divergence, приріст інформації, англ. information gain, чи відносна ентропія, англ. relative entropy) — це спосіб порівняння двох розподілів: «істинного» розподілу ймовірності ${\displaystyle p(X)}$ та довільного розподілу ${\displaystyle q(X)}$. Якщо ми стискаємо дані, вважаючи, що їхній розподіл це ${\displaystyle q(X)}$, тоді як насправді правильний розподіл це ${\displaystyle p(X)}$, розходження Кульбака–Лейблера визначає середню кількість додаткових бітів на дані, необхідних для стискання. Його відтак визначають як

${\displaystyle D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.}$

Хоча іноді його й використовують як «метрику відстані», КЛ-розходження не є справжньою метрикою, оскільки воно не симетричне й не задовольняє нерівність трикутника (що робить його напів-квазиметрикою).

Іншим тлумаченням КЛ-розходження є «зайва несподіваність» (англ. "unnecessary surprise"), створювана апріорним розподілом у порівнянні з істинним: припустімо, що число X буде випадковим чином обрано з дискретної множини з розподілом ймовірності ${\displaystyle p(x)}$. Якщо Аліса знає істинний розподіл ${\displaystyle p(x)}$, а Боб вважає (має апріорне переконання), що цим розподілом є ${\displaystyle q(x)}$, то для Боба побачене значення X у середньому буде більш несподіваним, аніж для Аліси. КЛ-розходження є (об'єктивним) очікуваним значенням (суб'єктивної) несподіваності для Боба, мінус несподіваність для Аліси, виміряним у бітах, якщо логарифм взято за основою 2. Таким чином, міру того, наскільки «помилковим» є апріорне переконання Боба, можливо кількісно виразити у вигляді очікуваної «зайвої несподіваності» для нього.

Спрямована інформація

(інші мови) (англ. directed Information) ${\displaystyle I(X^{n}\to Y^{n})}$ — це міра в теорії інформації, що кількісно визначає інформаційний потік від випадкового процесу ${\displaystyle X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}}$ до випадкового процесу ${\displaystyle Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}}$. Термін спрямована інформація запровадив Джеймс Мессі, її визначено як

${\displaystyle I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})}$,

де ${\displaystyle I(X^{i};Y_{i}|Y^{i-1})}$ — (інші мови) ${\displaystyle I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})}$.

На відміну від взаємної інформації, спрямована інформація не симетрична. ${\displaystyle I(X^{n}\to Y^{n})}$ вимірює кількість інформації, що передається причинно^{[прояснити: ком.]} від ${\displaystyle X^{n}}$ до ${\displaystyle Y^{n}}$. Спрямована інформація знаходить широке застосування в задачах, де важливу роль відіграє причинність, як-от пропускна спроможність каналу зі зворотним зв'язком, пропускна спроможність дискретних мереж (інші мови) зі зворотним зв'язком,ставки з причинною додатковою інформацією,стиснення з причинною додатковою інформацією, постановки комунікації керування в реальному часі, та у статистичній фізиці.

Інші кількості

До інших важливих інформаційно-теоретичних кількостей належать ентропія Реньї та ентропія Цалліса (узагальнення поняття ентропії), диференціальна ентропія (узагальнення кількостей інформації для неперервних розподілів) та (інші мови). Також було запропоновано (інші мови) як міру кількості інформації, використаної для ухвалення рішення.

Теорія кодування

Докладніше: Теорія кодування

Зображення подряпин на зчитуваній поверхні CD-R. Музичні й інформаційні CD кодують з використанням кодів з виправлянням помилок, тому їх можливо прочитати навіть за наявності незначних подряпин, використовуючи виявляння й виправляння помилок.

Теорія кодування — одне з найважливіших і найбезпосередніших застосувань теорії інформації. Її можливо поділити на теорію кодування джерела та теорію кодування каналу. Використовуючи статистичний опис даних, теорія інформації визначає кількість бітів, необхідних для опису даних, що є інформаційною ентропією джерела.

• Стиснення даних (кодування джерела): для задачі стиснення існують дві постановки:
  • стиснення без втрат: дані мусять відновлюватися точно;
  • стиснення з утратами: виділяє стільки бітів, скільки необхідно для відновлення даних із заданим рівнем точності, що вимірюється функцією спотворення. Цей підрозділ теорії інформації називають (інші мови) (англ. rate–distortion theory).
• Коди з виправлянням помилок (кодування каналу): тоді як стиснення даних усуває якомога більше надмірності, код з виправлянням помилок додає саме ту надмірність (тобто виправляння помилок), яка необхідна для ефективного й надійного передавання даних зашумленим каналом.

Цей поділ теорії кодування на стиснення й передавання обґрунтовано теоремами про передавання інформації, або теоремами про розділення джерела й каналу, які підтверджують використання бітів як універсальної валюти для інформації в багатьох контекстах. Проте ці теореми справедливі лише в ситуаціях, коли один передавач прагне спілкуватися з одним приймачем. У випадках, коли є понад одного передавача (канал із множинним доступом), понад одного приймача (канал мовлення) або проміжні «помічники» ((інші мови), англ. relay channel), чи для загальніших мереж, стиснення з подальшим передавання може вже не бути оптимальним.

Теорія джерела

Будь-який процес, що породжує послідовні повідомлення, можливо розглядати як джерело (англ. source) інформації. Джерело без пам'яті (англ. memoryless) — це таке джерело, в якому кожне повідомлення — незалежна й однаково розподілена випадкова величина, тоді як властивості ергодичності та стаціонарності накладають менш жорсткі обмеження. Усі такі джерела стохастичні. Ці терміни добре вивчені й поза межами теорії інформації.

Швидкість

Інформаційна швидкість (англ. rate) — це усереднена ентропія на символ. Для джерел без пам'яті це просто ентропія кожного символу, тоді як у випадку стаціонарного стохастичного процесу це

${\displaystyle r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );}$

тобто умовна ентропія символу за заданих всіх попередньо породжених символів. Для загальнішого випадку не обов'язково стаціонарного процесу середня швидкість (англ. average rate) це

${\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});}$

тобто границя спільної ентропії на символ. Для стаціонарних джерел ці два вирази дають однаковий результат.

(інші мови) (англ. information rate) визначають як

${\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});}$

У теорії інформації часто говорять про «швидкість» або «ентропію» мови. Це доречно, наприклад, коли джерело інформації — англомовна проза. Швидкість джерела інформації пов'язана з його надмірністю та можливістю стиснення, що є предметом кодування джерела.

Пропускна спроможність каналу

Докладніше: Пропускна спроможність каналу

Передавання інформації каналом — основний мотив теорії інформації. Проте канали часто не забезпечують точного відтворення сигналу; його якість часто можуть знижувати шум, періоди тиші та інші форми спотворення сигналу.

Розгляньмо процес передавання дискретним каналом. Просту модель процесу подано нижче:

${\displaystyle {\xrightarrow[{\text{Повідомлення}}]{W}}{\begin{array}{|c| }\hline {\text{Кодувальник}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {{\text{Закодована}} \atop {\text{послідовність}}} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Канал}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {{\text{Отримана}} \atop {\text{послідовність}}} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Декодувальник}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {{\text{Гадане}} \atop {\text{повідомлення}}} }]{\hat {W}}}}$

Тут X подає простір передаваних повідомлень, а Y — простір отримуваних повідомлень за одиницю часу нашим каналом. Нехай p(y|x) — умовна ймовірність Y за заданого X. Розгляньмо p(y|x) як притаманну незмінну властивість нашого каналу (що відображає природу його шуму). Тоді спільний розподіл X та Y повністю визначається нашим каналом і вибором f(x), відособленого розподілу повідомлень, які ми обираємо для передавання каналом. За цих обмежень ми би хотіли максимізувати швидкість інформації, або сигнал, який можливо передавати цим каналом. Відповідною мірою для цього є взаємна інформація, і цю максимальну взаємну інформацію називають пропускною спроможністю каналу (англ. channel capacity), та задають як

${\displaystyle C=\max _{f}I(X;Y).\!}$

Ця пропускна спроможність має наступну властивість, пов'язану з передаванням на інформаційній швидкості R (де R зазвичай вимірюють у бітах на символ). Для будь-якої інформаційної швидкості R < C та похибки кодування ε > 0, за достатньо великого N, існує кодування довжини N, швидкість ≥ R та алгоритм декодування, такі, що максимальна ймовірність помилки в блоці ≤ ε; тобто завжди можливо передавати з довільно малою блоковою похибкою. Крім того, для будь-якої швидкості R > C передавати з довільно малою блоковою похибкою неможливо.

Канальне кодування (англ. channel coding) займається пошуком таких майже оптимальних кодувань, які можливо використовувати для передавання даних зашумленим каналом з невеликою кодувальною похибкою на швидкості, наближеній до пропускної спроможності каналу.

Пропускна спроможність окремих моделей каналів

• Канал аналогового передавання безперервного часу, підданий гауссовому шуму, — див. теорему Шеннона — Гартлі.
• (інші мови) (ДСК) з імовірністю спотворення p — це канал із бінарним входом і бінарним виходом, який змінює вхідний біт на протилежний з імовірністю p. ДСК має пропускну спроможність 1 - H_b(p) бітів на одне використання каналу, де H_b — функція бінарної ентропії для логарифму за основою 2:

• (інші мови) (ДКС) з імовірністю стирання p — це канал із бінарним входом та тернарним виходом. Можливі виходи каналу — 0, 1 та третій символ 'e', званий стиранням (англ. erasure). Стирання подає повну втрату інформації про вхідний біт. Пропускна спроможність ДКС становить 1 - p бітів на одне використання каналу.

Канали з пам'яттю та спрямована інформація

На практиці багато каналів мають пам'ять. Тобто, у момент часу ${\displaystyle i}$ канал визначається умовною ймовірністю ${\displaystyle P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1})}$. Часто зручніше використовувати запис ${\displaystyle x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})}$, тоді канал стає ${\displaystyle P(y_{i}|x^{i},y^{i-1})}$. У такому випадку пропускна спроможність визначається швидкістю взаємної інформації, коли зворотний зв'язок недоступний, та швидкістю (інші мови), якщо зворотний зв'язок наявний чи відсутній (якщо зворотний зв'язок відсутній, спрямована інформація дорівнює взаємній інформації).

Замінна інформація

Замінна інформація (англ. fungible information) — це інформація, для якої засоби кодування не мають значення. Класичні теоретики інформації та спеціалісти з комп'ютерних наук здебільшого цікавляться інформацією саме цього типу. Іноді її називають вимовною (англ. speakable) інформацією.

Застосування в інших галузях

Використання в розвідці та прикладна секретність

Поняття теорії інформації застосовні до криптографії та криптоаналізу. Одиницю інформації, введену Тюрінгом — бан, використовували у проекті (інші мови)» для зламування коду німецької машини «Енігма», що прискорило завершення Другої світової війни в Європі. Сам Шеннон визначив важливе поняття, відоме тепер як відстань єдиності. Виходячи з надмірності відкритого тексту, це поняття намагається оцінити мінімальну кількість шифротексту, необхідну для забезпечення унікальної розшифровуваності.

Теорія інформації підказує нам, що зберігати секрети набагато складніше, ніж може здатися на перший погляд. Атака повним перебором може зламувати системи на основі асиметричних ключів, або більшості широко використовуваних методів шифрування з симетричними ключами (іноді званих алгоритмами з секретним ключем), як-от блокового шифру. Безпека всіх таких методів ґрунтується на припущенні, що не існує відомих атак, здатних зламати їх за практично прийнятний час.

(інші мови) охоплює такі методи як одноразовий блокнот, що не вразливі до подібних атак повним перебором. У таких випадках додатна умовна взаємна інформація між відкритим і шифрованим текстом (обумовлена ключем) може забезпечувати належну передачу, тоді як безумовна взаємна інформація між відкритим і шифрованим текстом залишається нульовою, що забезпечує абсолютно захищений зв'язок. Іншими словами, перехоплювач не зможе покращити свої припущення щодо відкритого тексту, здобувши інформацію про шифротекст без ключа. Проте, як і в будь-якій іншій криптографічній системі, для правильного застосування навіть інформаційно-теоретично захищених методів потрібно бути уважними; проєкт «Венона» виявився здатним зламати одноразові блокноти Радянського Союзу через їхнє неналежне повторне використання ключового матеріалу.

Генерування псевдовипадкових чисел

Генератори псевдовипадкових чисел широко доступні в бібліотеках мов програмування та прикладних програмах. Проте майже повсюдно вони непридатні для криптографічного застосування, оскільки не обходять детерміновану природу сучасного комп'ютерного обладнання та програмного забезпечення. Один з класів удосконалених генераторів випадкових чисел називають криптографічно стійкими генераторами псевдовипадкових чисел, але навіть вони потребують для належної роботи випадкових початкових значень ззовні програмного забезпечення. Їх можливо отримувати за допомогою (інші мови), якщо робити це належним чином. Мірою достатньої випадковості в екстракторах є (інші мови), величина, пов'язана з ентропією Шеннона через ентропію Реньї; ентропію Реньї також використовують для оцінювання випадковості в криптографічних системах. Хоч ці міри й пов'язані, відмінності між ними означають, що випадкова величина з високою ентропією Шеннона не обов'язково задовільна для використання в екстракторі та, відповідно, в криптографії.

Сейсмічна розвідка

Одним із ранніх комерційних застосувань теорії інформації була галузь сейсмічного розвідування нафти. Робота в цій галузі уможливила відокремлювання небажаного шуму від потрібного сейсмічного сигналу. Теорія інформації та цифрова обробка сигналів пропонують значне підвищення роздільності та чіткості зображень порівняно з попередніми аналоговими методами.

Семіотика

Семіотики (інші мови) та (інші мови) у своїх працях із семіотики розглядали Чарлза Сандерса Пірса як творця теорії інформації.^:171:137 Наута визначав семіотичну теорію інформації як дослідження «внутрішніх процесів кодування, фільтрування та обробки інформації.»^:91

Поняття з теорії інформації, як-от керування надмірністю та кодом, використовували такі семіотики як Умберто Еко та (інші мови) для пояснення ідеології як форми передавання повідомлення, за якої домінантний соціальний клас передає своє повідомлення, використовуючи знаки з високим рівнем надмірності, так що з множини конкурентних повідомлень декодується лише одне.

Організація інтегрованої обробки нейронної інформації

Кількісні методи теорії інформації застосували у когнітивістиці для аналізу організації інтегрованої обробки нейронної інформації в контексті (інші мови) в когнітивній нейронауці. У цьому контексті визначають або інформаційно-теоретичну міру, таку як функційні кластери (англ. functional clusters, модель функційного кластерування та гіпотеза динамічного ядра (ГДЯ, англ. dynamic core hypothesis, DCH) Джеральда Едельмана та Джуліо Тононі) або ефективна інформація (англ. effective information, (інші мови) (ТІІ, англ. integrated information theory, IIT) свідомості Тононі), що ґрунтується на повторновикористовній організації обробки, тобто синхронізації нейрофізіологічної активності між групами нейронних сукупностей, або міру мінімізації вільної енергії на основі статистичних методів (принцип вільної енергії Карла Фрістана, інформаційно-теоретична міра, яка стверджує, що кожна адаптивна зміна в самоорганізовній системі веде до мінімізації вільної енергії, та гіпотеза (інші мови)).

Інші застосування

Теорія інформації також знаходить застосування у пошуку позаземного розуму, дослідженні чорних дір, біоінформатиці^{[джерело?]}, та (інші мови).

Див. також

• Портал «Математика»

• (інші мови)
• Баєсове висновування
• (інші мови)
• (інші мови)
• Мінімальна довжина опису
• Мінімальна довжина повідомлення
• (інші мови) — узагальнення теорії інформації, яке охоплює квантову інформацію
• Теорія масового спілкування
• Філософія інформації
• Формальні науки

Застосування

• Азартні ігри
• (інші мови)
• (інші мови)
• Кібернетика
• Криптоаналіз
• Криптографія
• Розвідка (збирання інформації)
• Сейсмічна розвідка

Історія

• Гартлі, Р. В. Л.
• (інші мови)
• (інші мови)
• (інші мови)
• Шеннон, К. Е.
• Андрій Колмогоров

Теорія

• (інші мови)
• Асиметрична інформація
• (інші мови)
• (інші мови)
• Інформація за Фішером
• Квантова інформатика
• Кодування джерела
• Колмогоровська складність
• (інші мови)
• (інші мови)
• (інші мови)
• Теорія виявляння
• (інші мови)
• Теорія кодування
• Теорія оцінювання
• Філософія інформації

Поняття

• Бан (одиниця виміру)
• Взаємна інформація
• Відстань Геммінга
• Відстань єдиності
• Власна інформація
• Декодувальник
• Джерело інформації
• Диференціальна ентропія
• Ентропія Реньї
• Замінна інформація
• Інформаційна ентропія
• (інші мови)
• Канал зв'язку
• Надмірність
• Перплексивність
• Поточкова взаємна інформація (ПВІ)
• (інші мови)
• Прихований канал
• Пропускна спроможність каналу
• (інші мови)
• Розходження Кульбака — Лейблера
• Спільна ентропія
• Стиснення даних
• Умовна ентропія

Примітки

1. Schneider, Thomas D. (2006). Claude Shannon: Biologist. IEEE Engineering in Medicine and Biology Magazine: The Quarterly Magazine of the Engineering in Medicine & Biology Society (англ.). 25 (1): 30—33. doi:10.1109/memb.2006.1578661. ISSN 0739-5175. PMC 1538977. PMID 16485389.
2. Cruces, Sergio; Martín-Clemente, Rubén; Samek, Wojciech (3 липня 2019). Information Theory Applications in Signal Processing. Entropy (англ.). 21 (7): 653. Bibcode:2019Entrp..21..653C. doi:10.3390/e21070653. ISSN 1099-4300. PMC 7515149. PMID 33267367.
3. Baleanu, D.; Balas, Valentina Emilia; Agarwal, Praveen, ред. (2023). Fractional Order Systems and Applications in Engineering. Advanced Studies in Complex Systems (англ.). London, United Kingdom: Academic Press. с. 23. ISBN 978-0-323-90953-2. OCLC 1314337815.
4. (27 квітня 2016). Claude Shannon: Tinkerer, Prankster, and Father of Information Theory. IEEE (англ.). Процитовано 8 листопада 2024.
5. Shi, Zhongzhi (2011). Advanced Artificial Intelligence (англ.). World Scientific Publishing. с. 2. doi:10.1142/7547. ISBN 978-981-4291-34-7.
6. Burnham, K. P.; Anderson, D. R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach (англ.) (вид. Second). New York: Springer Science. ISBN 978-0-387-95364-9.
7. F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). Spikes: Exploring the Neural Code (англ.). The MIT press. ISBN 978-0262681087.
8. Delgado-Bonal, Alfonso; Martín-Torres, Javier (3 листопада 2016). Human vision is determined based on information theory. Scientific Reports (англ.). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.
9. cf; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). Bayesian inference of phylogeny and its impact on evolutionary biology. Science (англ.). 294 (5550): 2310—2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192. S2CID 2138288.
10. Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). Thomas D. Schneider], Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences. Gene (англ.). 215 (1): 111—122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.
11. Jaynes, E. T. (1957). Information Theory and Statistical Mechanics. Phys. Rev. (англ.). 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620. S2CID 17870175.
12. Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (5 жовтня 2020). Method of information entropy for convergence assessment of molecular dynamics simulations. Journal of Applied Physics (англ.). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078.  1691442. S2CID 225010720.
13. Bennett, Charles H.; Li, Ming; Ma, Bin (2003). Chain Letters and Evolutionary Histories. Scientific American (англ.). 288 (6): 76—81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Архів оригіналу за 7 жовтня 2007. Процитовано 11 березня 2008. [Архівовано 2007-10-07 у Wayback Machine.]
14. David R. Anderson (1 листопада 2003). Some background on why people in the empirical sciences may want to better understand the information-theoretic methods (PDF) (англ.). Архів оригіналу (PDF) за 23 липня 2011. Процитовано 23 червня 2010. [Архівовано 2011-07-23 у Wayback Machine.]
15. Loy, D. Gareth (2017), Pareyon, Gabriel; Pina-Romero, Silvia; Agustín-Aquino, Octavio A.; Lluis-Puebla, Emilio (ред.), Music, Expectation, and Information Theory, The Musical-Mathematical Mind: Patterns and Transformations, Computational Music Science (англ.), Cham: Springer International Publishing, с. 161—169, doi:10.1007/978-3-319-47337-6_17, ISBN 978-3-319-47337-6, процитовано 19 вересня 2024
16. Rocamora, Martín; Cancela, Pablo; Biscainho, Luiz (5 квітня 2019). Information Theory Concepts Applied to the Analysis of Rhythm in Recorded Music with Recurrent Rhythmic Patterns. Journal of the Audio Engineering Society (англ.). 67 (4): 160—173. doi:10.17743/jaes.2019.0003.
17. Marsden, Alan (2020). New Prospects for Information Theory in Arts Research. Leonardo (англ.). 53 (3): 274—280. doi:10.1162/leon_a_01860. ISSN 0024-094X.
18. Pinkard, Henry; Kabuli, Leyla; Markley, Eric; Chien, Tiffany; Jiao, Jiantao; Waller, Laura (2024). Universal evaluation and design of imaging systems using information estimation (англ.). arXiv:2405.20559 [physics.optics].
19. Wing, Simon; Johnson, Jay R. (1 лютого 2019). Applications of Information Theory in Solar and Space Physics. Entropy (англ.). 21 (2): 140. Bibcode:2019Entrp..21..140W. doi:10.3390/e21020140. ISSN 1099-4300. PMC 7514618. PMID 33266856.
20. Kak, Subhash (26 листопада 2020). Information theory and dimensionality of space. Scientific Reports (англ.). 10 (1): 20733. doi:10.1038/s41598-020-77855-9. ISSN 2045-2322.
21. Harms, William F. (1998). The Use of Information Theory in Epistemology. Philosophy of Science (англ.). 65 (3): 472—501. doi:10.1086/392657. ISSN 0031-8248. JSTOR 188281.
22. Gleick, 2011, с. 3—4.
23. Horgan, John (27 квітня 2016). Claude Shannon: Tinkerer, Prankster, and Father of Information Theory. IEEE (англ.). Процитовано 30 вересня 2023.
24. Roberts, Siobhan (30 квітня 2016). The Forgotten Father of the Information Age. The New Yorker (амер.). ISSN 0028-792X. Процитовано 30 вересня 2023.
25. Tse, David (22 грудня 2020). How Claude Shannon Invented the Future. Quanta Magazine (англ.). Процитовано 30 вересня 2023.
26. Braverman, Mark (19 вересня 2011). Information Theory in Computer Science (PDF) (англ.).
27. Reza, 1994.
28. Килівник, В.С.; Смірнова, В.Л.; Панчишин, Н.Я. (2019). Теорія інформації та її застосування в медичній реабілітації (PDF). Вісник медичних і біологічних досліджень (укр.). ТНМУ (1): 70—75. Архів (PDF) оригіналу за 6 березня 2022.
29. Ash, 1990.
30. Жураковський та Полторак, 2001, с. 36—40.
31. Коваленко, 2020, с. 38—41.
32. Massey, James (1990), Causality, Feedback And Directed Information, Proc. 1990 Intl. Symp. on Info. Th. and its Applications (англ.), CiteSeerX 10.1.1.36.5688
33. Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). Finite State Channels With Time-Invariant Deterministic Feedback. IEEE Transactions on Information Theory (англ.). 55 (2): 644—662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
34. Kramer, G. (January 2003). Capacity results for the discrete memoryless network. IEEE Transactions on Information Theory (англ.). 49 (1): 4—21. doi:10.1109/TIT.2002.806135.
35. Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (June 2011). Interpretations of Directed Information in Portfolio Theory, Data Compression, and Hypothesis Testing. IEEE Transactions on Information Theory (англ.). 57 (6): 3248—3259. arXiv:0912.4872. doi:10.1109/TIT.2011.2136270. S2CID 11722596.
36. Simeone, Osvaldo; Permuter, Haim Henri (June 2013). Source Coding When the Side Information May Be Delayed. IEEE Transactions on Information Theory (англ.). 59 (6): 3607—3618. arXiv:1109.1293. doi:10.1109/TIT.2013.2248192. S2CID 3211485.
37. Charalambous, Charalambos D.; Stavrou, Photios A. (August 2016). Directed Information on Abstract Spaces: Properties and Variational Equalities. IEEE Transactions on Information Theory (англ.). 62 (11): 6019—6052. arXiv:1302.3971. doi:10.1109/TIT.2016.2604846. S2CID 8107565.
38. Tanaka, Takashi; Esfahani, Peyman Mohajerin; Mitter, Sanjoy K. (January 2018). LQG Control With Minimum Directed Information: Semidefinite Programming Approach. IEEE Transactions on Automatic Control (англ.). 63 (1): 37—52. arXiv:1510.04214. doi:10.1109/TAC.2017.2709618. S2CID 1401958. Архів оригіналу за 12 квітня 2024 — через TU Delft Repositories.
39. Vinkler, Dror A; Permuter, Haim H; Merhav, Neri (20 квітня 2016). Analogy between gambling and measurement-based work extraction. Journal of Statistical Mechanics: Theory and Experiment (англ.). 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.
40. Jerry D. Gibson (1998). Digital Compression for Multimedia: Principles and Standards (англ.). Morgan Kaufmann. ISBN 1-55860-369-7.
41. Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). Finite State Channels With Time-Invariant Deterministic Feedback. IEEE Transactions on Information Theory (англ.). 55 (2): 644—662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
42. Bartlett, Stephen D.; Rudolph, Terry; (April–June 2007). Reference frames, superselection rules, and quantum information. Reviews of Modern Physics (англ.). 79 (2): 555—606. arXiv:quant-ph/0610030. Bibcode:2007RvMP...79..555B. doi:10.1103/RevModPhys.79.555.
43. Peres, A.; P. F. Scudo (2002b). A. Khrennikov (ред.). Quantum Theory: Reconsideration of Foundations (англ.). Växjö University Press, Växjö, Sweden. с. 283.
44. Haggerty, Patrick E. (1981). The corporation and innovation. Strategic Management Journal (англ.). 2 (2): 97—118. doi:10.1002/smj.4250020202.
45. Nauta, Doede (1972). The Meaning of Information (англ.). The Hague: Mouton. ISBN 9789027919960.
46. Nöth, Winfried (January 2012). Charles S. Peirce's theory of information: a theory of the growth of symbols and of knowledge. Cybernetics and Human Knowing (англ.). 19 (1–2): 137—161.
47. Nöth, Winfried (1981). "Semiotics of ideology". Semiotica (англ.), Issue 148.
48. Maurer, H. (2021). Chapter 10: Systematic Class of Information Based Architecture Types. Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism (англ.). Boca Raton/FL: CRC Press. doi:10.1201/9781351043526. ISBN 978-1-351-04352-6.
49. Edelman, G.M.; Tononi, G. (2000). A Universe of Consciousness: How Matter Becomes Imagination (англ.). New York: Basic Books. ISBN 978-0465013777.
50. Tononi, G.; Sporns, O. (2003). Measuring information integration. BMC Neuroscience (англ.). 4: 1—20. doi:10.1186/1471-2202-4-31. PMC 331407. PMID 14641936.
51. Tononi, G. (2004a). An information integration theory of consciousness. BMC Neuroscience (англ.). 5: 1—22. doi:10.1186/1471-2202-5-42. PMC 543470. PMID 15522121.
52. Tononi, G. (2004b). Consciousness and the brain: theoretical aspects. У Adelman, G.; Smith, B. (ред.). Encyclopedia of Neuroscience (англ.) (вид. 3rd). Amsterdam, Oxford: Elsevier. ISBN 0-444-51432-5. Архів (PDF) оригіналу за 2 грудня 2023.
53. Friston, K.; Stephan, K.E. (2007). Free-energy and the brain. Synthese (англ.). 159 (3): 417—458. doi:10.1007/s11229-007-9237-y. PMC 2660582. PMID 19325932.
54. Friston, K. (2010). The free-energy principle: a unified brain theory. Nature Reviews Neuroscience (англ.). 11 (2): 127—138. doi:10.1038/nrn2787. PMID 20068583.
55. Friston, K.; Breakstear, M.; Deco, G. (2012). Perception and self-organized instability. Frontiers in Computational Neuroscience (англ.). 6: 1—19. doi:10.3389/fncom.2012.00044. PMC 3390798. PMID 22783185.
56. Friston, K. (2013). Life as we know it. Journal of the Royal Society Interface (англ.). 10 (86): 20130475. doi:10.1098/rsif.2013.0475. PMC 3730701. PMID 23825119.
57. Kirchhoff, M.; Parr, T.; Palacios, E.; Friston, K.; Kiverstein, J. (2018). The Markov blankets of life: autonomy, active inference and the free energy principle. Journal of the Royal Society Interface (англ.). 15 (138): 20170792. doi:10.1098/rsif.2017.0792. PMC 5805980. PMID 29343629.
58. ; ; Johnston, Simon; Hanser, Sean F. (February 2011). Information theory, animal communication, and the search for extraterrestrial intelligence. Acta Astronautica (англ.). 68 (3–4): 406—417. Bibcode:2011AcAau..68..406D. doi:10.1016/j.actaastro.2009.11.018.

Література

Класичні праці

• Shannon, C.E. (1948), "A Mathematical Theory of Communication", Bell System Technical Journal (англ.), 27, pp. 379–423 & 623–656, July & October, 1948. PDF.
  Примітки та інші формати.
• R.V.L. Hartley, "Transmission of Information", Bell System Technical Journal (англ.), July 1928
• Andrey Kolmogorov (1968), "Three approaches to the quantitative definition of information" in (інші мови) (англ.), 2, pp. 157–168. (Колмогоров, А. Н. (1965). Три подхода к определению понятия «количество информации». Пробл. передачи информ. (рос.). 1 (1): 3—11. Архів оригіналу за 26 червня 2017.)

Інші журнальні статті

• J. L. Kelly Jr., Princeton, "A New Interpretation of Information Rate" Bell System Technical Journal (англ.), Vol. 35, July 1956, pp. 917–26.
• R. Landauer, IEEE.org, "Information is Physical" Proc. Workshop on Physics and Computation PhysComp'92 (англ.) (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1–4.
• Landauer, R. (1961). Irreversibility and Heat Generation in the Computing Process (PDF). IBM J. Res. Dev. (англ.). 5 (3): 183—191. doi:10.1147/rd.53.0183.
• Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). Multivariate information measures: an experimentalist's perspective (англ.). arXiv:1111.6857 [cs.IT].

Підручники з теорії інформації

• Alajaji, F. and Chen, P.N. An Introduction to Single-User Information Theory. (англ.) Singapore: Springer, 2018. ISBN 978-981-10-8000-5
• Arndt, C. Information Measures, Information and its Description in Science and Engineering (англ.) (Springer Series: Signals and Communication Technology), 2004, ISBN 978-3-540-40855-0
• Ash, Robert B. (1990) [1965]. Information Theory (англ.). New York: Dover Publications, Inc. ISBN 0-486-66521-6.
• Gallager, R. Information Theory and Reliable Communication. (англ.) New York: John Wiley and Sons, 1968. ISBN 0-471-29048-3
• Goldman, S. Information Theory. (англ.) New York: Prentice Hall, 1953. New York: Dover 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
• Cover, Thomas; Thomas, Joy A. (2006). Elements of information theory (англ.) (вид. 2nd). New York: Wiley-Interscience. ISBN 0-471-24195-4.
• Csiszar, I, Korner, J. Information Theory: Coding Theorems for Discrete Memoryless Systems (англ.) Akademiai Kiado: 2nd edition, 1997. ISBN 963-05-7440-3
• (інші мови) Information Theory, Inference, and Learning Algorithms (англ.) Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
• Mansuripur, M. Introduction to Information Theory. (англ.) New York: Prentice Hall, 1987. ISBN 0-13-484668-0
• (інші мови). The Theory of Information and Coding. (англ.) Cambridge, 2002. ISBN 978-0521831857
• Pierce, JR. "An introduction to information theory: symbols, signals and noise". (англ.) Dover (2nd Edition). 1961 (перевидано Dover 1980).
• (1994) [1961]. An Introduction to Information Theory (англ.). New York: Dover Publications, Inc. ISBN 0-486-68210-2.
• Shannon, Claude; Weaver, Warren (1949). The Mathematical Theory of Communication (PDF) (англ.). Urbana, Illinois: University of Illinois Press. ISBN 0-252-72548-4. LCCN 49-11922.
• Stone, JV. Chapter 1 of book "Information Theory: A Tutorial Introduction" (англ.), University of Sheffield, England, 2014. ISBN 978-0956372857.
• Yeung, RW. A First Course in Information Theory (англ.) Kluwer Academic/Plenum Publishers, 2002. ISBN 0-306-46791-7.
• Yeung, RW. Information Theory and Network Coding (англ.) Springer 2008, 2002. ISBN 978-0-387-79233-0

Українською

• Жураковський, Ю.П.; Полторак, В.П. (2001). Теорія інформації та кодування (PDF) (укр.). Київ: Вища школа.
• Жураковський, Ю. П.; Гніліцький, В. В. (2002). Теорія інформації та кодування в задачах: Навчальний посібник (укр.). Житомир: ЖІТІ. Архів оригіналу за 23 липня 2024.
• Кожевников, В.Л.; Кожевников, А.В. (2012). Теорія інформації та кодування (PDF) (укр.). Дніпро: НГУ. Архів оригіналу (PDF) за 25 березня 2022.
• Коваленко, А.Є. (2020). Теорія інформації і кодування: курс лекцій (PDF) (укр.). Київ: КПІ. Архів (PDF) оригіналу за 26 липня 2023.
• Гусєв, О.Ю.; Конахович, Г.Ф.; Корнієнко, В.І.; Кузнецов, Г.В.; Пузиренко, О.Ю. (2010). Теорія електричного зв'язку. Навчальний посібник (PDF) (укр.). Львів: Магнолія 2006. ISBN 978-966-2025-97-2. Архів (PDF) оригіналу за 18 травня 2024.
• Білинський, Й.Й.; Огородник, К.В.; Юкиш, М.Й. (2011). Електронні системи. Навчальний посібник (PDF) (укр.). Вінниця: ВНТУ. Архів (PDF) оригіналу за 29 червня 2024.
• Партико, З.В. (2001). Образна концепція теорії інформації (укр.) (англ.). Львів: ЛНУ. ISBN 966-613-046-7.

Інші книги

• Leon Brillouin, Science and Information Theory (англ.), Mineola, N.Y.: Dover, [1956, 1962] 2004. ISBN 0-486-43918-6
• (2011). [[Інформація: історія, теорія, потік|The Information: A History, a Theory, a Flood]][[:d:Q7742005#sitelinks-wikipedia|(інші мови)]][[Категорія:Вікіпедія:Запити на переклад]] (англ.) (вид. 1st). New York: Vintage Books. ISBN 978-1-4000-9623-7. {{cite book}}: Назва URL містить вбудоване вікіпосилання (довідка)
• A. I. Khinchin, Mathematical Foundations of Information Theory (англ.), New York: Dover, 1957. ISBN 0-486-60434-9
• H. S. Leff and A. F. Rex, Editors, Maxwell's Demon: Entropy, Information, Computing (англ.), Princeton University Press, Princeton, New Jersey (1990). ISBN 0-691-08727-X
• (інші мови). What is Information? - Propagating Organization in the Biosphere, the Symbolosphere, the Technosphere and the Econosphere (англ.), Toronto: DEMO Publishing.
• Tom Siegfried, The Bit and the Pendulum (англ.), Wiley, 2000. ISBN 0-471-32174-5
• (інші мови), (інші мови) (англ.), Viking, 2006. ISBN 0-670-03441-X
• Jeremy Campbell, (інші мови) (англ.), Touchstone/Simon & Schuster, 1982, ISBN 0-671-44062-4
• Henri Theil, Economics and Information Theory (англ.), Rand McNally & Company - Chicago, 1967.
• Escolano, Suau, Bonev, Information Theory in Computer Vision and Pattern Recognition (англ.), Springer, 2009. ISBN 978-1-84882-296-2
• Vlatko Vedral, Decoding Reality: The Universe as Quantum Information (англ.), Oxford University Press 2010. ISBN 0-19-923769-7

Посилання

• Hazewinkel, Michiel, ред. (2001), Information, Математична енциклопедія, Springer, ISBN 978-1-55608-010-4
• Lambert F. L. (1999), "Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!", Journal of Chemical Education (англ.)
• IEEE Information Theory Society та Монографії, огляди та рецензії ITSOC [Архівовано 2018-06-12 у Wayback Machine.] (англ.)