Машинне навчання

Про журнал див. Machine Learning (академічний журнал).

Запит «Статистичне навчання» перенаправляє сюди; про статистичне навчання в лінгвістиці див. .

Маши́нне навча́ння (МН, англ. machine learning, ML) — це галузь досліджень штучного інтелекту, зосереджена на розробці та вивченні ^[en], здатних навчатися з даних і узагальнюватися на небачені дані, й відтак виконувати завдання без явних інструкцій. Породжувальні штучні нейронні мережі нещодавно змогли перевершити за продуктивністю багато попередніх підходів.

Підходи машинного навчання застосовували до багатьох галузей, серед яких великі мовні моделі, комп'ютерне бачення, розпізнавання мовлення, фільтрування електронної пошти, сільське господарство та медицина, де розробка алгоритмів для виконання необхідних завдань була би занадто витратною. МН відоме у своєму застосуванні в комерційних задачах під назвою ^[en]». Хоч і не все машинне навчання ґрунтується на статистиці, ^[en] є важливим джерелом методів цієї галузі.

Математичні основи МН забезпечують методи математичної оптимізації (математичного програмування). Добування даних (англ. data mining) — це пов'язане (паралельне) поле досліджень, зосереджене на розвідувальному аналізі даних через некероване навчання. З точки зору теорії, систему для опису машинного навчання забезпечує імовірно приблизно коректне навчання.

Історія та зв'язки з іншими галузями

Див. також: Хронологія розвитку машинного навчання

Термін «машинне навчання» (англ. machine learning) запровадив 1959 року Артур Семюель, працівник IBM та піонер у галузі комп'ютерних ігор та штучного інтелекту. В цей період також використовували й синонім самонавчальні комп'ютери (англ. self-teaching computers).

Хоч найранішу модель машинного навчання й представили в 1950-х роках, коли Артур Семюель винайшов програму, що обчислювала шанси на перемогу в шашках для кожної зі сторін, історія машинного навчання сягає десятиліть людського бажання й зусиль досліджувати людські когнітивні процеси. 1949 року канадський психолог Дональд Гебб опублікував книгу ^[en]», в якій він запропонував теоретичну нейронну структуру, утворювану певними взаємодіями нейронів. Геббова модель взаємодії нейронів між собою заклала основу того, як працюють алгоритми ШІ та машинного навчання на рівні вузлів, або штучних нейронів, які комп'ютери використовують для передавання даних. Інші дослідники, які досліджували людські когнітивні системи, також зробили свій внесок до сучасних технологій машинного навчання, серед них логік ^[en] та Воррен Маккалох, які запропонували ранні математичні моделі нейронних мереж для розробки алгоритмів, що імітують процеси людського мислення.

На початку 1960-х років компанія Raytheon розробила експериментальну «самонавчальну машину» (англ. "learning machine") з пам'яттю на перфострічці під назвою «Кібертрон» (англ. Cybertron) для аналізу гідроакустичних сигналів, електрокардіограм та зразків мовлення за допомогою зародкового навчання з підкріпленням. Людина-оператор/вчитель циклічно «тренувала» її розпізнавати закономірності за допомогою кнопки «ляп» (англ. "goof"), щоби змушувати переоцінювати неправильні рішення. Репрезентативною книгою про дослідження машинного навчання в 1960-х роках була книга Нільссона про самонавчальні машини, присвячена переважно машинному навчанню для класифікування образів. Зацікавлення, пов'язане з розпізнаванням образів, тривало і в 1970-х роках, як описано Дудою та Гартом 1973 року. 1981 року було зроблено доповідь про використання стратегій навчання, щоби нейронна мережа навчилася розпізнавати 40 символів (26 літер, 10 цифр та 4 спеціальні символи) з комп'ютерного терміналу.

Том Мітчелл надав широко цитоване, формальніше визначення алгоритмів, досліджуваних у галузі машинного навчання: «Кажуть, що комп'ютерна програма вчиться з досвіду E щодо деякого класу завдань T та міри продуктивності P, якщо її продуктивність у завданнях з T, вимірювана P, покращується з досвідом E.» Це визначення завдань, що стосуються машинного навчання, пропонує принципово операційне визначення, замість визначання цієї галузі в когнітивних термінах. Це відповідає пропозиції Алана Тюрінга в його статті ^[en]», в якій питання «Чи можуть машини мислити?» замінюється запитанням «Чи можуть машини робити те, що можемо робити ми (як мислячі істоти)?».

Сучасне машинне навчання має дві мети: одна — класифікувати дані на основі розроблених моделей, інша — передбачувати майбутні результати на основі цих моделей. Гіпотетичний алгоритм для класифікування даних може використовувати бачення комп'ютером родимок у поєднанні з керованим навчанням, щоби навчити його класифікувати ракові родимки. Алгоритм машинного навчання для біржової торгівлі може інформувати трейдера про майбутні потенційні прогнози.

Штучний інтелект

Машинне навчання як підгалузь ШІ

Як науковий напрям, машинне навчання виросло з пошуків штучного інтелекту (ШІ, англ. artificial intelligence, AI). В часи юності ШІ як академічної дисципліни деякі дослідники були зацікавлені в тому, щоби машини навчалися з даних. Вони намагалися підійти до цієї задачі різними символьними методами, а також тим, що згодом назвали «нейронними мережами», — це були здебільшого перцептрони та інші моделі, які пізніше виявилися перевинаходами ^[en] статистики. Застосовували також і ймовірнісне міркування, особливо в ^[en].^:488

Проте посилення акценту на ^[en], спричинило розрив між ШІ та машинним навчанням. Імовірнісні системи страждали на теоретичні та практичні проблеми збирання та подання даних.^:488 Близько 1980 року прийшли експертні системи, щоби домінувати над ШІ, а статистика була в немилості. Робота над навчанням на основі символів/знань таки продовжувалася в межах ШІ, ведучи до ^[en], але статистичніший напрямок досліджень був тепер за межами області власне ШІ, у розпізнаванні образів та інформаційному пошуку.^{:708–710; 755} Приблизно в цей же час ШІ та інформатикою було облишено дослідження нейронних мереж. Цей напрямок також було продовжено за межами області ШІ/інформатики, як «конекціонізм», дослідниками з інших дисциплін, включно з Гопфілдом, Румельхартом та Гінтоном. Їхній головний успіх прийшов у середині 1980-х років із повторним винайденням зворотного поширення.^:25

Машинне навчання (МН), реорганізоване та визнане як окрема галузь, почало процвітати в 1990-х роках. Ця галузь змінила свою мету з досягнення штучного інтелекту на розв'язання розв'язних задач практичного характеру. Вона змістила фокус із ^[en], успадкованих нею від ШІ, в бік методів та моделей, запозичених зі статистики, нечіткої логіки та теорії ймовірностей.

Добування даних

Машинне навчання та добування (розро́блення) даних часто використовують одні й ті ж методи, і значно перекриваються, але в той час як машинне навчання зосереджується на передбачуванні на основі відомих властивостей, вивчених із тренувальних даних, добування (розро́блення) даних зосереджується на відкриванні невідомих (раніше) властивостей в даних (це крок аналізу відкривання знань у базах даних). Добування даних використовує багато методів машинного навчання, але з іншими цілями; з іншого боку, машинне навчання також використовує методи добування даних як «некероване навчання» або як крок попередньої обробки для покращення точності механізму навчання. Велика частина плутанини між цими двома дослідницькими спільнотами (які часто мають окремі конференції та окремі журнали, з ^[en] як основним винятком) виходить з основних припущень, з якими вони працюють: у машинному навчанні продуктивність зазвичай оцінюють з огляду на здатність відтворювати відомі знання, тоді як у відкриванні знань та добуванні даних (англ. knowledge discovery and data mining, KDD) ключовим завданням є відкриття раніше невідомих знань. При оцінюванні відносно відомих знань неінформований (некерований) метод легко програватиме іншим керованим методам, тоді як у типовому завданні KDD використовувати керовані методи неможливо через відсутність тренувальних даних.

Машинне навчання також має тісні зв'язки з оптимізацією: багато задач навчання формулюють як мінімізацію деякої функції втрат на тренувальному наборі прикладів. Функції втрат виражають розбіжність між передбаченнями тренованої моделі та дійсними примірниками задачі (наприклад, у класифікуванні потрібно призначувати мітки зразкам, і моделі тренуються правильно передбачувати попередньо призначені мітки набору прикладів).

Узагальнювання

Відмінність між оптимізацією та машинним навчанням постає через мету ^[en]: в той час як алгоритми оптимізації можуть мінімізувати втрати на тренувальному наборі, машинне навчання займається мінімізуванням втрат на небачених зразках. Характеризування узагальнювання різних алгоритмів навчання це активна тема поточних досліджень, особливо для алгоритмів глибокого навчання.

Статистика

Машинне навчання та статистика — це тісно пов'язані галузі з погляду методів, але відмінні у своїй головній меті: статистика робить висновки про загальну сукупність із вибірки, тоді як машинне навчання знаходить узагальнювальні передбачувальні схеми. За словами ^[en], ідеї машинного навчання, від методологічних принципів до теоретичних інструментів, мали довгу передісторію в статистиці. Він також запропонував для позначення всеосяжної галузі термін «наука про дані» (англ. data science).

Традиційний статистичний аналіз вимагає апріорного вибору моделі, яка найбільше підходить для набору даних дослідження. Крім того, до аналізу залучають лише суттєві та теоретично доречні змінні на основі попереднього досвіду. Машинне навчання, навпаки, не будується на попередньо структурованій моделі; скоріше, це дані формують модель, виявляючи закономірності, що лежать у їхній основі. Що більше змінних (входів) використовують для тренування моделі, то точнішою буде остаточна модель.

^[en] виділив дві парадигми статистичного моделювання: модель даних, та алгоритмічну модель, де «алгоритмічна модель» (англ. "algorithmic model") означає більш-менш алгоритми машинного навчання, такі як випадковий ліс.

Деякі фахівці зі статистики перейняли методи з машинного навчання, що призвело до об'єднаної області, яку вони називають статистичним навчанням (англ. statistical learning).

Статистична фізика

Аналітичні та обчислювальні методики, що походять з глибоко вкоріненої фізики невпорядкованих систем, можливо поширювати на великомасштабні задачі, включно з машинним навчанням, наприклад, для аналізу простору ваг глибоких нейронних мереж. Статистична фізика відтак знаходить застосування в галузі медичної діагностики.

Теорія

Докладніше: ^[en] та Теорія статистичного навчання

Центральна мета системи, яка навчається, — це робити узагальнення зі свого досвіду. Узагальнення в цьому контексті — це здатність машини, що вчиться, працювати точно на нових, небачених прикладах/завданнях після отримання досвіду навчального набору даних. Тренувальні приклади походять з якогось загалом невідомого розподілу ймовірності (який вважають представницьким для простору випадків), і система, що вчиться, має побудувати загальну модель цього простору, яка дозволяє їй виробляти достатньо точні передбачення в нових випадках.

Обчислювальний аналіз алгоритмів машинного навчання та їхньої продуктивності — це розділ теоретичної інформатики, знаний як ^[en] через модель імовірно приблизно коректного навчання (англ. Probably Approximately Correct Learning, PAC). Оскільки тренувальні набори скінченні, а майбутнє непевне, теорія навчання зазвичай не дає гарантій продуктивності алгоритмів. Натомість доволі поширені ймовірнісні рамки продуктивності. Одним зі способів кількісного оцінювання похибки узагальнювання є розклад на зміщення та дисперсію (англ. bias–variance decomposition).

Для найкращої продуктивності в контексті узагальнювання складність гіпотези повинна відповідати складності функції, що лежить в основі даних. Якщо гіпотеза менш складна, ніж ця функція, то модель недостатньо допасувалася до даних. Якщо у відповідь складність моделі підвищувати, то похибка тренування знижуватиметься. Але якщо гіпотеза занадто складна, то модель піддається перенавчанню, й узагальнення буде гіршим.

На додачу до рамок продуктивності, теоретики навчання досліджують часову складність та здійсненність навчання. В теорії обчислювального навчання обчислення вважають здійсненним, якщо його можливо виконати за поліноміальний час. Існує два види результатів часової складності: Позитивні результати показують, що певного класу функцій може бути навчено за поліноміальний час. Негативні результати показують, що певних класів за поліноміальний час навчено бути не може.

Підходи

Підходи машинного навчання традиційно поділяють на три великі категорії, які відповідають парадигмам навчання, залежно від природи «сигналу» або «зворотного зв'язку», доступного системі навчання:

• Кероване навчання (англ. supervised learning): комп'ютер знайомлять зі зразками входів та їхніх бажаних виходів, наданих «вчителем», а метою є навчитися загального правила, яке ^[en] входи на виходи.
• Некероване навчання (англ. unsupervised learning): алгоритмові навчання не надають міток, залишаючи йому самостійно знаходити структуру у вході. Некероване навчання може бути метою саме по собі (виявляння прихованих закономірностей у даних), або засобом досягнення мети (навчання ознак).
• Навчання з підкріпленням (англ. reinforcement learning): комп'ютерна програма взаємодіє з динамічним середовищем, у якому вона мусить виконувати певну мету (наприклад, керувати транспортним засобом або грати у гру проти суперника). З переміщенням у просторі задачі, програмі надають зворотний зв'язок, аналогічний винагородам, які вона намагається максимізувати.

Хоча переваги й обмеження має кожен з алгоритмів, жоден алгоритм не працює для всіх задач.

Кероване навчання

Докладніше: Кероване навчання

Опорновекторна машина — це модель керованого навчання, яка поділяє дані на області, розділені лінійною межею. Тут лінійна межа відділяє чорні кола від білих.

Алгоритми керованого навчання (англ. supervised learning) будують математичну модель набору даних, який містить як входи, так і бажані виходи. Такі дані знані як тренувальні дані, й складаються з набору тренувальних прикладів. Кожен тренувальний приклад має один або кілька входів та бажаний вихід, відомий також як керівний сигнал (англ. supervisory signal). У математичній моделі кожен тренувальний приклад подано масивом, або вектором, який іноді називають вектором ознак, а тренувальні дані подано матрицею. Завдяки ітераційній оптимізації цільової функції алгоритми керованого навчання навчаються функції, яку можливо використовувати для передбачування виходу, пов'язаного з новими входами. Оптимальна функція дозволяє алгоритмові правильно визначати вихід для входів, які не були частиною тренувальних даних. Кажуть, що алгоритм, який з часом удосконалює точність своїх виходів або передбачень, навчився виконувати це завдання.

До типів алгоритмів керованого навчання належать ^[en], класифікування та регресія. Алгоритми класифікування використовують, коли виходи обмежено вузьким набором значень, а алгоритми регресії використовують, коли виходи можуть мати будь-яке числове значення в межах якогось діапазону. Як приклад, для алгоритму класифікування, який фільтрує електронні листи, входом буде вхідний електронний лист, а виходом — назва теки, до якої потрібно цей електронний лист зберегти.

^[en] (англ. similarity learning) — це галузь керованого машинного навчання, тісно пов'язана з регресією та класифікуванням, але яка має на меті вчитися з прикладів, використовуючи функцію подібності, що вимірює, наскільки схожі або пов'язані два об'єкти. Воно має застосування в ранжуванні, рекомендаційних системах, візуальному відстежуванні ідентичності, перевірці облич та перевірці мовця.

Некероване навчання

Докладніше: Некероване навчання

Див. також: Кластерний аналіз

Алгоритми некерованого навчання (англ. unsupervised learning) знаходять структури в даних, які не було мічено, класифіковано чи категоризовано. Замість реагувати на зворотний зв'язок, алгоритми некерованого навчання встановлюють спільні риси в даних і реагують на наявність або відсутність таких спільних рис у кожній новій одиниці даних. До основних застосувань некерованого машинного навчання належать кластерування, знижування розмірності та оцінювання густини. Алгоритми некерованого навчання також оптимізували процес встановлювання великих ^[en] потрібного гена з ^[en] на основі ^[en].

Кластерування великими індельними переставними схилами (англ. Clustering via Large Indel Permuted Slopes, CLIPS) перетворює зображення шикування на задачу навчання регресії. Різні оцінки нахилу (b) між кожною парою сегментів ДНК дозволяють встановлювати сегменти, що мають однаковий набір інделів.

Кластерний аналіз (англ. cluster analysis) — це розподіл набору спостережень на підмножини (звані кластерами), щоби спостереження в одному кластері були подібними відповідно до одного або кількох заздалегідь встановлених критеріїв, тоді як спостереження, взяті з різних кластерів, були несхожими. Різні методики кластерування роблять різні припущення щодо структури даних, які часто визначають деякою мірою подібності (англ. similarity metric) та оцінюють, наприклад, за внутрішньою компактністю (англ. internal compactness), або подібністю членів одного кластера, та відокремленістю (англ. separation), різницею між кластерами. Інші методи ґрунтуються на оцінюваній густині (англ. estimated density) та графовій зв'язності (англ. graph connectivity).

Напівкероване навчання

Докладніше: Напівкероване навчання

Напівкероване навчання (англ. semi-supervised learning) перебуває між некерованим навчанням (без будь-яких мічених тренувальних даних) та керованим навчанням (з повністю міченими тренувальними даними). Деякі тренувальні приклади позбавлені тренувальних міток, але багато дослідників машинного навчання виявили, що немічені дані, якщо їх використовувати разом із невеликою кількістю мічених даних, можуть значно підвищувати точність навчання.

У слабокерованім навчанні тренувальні мітки зашумлені, обмежені або неточні; проте ці мітки часто дешевше отримувати, що дає більші ефективні тренувальні набори.

Навчання з підкріпленням

Докладніше: Навчання з підкріпленням

Навчання з підкріпленням (англ. reinforcement learning) — це галузь машинного навчання, пов'язана з тим, як програмні агенти повинні виконувати дії в середовищі, щоби максимізувати певне уявлення про сукупну винагороду. Завдяки її загальності цю галузь вивчають у багатьох інших дисциплінах, таких як теорія ігор, теорія керування, дослідження операцій, теорія інформації, оптимізація на основі моделювання, багатоагентні системи, ройовий інтелект, статистика та генетичні алгоритми. У навчанні з підкріпленням середовище зазвичай подають як марковський процес вирішування (МПВ, англ. markov decision process, MDP). Багато алгоритмів навчання з підкріпленням використовують методики динамічного програмування. Алгоритми навчання з підкріпленням не виходять зі знання точної математичної моделі МПВ, і їх використовують, коли точні моделі недосяжні. Алгоритми навчання з підкріпленням використовують в автономних транспортних засобах та в навчанні гри проти людини-супротивника.

Знижування розмірності

Знижування розмірності (англ. dimensionality reduction) — це процес зниження кількості випадкових змінних, які розглядають, шляхом отримання набору провідних змінних (англ. principal variables). Іншими словами, це процес зниження розмірності набору ознак, яку також називають «кількістю ознак» (англ. "number of features"). Більшість методик знижування розмірності можливо розглядати як усунення або виділяння ознак. Одним із популярних методів знижування розмірності є метод головних компонент (МГК, англ. principal component analysis, PCA). МГК включає перенесення даних більшої розмірності (наприклад, тривимірних) до меншого простору (наприклад, двовимірного). Це дає меншу розмірність даних (двовимірні замість тривимірних), зберігаючи всі первинні змінні в моделі без зміни даних.^[en] пропонує ідею розташування багатовимірних наборів даних уздовж низьковимірних многовидів, і багато методик знижування розмірності виходять із цього припущення, що веде до області ^[en] та ^[en].

Інші види

Було розроблено й інші підходи, які не вписуються в ці три категорії, й іноді одна система машинного навчання використовує декілька з них. Наприклад, тематичне моделювання, метанавчання.

Самонавчання

Самонавчання (англ. self-learning), як парадигму машинного навчання, було запропоновано 1982 року разом із нейронною мережею, здатною до самонавчання, яка отримала назву поперечинного адаптивного масиву (ПАМ, англ. crossbar adaptive array, CAA). Це навчання без зовнішніх винагород і без зовнішніх порад вчителя. Алгоритм самонавчання ПАМ обчислює, поперечинним чином, як рішення щодо дій, так і емоції (почуття) щодо наслідкових ситуацій. Ця система керується взаємодією між пізнанням та емоціями.

Алгоритм самонавчання уточнює матрицю пам'яті W =||w(a, s)||, виконуючи в кожній ітерації наступну процедуру машинного навчання:

1. у ситуації s виконати дію a
2. отримати наслідкову ситуацію s'
3. обчислити емоції перебування в наслідковій ситуації v(s')
4. уточнити поперечинну пам'ять w'(a, s) = w(a, s) + v(s')

Це система лише з одним входом, ситуацією, та лише одним виходом, дією (або поведінкою) a. Немає ані окремого введення підкріплення, ані введення поради від середовища. Поширюване зворотно значення (вторинне підкріплення, англ. secondary reinforcement) — це емоція щодо наслідкової ситуації. ПАМ існує у двох середовищах: одне — це поведінкове середовище, в якому вона поводиться, а інше — це генетичне середовище, звідки вона спочатку й лише один раз отримує початкові емоції щодо ситуацій, з якими можливо зіткнутися в поведінковому середовищі. Після отримання геномного (видового) вектора з генетичного середовища ПАМ навчається цілеспрямованої поведінки в середовищі, що містить як бажані, так і небажані ситуації.

Навчання ознак

Докладніше: Навчання ознак

Кілька алгоритмів навчання спрямовано на виявляння кращих подань даних входу, які надходять під час тренування. До класичних прикладів належать метод головних компонент і кластерний аналіз. Алгоритми навчання ознак (англ. feature learning), також звані алгоритмами навчання подань (англ. representation learning), часто намагаються зберігати інформацію своїх вхідних даних, але також перетворювати її таким чином, щоби робити її корисною, часто як етап попередньої обробки перед виконанням класифікування або передбачень. Ця методика уможливлює відбудовування даних входу, що надходять із невідомого розподілу, який породжує ці дані, не обов'язково дотримуючись конфігурацій, неправдоподібних для цього розподілу. Це замінює конструювання ознак вручну та дозволяє машині як навчатися ознак, так і використовувати їх для виконання конкретного завдання.

Навчання ознак може бути керованим або некерованим. У керованім навчанні ознак їх навчають з використанням мічених даних входу. До прикладів належать штучні нейронні мережі, багатошарові перцептрони та кероване ^[en]. При некерованім навчанні ознак їх навчають неміченими даними входу. До прикладів належать навчання словників, ^[en], автокодувальники, розкладання матриць та різні види кластерування.

Алгоритми ^[en] намагаються робити це за обмеження, щоби навчене подання мало низьку розмірність. Алгоритми розрідженого кодування намагаються робити це за обмеження, щоби навчене подання було розрідженим, тобто щоби математична модель містила багато нулів. Алгоритми ^[en] спрямовано на навчання подань низької розмірності безпосередньо з тензорних подань для багатовимірних даних без переформовування їх у вектори вищої розмірності. Алгоритми глибокого навчання виявляють декілька рівнів подання, або ієрархію ознак із абстрактнішими ознаками вищого рівня, визначеними в термінах ознак нижчого рівня (або породжуваними ними). Стверджували, що розумна машина — це така, що навчається подання, яке розплутує чинники мінливості (англ. factors of variation), що лежить в основі даних, які пояснюють спостережувані дані.

Навчання ознак спонукається фактом, що завдання машинного навчання, такі як класифікування, часто вимагають даних входу, математично та обчислювально зручних для обробки. Проте дані реального світу, такі як зображення, відео та давачеві дані, не піддалися спробам визначити конкретні ознаки алгоритмічно. Альтернативою є виявляти такі ознаки або подання шляхом дослідження, не покладаючись на явні алгоритми.

Навчання розріджених словників

Докладніше: ^[en]

Навчання розріджених словників (англ. sparse dictionary learning) — це метод навчання ознак, у якому тренувальний приклад подають лінійною комбінацією базисних функцій і вважають розрідженою матрицею. Цей метод ^[en] і його важко розв'язувати наближено. Популярний евристичний метод навчання розріджених словників — алгоритм ^[en] (англ. K-SVD). Навчання розріджених словників застосовували в кількох контекстах. У класифікуванні задача полягає у визначенні класу, до якого належить раніше небачений тренувальний приклад. Для словника, де кожен клас уже побудовано, новий тренувальний приклад пов'язується з класом, у словнику якого його розріджено подано найкраще. Навчання розріджених словників також застосовували для знешумлювання зображень. Ключова ідея полягає в тому, що чистий клаптик зображення може бути розріджено подано словником зображень, а шум — ні.

Виявляння аномалій

Докладніше: Виявляння аномалій

У добуванні даних виявляння аномалій (англ. anomaly detection), відоме також як виявляння викидів (англ. outlier detection), — це встановлювання рідкісних елементів, подій або спостережень, що викликають підозри, значно відрізняючись від більшості даних. Зазвичай аномальні елементи подають такі проблеми як ^[en], структурний дефект, медичні проблеми або помилки в тексті. Аномалії називають викидами (англ. outliers), новизною (англ. novelties), шумом, відхиленнями або винятками.

Зокрема, в контексті виявляння зловживань і мережних вторгнень цікаві об'єкти це часто не рідкісні об'єкти, а несподівані сплески бездіяльності. Ця особливість поведінки не відповідає загальноприйнятому статистичному визначенню викиду як рідкісного об'єкта. Багато методів виявляння викидів (зокрема, некеровані алгоритми) дадуть збій на таких даних, якщо їх не агрегувати належним чином. Натомість алгоритм кластерного аналізу може виявити мікрокластери, утворені цими особливостями поведінки.

Існує три великі категорії методик виявляння аномалій. Методики некерованого виявляння аномалій виявляють аномалії в неміченому наборі випробувальних даних за припущення, що більшість примірників у наборі даних нормальні, шляхом пошуку примірників, які видаються найменш допасованими до решти набору даних. Методики керованого виявляння аномалій вимагають набору даних, мічених як «нормально» й «ненормально», і залучають навчання класифікатора (ключова відмінність від багатьох інших задач статистичного класифікування полягає в незбалансованій природі виявляння викидів). Методики напівкерованого виявляння аномалій створюють модель, що подає нормальну поведінку, на основі заданого нормального набору тренувальних даних, а потім перевіряють правдоподібність створення моделлю випробувального примірника.

Навчання роботів

Навчання роботів натхнено безліччю методів машинного навчання, починаючи від керованого навчання, навчання з підкріпленням, і закінчуючи метанавчанням (наприклад, моделеагностичним метанавчанням, МАМН, англ. MAML).

Асоціативні правила

Докладніше: Навчання асоціативних правил

Див. також: ^[en]

Навчання асоціативних правил (англ. association rule learning) — це метод машинного навчання на основі правил для виявляння взаємозв'язків між змінними у великих базах даних. Його призначено для визначання сильних правил, виявлених у базах даних, з використанням певної міри «цікавості» (англ. "interestingness").

Машинне навчання на основі правил (англ. rule-based machine learning) — це загальний термін для будь-якого методу машинного навчання, який встановлює, вивчає або виводить «правила» для зберігання, маніпулювання або застосування знань. Визначальною характеристикою алгоритму машинного навчання на основі правил є встановлювання та використання набору реляційних правил, які сукупно подають вловлені системою знання. Це відмінність від інших алгоритмів машинного навчання, які зазвичай визначають одиничну модель, яку можливо універсально застосовувати до будь-якого примірника, щоби зробити передбачення. До підходів машинного навчання на основі правил належать ^[en], навчання асоціативних правил та штучні імунні системи.

Ґрунтуючись на понятті сильних правил, ^[en], ^[en] та Арун Свамі запровадили асоціативні правила для виявляння закономірностей між продуктами у великомасштабних даних транзакцій, записаних системами ^[en] у супермаркетах. Наприклад, правило ${\displaystyle \{\mathrm {onions,potatoes} \}\Rightarrow \{\mathrm {burger} \}}$, знайдене в даних про продажі супермаркету, вказуватиме на те, що якщо клієнт купує разом цибулю та картоплю, він, імовірно, купить також і м'ясо для гамбургерів. Таку інформацію можливо використовувати як основу для ухвалення рішень щодо маркетингових заходів, таких як рекламні ціни чи розміщення продукції. На додачу до ^[en], асоціативні правила сьогодні застосовують у таких сферах застосування як розроблення веб-користування (англ. web usage mining), виявляння вторгнень, безперервне виробництво та біоінформатика. На відміну від ^[en] (англ. sequence mining), навчання асоціативних правил зазвичай не враховує порядок елементів у транзакції чи між транзакціями.

Системи навчання класифікаторів (англ. learning classifier systems, LCS) — це сімейство алгоритмів машинного навчання на основі правил, які поєднують відкривальну складову, зазвичай генетичний алгоритм, з навчальною складовою, що виконує кероване навчання, навчання з підкріпленням або некероване навчання. Вони прагнуть встановити набір контекстнозалежних правил, які сукупно зберігають та застосовують знання кусковим чином, щоб робити передбачення.

^[en] (ІЛП, англ. Inductive logic programming, ILP) — це підхід до навчання правил із застосуванням логічного програмування як універсального подання вхідних прикладів, базових знань та гіпотез. Маючи кодування відомих базових знань та набору прикладів, поданих як логічна база даних фактів, система ІЛП виводитиме гіпотетичну логічну програму, яка має наслідками всі позитивні приклади й жодного з негативних. ^[en] (англ. inductive programming) — це споріднена галузь, у якій для подання гіпотез розглядають будь-які мови програмування (а не лише логічне програмування), наприклад, функційні програми.

Індуктивне логічне програмування особливо корисне в біоінформатиці та обробці природної мови. ^[en] та ^[en] заклали початкову теоретичну основу для індуктивного машинного навчання в логічній постановці. 1981 року Шапіро створив своє перше втілення (систему висновування моделей, англ. Model Inference System): програму мовою Пролог, яка індуктивно висновувала логічні програми з позитивних та негативних прикладів. Термін індуктивний тут стосується філософської індукції, що пропонує теорію для пояснення спостережуваних фактів, а не математичної індукції, що доводить якусь властивість для всіх членів добре впорядкованої множини.

Моделі

Виконання машинного навчання може передбачувати створення моделі, яка тренується на деяких тренувальних даних, а потім може обробляти додаткові дані для передбачування. Для систем машинного навчання використовували та досліджували різні типи моделей.

Штучні нейронні мережі

Докладніше: Штучна нейронна мережа

Див. також: Глибоке навчання

Штучна нейронна мережа — це взаємоз'єднана група вузлів, подібна до величезної мережі нейронів у мозку. Тут кожен круглий вузол позначує штучний нейрон, а стрілка позначує з'єднання від виходу одного штучного нейрона до входу іншого.

Штучні нейронні мережі (ШНМ, англ. artificial neural networks, ANN), або конекціоністські системи, це обчислювальні системи, дещо натхненні біологічними нейронними мережами, які складають мозок тварин. Такі системи «вчаться» виконувати завдання, розглядаючи приклади, як правило, без програмування будь-якими специфічними для завдань правилами.

ШНМ — це модель, що ґрунтується на сукупності з'єднаних вузлів, званих «штучними нейронами» (англ. "artificial neurons"), які в загальних рисах моделюють нейрони біологічного мозку. Кожне з'єднання, як синапси в біологічному мозку, може передавати інформацію, «сигнал», від одного штучного нейрона до іншого. Штучний нейрон, який отримує сигнал, може обробити його, а потім сигналізувати додатковим штучним нейронам, з якими його з'єднано. У звичайних втіленнях ШНМ сигнал на з'єднанні між штучними нейронами це дійсне число, а вихід кожного штучного нейрона обчислюється деякою нелінійною функцією суми його входів. З'єднання між штучними нейронами називають «ребрами» (англ. "edges"). Штучні нейрони та ребра зазвичай мають ^[en] (англ. weight), яка підлаштовується в перебігу навчання. Вага підвищує або знижує силу сигналу на з'єднанні. Штучні нейрони можуть мати поріг, такий, що сигнал надсилається лише тоді, коли сукупний сигнал долає цей поріг. Як правило, штучні нейрони впорядковують у шари (англ. layers). Різні шари можуть виконувати різні види перетворень своїх входів. Сигнали проходять від першого шару (рівень входу) до останнього (рівень виходу), можливо, після кількаразового проходження шарів.

Первинна мета підходу ШНМ полягала в розв'язуванні задач так само, як це робив би людський мозок. Проте з часом увага перемістилася на виконання конкретних завдань, що призвело до відхилень від біології. Штучні нейронні мережі використовували для багатьох завдань, включно з комп'ютерним баченням, розпізнаванням мовлення, машинним перекладом, фільтруванням соціальних мереж, ^[en], та медичним діагностуванням.

Глибоке навчання (англ. deep learning) складається з численних прихованих шарів у штучній нейронній мережі. Цей підхід намагається змоделювати те, як людський мозок перетворює світло та звук у бачення та слух. Серед успішних застосувань глибокого навчання — комп'ютерне бачення та розпізнавання мовлення.

Дерева рішень

Докладніше: Навчання дерев рішень

Дерево рішень, яке показує ймовірність виживання пасажирів на Титаніку

Навчання дерев рішень (англ. decision tree learning) використовує дерево рішень як передбачувальну модель для переходу від спостережень про об'єкт (поданих у гілках) до висновків щодо цільового значення для об'єкта (поданих у листках). Це один із підходів до передбаувального моделювання, який використовують у статистиці, добуванні даних та машинному навчанні. Деревні моделі, де цільова змінна може набувати дискретного набору значень, називають класифікаційними деревами (англ. classification trees); у цих деревних структурах листки подають мітки класів, а гілки подають кон'юнкції ознак, які ведуть до цих міток класів. Дерева рішень, де цільова змінна може набувати неперервних значень (зазвичай дійсних чисел), називають регресійними деревами (англ. regression trees). В аналізі рішень дерево рішень можливо використовувати для візуального та явного подання рішень та ухвалення рішень. В добуванні даних дерево рішень описує дані, але отримане класифікаційне дерево може бути входом для ухвалювання рішень.

Опорновекторні машини

Докладніше: Опорновекторна машина

Опорновекторні машини (ОВМ, англ. support-vector machines, SVM), також знані як опорновекторні мережі (англ. support-vector networks) та метод опорних векторів, — це набір пов'язаних методів керованого навчання, які використовують для класифікування та регресії. Маючи набір тренувальних прикладів, кожен з яких позначено як належний до однієї з двох категорій, алгоритм тренування ОВМ будує модель, яка передбачує, чи належить новий приклад до однієї категорії. Алгоритм тренування ОВМ — неймовірнісний бінарний лінійний класифікатор, хоча існують такі методи, як ^[en], для використання ОВМ у постановці ймовірнісного класифікування. На додачу до виконання лінійного класифікування, ОВМ можуть ефективно виконувати нелінійне класифікування з використанням так званого ядрового трюку, що неявно відображує їхні входи до просторів ознак високої розмірності.

Регресійний аналіз

Докладніше: Регресійний аналіз

Ілюстрація лінійної регресії на наборі даних

Регресійний аналіз (англ. regression analysis) охоплює великий спектр статистичних методів для оцінювання зв'язку між вхідними змінними та пов'язаними з ними ознаками. Його найпоширенішим видом є лінійна регресія, де малюється одна лінія, яка найкраще допасовується до заданих даних відповідно до математичного критерію, такого як ^[en]. Останній часто розширюють за допомогою методів регуляризації, щоби пом'якшувати надмірне допасовування та зміщення, як у гребеневій регресії. Коли йдеться про нелінійні задачі, до основних моделей належать поліноміальна регресія (наприклад, вживана для допасовування лінії тренду в Microsoft Excel), логістична регресія (часто вживана у статистичному класифікуванні), або навіть ядрова регресія, яка запроваджує нелінійність, користуючись ядровим трюком для неявного відображення вхідних змінних до простору вищої розмірності.

Баєсові мережі

Докладніше: Баєсова мережа

Проста баєсова мережа. Дощ впливає на вмикання обприскувача, і як дощ, так і обприскувач впливають на те, чи мокра трава.

Баєсова мережа (англ. Bayesian network), мережа переконань (англ. belief network) або орієнтована ациклічна графова модель (англ. directed acyclic graphical model) — це ймовірнісна графова модель, яка подає набір випадкових величин та їхніх ^[en] за допомогою орієнтованого ациклічного графа (ОАГ, англ. directed acyclic graph, DAG). Наприклад, баєсова мережа може подавати ймовірнісні зв'язки між захворюваннями та симптомами. За наявних симптомів цю мережу можливо використовувати для обчислення ймовірності наявності різних захворювань. Існують ефективні алгоритми, які виконують висновування й навчання. Баєсові мережі, що моделюють послідовності змінних, наприклад, сигнали мовлення або білкові послідовності, називають динамічними баєсовими мережами. Узагальнення баєсових мереж, які можуть подавати й розв'язувати задачі ухвалювання рішень в умовах невизначеності, називають ^[en].

Гауссові процеси

Докладніше: Гауссів процес

Приклад регресії гауссового процесу (передбачення) у порівнянні з іншими регресійними моделями

Гауссів процес (англ. Gaussian process) — це стохастичний процес, у якому кожна скінченна сукупність випадкових змінних у процесі має багатовимірний нормальний розподіл, і він ґрунтується на попередньо визначеній ^[en], або ядрі (англ. kernel), яке моделює, як пари точок співвідносяться одна з одною залежно від їхнього місцезнаходження.

За заданого набору спостережених точок, або прикладів входів—виходів, розподіл (неспостережуваного) виходу нової точки як функцію її вхідних даних можливо безпосередньо обчислити, дивлячись на спостережені точки та коваріації між цими точками та новою, небаченою точкою.

Гауссові процеси це популярні сурогатні моделі в баєсовій оптимізації, які використовують, щоби оптимізувати гіперпараметри.

Генетичні алгоритми

Докладніше: Генетичний алгоритм

Генетичний алгоритм (ГА, англ. genetic algorithm, GA) — це алгоритм пошуку та евристична методика, яка імітує процес природного добору, використовуючи такі методи як ^[en] та схрещування, щоби створювати нові генотипи у надії знайти добрі розв'язки певної задачі. У машинному навчанні генетичні алгоритми використовували в 1980—1990-х роках. І навпаки, методики машинного навчання використовували, щоби покращувати продуктивність генетичних та еволюційних алгоритмів.

Функції переконань

Докладніше: ^[en]

Теорія функцій переконань (англ. theory of belief functions), звана також теорією свідчень (англ. evidence theory) та теорією Демпстера — Шафера, — це загальна система для міркувань із невизначеністю, зі зрозумілими зв'язками з іншими системами, такими як імовірність, можливість та ^[en]. Ці теоретичні системи можливо розглядати як свого роду навчальний механізм, вони можуть мати деякі подібні властивості щодо того, як поєднуються свідчення (наприклад, правило поєднування Демпстера), точно як поєднував би ймовірності баєсів підхід на основі функцій маси ймовірності.^{[прояснити]} Проте існує багато застережень до цих функцій переконань при порівнянні з баєсовими підходами з метою включення необізнаності та ^[en]. Ці підходи функцій переконань, які втілюють у галузі машинного навчання, зазвичай використовують підхід злиття різних ансамблевих методів, щоби краще впоруватися з ^[en], недостатніми вибірками та проблемами нечіткості класів, з якими стандартний підхід машинного навчання, як правило, має складнощі. Проте обчислювальна складність цих алгоритмів залежить від кількості суджень (класів), і може призводити до значно більшого обчислювального часу порівняно з іншими підходами машинного навчання.

Тренування моделей

Як правило, щоби могти здійснювати точні прогнози, моделі машинного навчання вимагають великої кількості надійних даних. При тренуванні моделі машинного навчання інженерам машинного навчання потрібно намітити та зібрати велику та репрезентативну вибірку даних. Дані тренувального набору можуть мати різний характер, такий як корпус текстів, набір зображень, даних давачів чи даних, зібраних з окремих користувачів служби. При тренуванні моделі машинного навчання слід пильнувати перенавчання. Натреновані моделі, отримані з упереджених або неоцінених даних, можуть призводити до викривлених або небажаних передбачень. Упереджені моделі можуть призводити до шкідливих результатів, відтак посилюючи негативний вплив на суспільство та цілі. Потенційним результатом того, що дані не було повністю підготовлено для навчання, може ставати ^[en]. Етика машинного навчання стає галуззю дослідження, помітно інтегрованою в командах інженерів машинного навчання.

Федеративне навчання

Докладніше: Федеративне навчання●

Федеративне навчання (англ. federated learning) — це пристосована форма ^[en] для тренування моделей машинного навчання, яка децентралізує процес тренування, дозволяючи підтримувати конфіденційність користувачів, не надсилаючи їхні дані до централізованого сервера. Це також підвищує ефективність завдяки децентралізації процесу тренування на багатьох пристроях. Наприклад, Gboard використовує федеративне машинне навчання для тренування моделей передбачування пошукових запитів на мобільних телефонах користувачів без необхідності надсилати окремі пошукові запити назад до Google.

Застосування

Існує багато застосувань машинного навчання, зокрема:

• ^[en]
• ^[en]
• Аналіз поведінки користувачів
• Аналіз тональності тексту
• Аналіз фінансових ринків
• ^[en]
• ^[en]
• Банківська діяльність
• Біоінформатика
• Біхевіоризм
• Виявляння ^[en]
• Виявляння шахрайств із кредитними картками
• ^[en]
• Громадянська наука
• Доведення теорем
• Економіка
• ^[en]
• Інтернет-реклама
• Інформаційний пошук
• ^[en]
• Класифікування послідовностей ДНК
• Кліматологія
• Комп'ютерне бачення
• ^[en]
• ^[en]
• Маркетинг
• ^[en]
• Машинний переклад
• ^[en]
• Мовознавство
• Нейрокомп'ютерні інтерфейси
• Обробка природної мови
• Оптимізація
• ^[en]
• ^[en]
• Пошукові системи
• Прогнозування часових рядів
• Програмна інженерія
• Рекомендаційні системи
• Розпізнавання мовлення
• Розпізнавання рукописного введення
• ^[en]
• Розуміння природної мови
• ^[en]
• Сільське господарство
• Страхування
• Телекомунікації
• ^[en]
• ^[en]
• Хемоінформатика
• ^[en]

2006 року провайдер медіапослуг Netflix провів перше змагання ^[en]», щоби знайти програму, яка би краще передбачувала вподобання користувачів та підвищила точність наявного алгоритму порад фільмів Cinematch щонайменше на 10 %. Спільна команда, що складалася з дослідників з AT&T Labs-Research у співпраці з командами Big Chaos та Pragmatic Theory, створила ^[en], отримавши 2009 року головний приз сумою 1 мільйон доларів. Невдовзі після вручення нагороди Netflix зрозуміли, що оцінки глядачів — не найкращий показник їхніх моделей перегляду («усе є порадою»), й вони змінили свій механізм порад відповідним чином. 2010 року The Wall Street Journal писала про фірму Rebellion Research та її використання машинного навчання для прогнозування фінансової кризи. 2012 року співзасновник Sun Microsystems ^[en] зробив прогноз, що в найближчі два десятиліття 80 % робочих місць лікарів буде втрачено на користь автоматизованого медичного діагностичного програмного забезпечення з машинним навчанням. 2014 року було повідомлено, що алгоритм машинного навчання було застосовано в галузі історії мистецтва для вивчення образотворчого живопису і що він, можливо, виявив раніше невизнані впливи серед художників. 2019 року Springer Nature опублікував першу дослідницьку книгу, створену за допомогою машинного навчання. 2020 року технологію машинного навчання використовували, щоби допомогти дослідникам ставити діагнози й розробляти ліки від COVID-19. Нещодавно машинне навчання було застосовано для прогнозування проекологічної поведінки мандрівників. Нещодавно технологію машинного навчання було також застосовано для оптимізації продуктивності та теплової поведінки смартфонів на основі взаємодії користувача з телефоном. За правильного застосування алгоритми машинного навчання (АМН) можуть використовувати широкий спектр характеристик компаній для прогнозування доходів від акцій без перенавчання. Використовуючи ефективне конструювання ознак та поєднуючи прогнози, АМН можуть породжувати результати, що значно перевершують отримувані за допомогою базових лінійних методик, як-от ^[en].

Обмеження

Попри те, що машинне навчання змінило деякі сфери, програми машинного навчання часто не дають очікуваних результатів. Причин для цього багато: брак (придатних) даних, брак доступу до даних, упередженість даних, проблеми конфіденційності, неправильно обрані завдання й алгоритми, неправильні інструменти та люди, брак ресурсів і проблеми з оцінюванням.

Ще один значний виклик становить «теорія чорної скриньки». Чорна скринька стосується ситуації, коли алгоритм або процес створення результату повністю непрозорий, що означає, що навіть розробники алгоритму не можуть перевірити закономірність, виділену машиною з даних. Спеціальний комітет Палати лордів, який стверджував, що така «система інтелекту», яка може мати «суттєвий вплив на життя людини», не вважатиметься прийнятною, якщо вона не надаватиме «повного та задовільного пояснення рішень, які вона ухвалює».

2018 року безпілотний автомобіль від Uber не зміг виявити пішохода, який загинув після зіткнення. Спроби використати машинне навчання в охороні здоров'я за допомогою системи IBM Watson не увінчалися успіхом навіть після багатьох років і мільярдів доларів інвестицій. Чатбот Microsoft звинувачували у створенні ворожих та образливих відповідей на звернення його користувачів.

Машинне навчання використовували як стратегію для уточнення свідчень, пов'язаних із систематичним рецензуванням і збільшенням навантаження на рецензентів у зв'язку зі збільшенням біомедичної літератури. Хоча воно покращилося за допомогою тренувальних наборів, воно ще не розвинувся достатньо, щоби зменшити робоче навантаження без обмеження необхідної чутливості для самих досліджень результатів.

Упередження

Докладніше: ^[en]

Підходи машинного навчання, зокрема, можуть страждати від різних упереджень даних (англ. data biases). Система машинного навчання, натренована конкретно на поточних клієнтах, може виявитися нездатною передбачити потреби нових груп клієнтів, не поданих у тренувальних даних. При навчанні на створених людьми даних машинне навчання цілком може підхопити конституційні та несвідомі упередження, які вже присутні в суспільстві.

Було показано, що мовні моделі, навчені з даних, містять людські упередження. В експерименті, який провела ProPublica, журналістська розслідувальська організація, розуміння алгоритму машинного навчання щодо рівнів рецидивізму ув'язнених неправильно мітило «чорношкірих обвинувачених як високоризикових удвічі частіше, ніж білошкірих». 2015 року Google на фотографіях часто позначувала темношкірих людей як горил, і 2018 року це все ще не було розв'язано як слід, а, як було повідомлено, Google натомість використовувала обхідний шлях, усуваючи всіх горил із тренувальних даних, і тому була взагалі нездатна розпізнати справжніх горил. Подібні проблеми з розпізнаванням небілих людей було виявлено в багатьох інших системах. 2016 року Microsoft протестувала чат-бота, який навчався з Twitter, і він швидко підхопив расистську та сексистську мову.

Через такі виклики ефективне використання машинного навчання в деяких областях може вимагати тривалішого пристосовування. Занепокоєння щодо ^[en] у машинному навчанні, тобто зменшення упередженості в машинному навчанні та сприяння його використанню для блага людини, все частіше висловлюють науковці зі штучного інтелекту, зокрема Фей-Фей Лі, яка нагадує інженерам, що «У ШІ немає нічого штучного… Він натхненний людьми, він створений людьми, і, що найважливіше, він впливає на людей. Це потужний інструмент, який ми лише починаємо розуміти, і це велика відповідальність.»

Поясненність

Докладніше: Поясненний штучний інтелект

Поясне́нний ШІ (англ. Explainable AI, XAI), або інтерпретовний ШІ (англ. Interpretable AI), або поясненне машинне навчання (англ. Explainable Machine Learning, XML), — це штучний інтелект (ШІ), в якому люди можуть розуміти рішення або передбачення, зроблені цим ШІ. Це контрастує з концепцією «чорної скриньки» в машинному навчанні, де навіть її розробники не можуть пояснити, чому ШІ прийшов до певного рішення. Удосконалюючи ментальні моделі користувачів систем на основі ШІ та руйнуючи їхні хибні уявлення, поясненний ШІ обіцяє допомогти користувачам діяти ефективніше. Поясненний ШІ може бути втіленням соціального права на пояснення.

Перенавчання

Докладніше: Перенавчання

Синя лінія може бути прикладом перенавчання лінійної функції через випадковий шум.

Схиляння до поганої, переускладненої теорії, схибленої таким чином, щоби відповідати всім минулим тренувальним даним, називають перенавчанням. Багато систем намагаються знижувати перенавчання, винагороджуючи теорію відповідно до того, наскільки добре вона допасовується до даних, але штрафуючи теорію відповідно до того, наскільки вона складна.

Інші обмеження та вразливості

Учні також можуть розчаровувати, «вивчивши не той урок». Іграшковий приклад: класифікатор зображень, навчений лише на зображеннях коричневих коней і чорних котів, може зробити висновок, що всі коричневі плями, ймовірно, є кіньми. Приклад із реального світу полягає в тому, що, на відміну від людей, сучасні класифікатори зображень часто роблять висновки не на основі просторових відносин між складовими зображення, а навчаються зв'язків між пікселями, яких люди не помічають, але які все одно корелюють із зображеннями окремих видів реальних об'єктів. Зміна цих візерунків на законному зображенні може призвести до «змагальних» (англ. "adversarial") зображень, які система класифікує неправильно.

Змагальні вразливості також можуть виникати в нелінійних системах або випливати з нешаблонних збурень. Для деяких систем можливо змінити вихід, змінивши лише один змагально обраний піксель. Моделі машинного навчання часто вразливі до маніпуляцій та/або ухилення через ^[en].

Дослідники продемонстрували, як можливо непомітно розміщувати чорні ходи в класифікувальних (наприклад, дописів як «спам» та добре видимих «не спам») моделей машинного навчання, які часто розробляють та/або тренують треті сторони. Сторони можуть змінити класифікацію будь-якого входу, зокрема у випадках, для яких забезпечується певний тип ^[en], можливо, включно з доступом до білої скриньки.

Оцінювання моделей

Класифікацію моделей машинного навчання можливо затверджувати за допомогою методик оцінювання точності, таких як метод притримування (англ. holdout), який розбиває дані на тренувальний та випробувальний набори (зазвичай 2/3 тренувального набору та 1/3 випробувального) й оцінює продуктивність тренованої моделі на випробувальному наборі. Для порівняння, метод K-кратного перехресного затверджування (англ. K-fold-cross-validation) випадковим чином розбиває дані на K підмножин, а потім виконує K експериментів, кожен відповідно з 1 підмножиною для оцінювання та рештою K-1 підмножин для тренування моделі. На додачу до методів притримування та перехресного затверджування, для оцінювання точності моделі можливо використовувати натяжку (англ. bootstrap), яка вибирає з набору даних n примірників із заміною.

На додачу до загальної точності (англ. accuracy), дослідники часто повідомляють чутливість та специфічність (англ. sensitivity and specificity), що означають істиннопозитивний рівень (ІПР, англ. True Positive Rate, TPR) та істиннонегативний рівень (ІНР, англ. True Negative Rate, TNR) відповідно. Аналогічно, дослідники іноді повідомляють хибнопозитивний рівень (ХПР, англ. false positive rate, FPR), а також хибнонегативний рівень (ХНР, англ. false negative rate, FNR). Проте ці рівні це відношення, які не розкривають своїх чисельників та знаменників. Одним з ефективних методів вираження діагностичної спроможності моделі є ^[en] (ЗРХ, англ. total operating characteristic, TOC). ЗРХ показує чисельники та знаменники зазначених вище рівнів, таким чином, ЗРХ надає більше інформації, ніж загальновживана робоча характеристика приймача (РХП, англ. receiver operating characteristic, ROC) та пов'язана з РХП площа під цією кривою (ППК, англ. area under the curve, AUC).

Етика

Див. також: ^[en], [[^[en]]] та Етика штучного інтелекту

Машинне навчання ставить безліч етичних питань. Системи, треновані на наборах даних, зібраних з упередженнями, можуть проявляти ці упередження при використанні (^[en]), оцифровуючи таким чином культурні забобони. Наприклад, 1988 року британська комісія з питань расової рівності виявила, що медична школа св. Георгія використовувала комп'ютерну програму, натреновану на основі даних попереднього персоналу приймальної комісії, й ця програма відмовила майже 60 кандидатам, які були або жінками, або мали неєвропейські імена. Використання даних про наймання на роботу від фірми з расистською політикою найму може призвести до того, що система машинного навчання дублюватиме цю упередженість, оцінюючи претендентів на посаду за схожістю з попередніми успішними кандидатами. Ще один приклад містить передбачувальний алгоритм передбачувального поліцейського патрулювання компанії ^[en], який призвів до «непропорційно високого рівня надмірного поліцейського контролю у бідних спільнотах та спільнотах меншин» після тренування на історичних даних про злочинність.

В той час як відповідальне збирання даних та документування алгоритмічних правил, які використовує система, вважають критично важливою частиною машинного навчання, деякі дослідники звинувачують у вразливості машинного навчання до упереджень брак участі та представництва меншин у галузі ШІ. Справді, за дослідженням, проведеним Асоціацією досліджень у галузі обчислень (англ. Computing Research Association, CRA) 2021 року, «жіночий факультет складає лише 16,1 %» усіх членів факультету, які зосереджуються на ШІ у декількох університетах світу. Крім того, серед групи «нових резидентів США, випускників докторантур ШІ» 45 % ідентифікували себе як білі, 22,4 % як азіати, 3,2 % як іспанці, і 2,4 % як афроамериканці, що додатково демонструє відсутність різноманітності у галузі ШІ.

ШІ може бути добре оснащеним для ухвалювання рішень у технічних сферах, які значною мірою покладаються на дані та історичну інформацію. Ці рішення спираються на об'єктивність і логічну аргументацію. Оскільки людські мови містять упередження, машини, навчені на мовних корпусах текстів, обов'язково також навчаться цих упереджень.

Інші види етичних викликів, не пов'язаних з особистими упередженнями, спостерігаються в охороні здоров'я. Серед медичних працівників є занепокоєння, що ці системи може бути розроблено не в інтересах суспільства, а як машини для отримування доходу. Особливо це стосується Сполучених Штатів, де існує давня етична дилема щодо покращення охорони здоров'я, але також і збільшення прибутків. Наприклад, алгоритми може бути розроблено для виписування пацієнтам непотрібних тестів або ліків, у яких власники алгоритму мають частку. В машинного навчання в охороні здоров'я існує потенціал надати фахівцям додатковий інструмент для діагностування, лікування та планування шляхів одужання пацієнтів, але для цього потрібно пом'якшувати ці упередження.

Апаратне забезпечення

Починаючи з 2010-х років прогрес як в алгоритмах машинного навчання, так і в комп'ютерному обладнанні призвів до появи ефективніших методів тренування глибоких нейронних мереж (особливої вузької підобласті машинного навчання), які містять багато шарів нелінійних прихованих вузлів. До 2019 року графічні процесори (ГП), часто зі спеціальними вдосконаленнями для ШІ, витіснили ЦП як панівний метод тренування великомасштабного комерційного хмарного ШІ.OpenAI оцінила апаратні обчислення, які використовували в найбільших проєктах глибокого навчання, від AlexNet (2012), і до AlphaZero (2017), і виявила 300 000-кратне збільшення необхідного обсягу обчислень із тенденцією подвоєння часу кожні 3,4 місяці.

Нейроморфні/фізичні нейронні мережі

^[en] (англ. physical neural network) або нейроморфний комп'ютер (англ. Neuromorphic computer) — це один із видів штучних нейронних мереж, у якому використовують електрично підлаштовуваний матеріал для імітування функціювання нейронного синапса. Термін «фізична» нейронна мережа використовують, щоби підкреслити залежність від фізичного апаратного забезпечення, яке використовують для імітування нейронів, на противагу до програмних підходів. Загальніше цей термін застосовний і до інших штучних нейронних мереж, у яких використовують мемристор або інший електрично підлаштовуваний опірний матеріал, щоб імітувати нейронний синапс.

Вбудовуване машинне навчання

Вбудоване машинне навчання (англ. Embedded Machine Learning) — це підгалузь машинного навчання, де модель машинного навчання працює на вбудованих системах з обмеженими обчислювальними ресурсами, як-от носимих комп'ютерах, ^[en] та мікроконтролерах. Експлуатація моделі машинного навчання у вбудованих пристроях усуває необхідність передавання й зберігання даних на хмарних серверах для подальшої обробки, відтак зменшуючи виривання даних та протікання конфіденційності, що відбуваються через передавання даних, а також зводить до мінімуму крадіжку інтелектуальної власності, особистих даних та комерційних таємниць. Вбудовуване машинне навчання можливо застосовувати за допомогою кількох методик, включно з апаратним прискоренням, використанням ^[en], оптимізуванням моделей машинного навчання та багатьма іншими.

Програмне забезпечення

До програмних пакетів, що містять різноманітні алгоритми машинного навчання, належать наступні:

Вільне та відкрите програмне забезпечення

• Caffe
• Deeplearning4j
• ^[en]
• ^[en]
• ^[en]
• ^[en]
• Keras
• ^[en]
• ^[en]
• ^[en]
• ^[en]
• Microsoft Cognitive Toolkit
• ^[en]
• ^[en]
• MXNet
• ^[en]
• ^[en]
• pandas
• ROOT (TMVA з ROOT)
• scikit-learn
• ^[en]
• Spark MLlib
• ^[en]
• TensorFlow
• Torch / PyTorch
• Weka / ^[en]
• XGBoost
• ^[en]

Власницьке програмне забезпечення з вільними або відкритими редакціями

• ^[en]
• ^[en]

Власницьке програмне забезпечення

• Amazon Machine Learning
• ^[en] KnowledgeSTUDIO
• Azure Machine Learning
• ^[en]
• ^[en]
• ^[en]
• ^[en]
• KXEN Modeler
• ^[en]
• Mathematica
• MATLAB
• ^[en]
• ^[en]
• ^[en]
• ^[en]
• ^[en]
• ^[en]
• ^[en]
• ^[en]
• Splunk
• STATISTICA Data Miner

Журнали

• «Journal of Machine Learning Research»
• «Machine Learning»
• «Nature Machine Intelligence»
• ^[en]»
• ^[en]»

Конференції

• ^[en]
• ^[en] (англ. ACL)
• ^[en] (англ. ECML PKDD)
• ^[en] (англ. CIBB)
• ^[en] (англ. ICML)
• Міжнародна конференція з навчання подань (англ. ICLR)
• ^[en] (англ. IROS)
• ^[en] (англ. KDD)
• ^[en] (англ. NeurIPS)

Див. також

• Автоматизоване машинне навчання — процес автоматизації машинного навчання
• Великі дані — інформаційні ресурси, характеризовані великим обсягом, швидкістю та різноманіттям
• ^[en] — парадигма програмування
• Квантове машинне навчання
• ^[en]
• ^[fr]
• Список наборів даних для досліджень з машинного навчання — OAIS 2.0

Примітки

1. Визначення «без явного програмування» часто приписують Артурові Семюелю, який придумав термін «машинне навчання» 1959 року, але цю фразу не знайдено дослівно в тій публікації, й вона може бути парафразою, що з'явилася пізніше. Див. «Парафразуючи Артура Семюеля (1959), питання таке: Як комп'ютери можуть навчатися розв'язувати задачі без явного програмування?» у Koza, John R.; Bennett, Forrest H.; Andre, David; Keane, Martin A. (1996). Automated Design of Both the Topology and Sizing of Analog Electrical Circuits Using Genetic Programming. Artificial Intelligence in Design '96. Artificial Intelligence in Design '96 (англ.). Springer, Dordrecht. с. 151—170. doi:10.1007/978-94-009-0279-4_9. ISBN 978-94-010-6610-5.
2. What is Machine Learning?. IBM (амер.). Процитовано 27 червня 2023.
3. Zhou, Victor (20 грудня 2019). Machine Learning for Beginners: An Introduction to Neural Networks. Medium (англ.). Архів оригіналу за 9 березня 2022. Процитовано 15 серпня 2021.
4. Hu, Junyan; Niu, Hanlin; Carrasco, Joaquin; Lennox, Barry; Arvin, Farshad (2020). Voronoi-Based Multi-Robot Autonomous Exploration in Unknown Environments via Deep Reinforcement Learning. IEEE Transactions on Vehicular Technology (англ.). 69 (12): 14413—14423. doi:10.1109/tvt.2020.3034800. ISSN 0018-9545. S2CID 228989788.
5. Yoosefzadeh-Najafabadi, Mohsen; Hugh, Earl; Tulpan, Dan; Sulik, John; Eskandari, Milad (2021). Application of Machine Learning Algorithms in Plant Breeding: Predicting Yield From Hyperspectral Reflectance in Soybean?. Front. Plant Sci. (англ.). 11: 624273. doi:10.3389/fpls.2020.624273. PMC 7835636. PMID 33510761.
6. (2006), Pattern Recognition and Machine Learning (англ.), Springer, ISBN 978-0-387-31073-2
7. Машинне навчання та розпізнавання системи (англ. pattern recognition) «можна розглядати як дві грані одного поля.»^:vii
8. (1998). Data Mining and Statistics: What's the connection?. Computing Science and Statistics (англ.). 29 (1): 3—9.
9. Samuel, Arthur (1959). Some Studies in Machine Learning Using the Game of Checkers. IBM Journal of Research and Development (англ.). 3 (3): 210—229. CiteSeerX 10.1.1.368.2254. doi:10.1147/rd.33.0210. S2CID 2126705.
10. R. Kohavi and F. Provost, "Glossary of terms", Machine Learning, vol. 30, no. 2–3, pp. 271–274, 1998. (англ.)
11. Gerovitch, Slava (9 квітня 2015). How the Computer Got Its Revenge on the Soviet Union. Nautilus (англ.). Архів оригіналу за 22 вересня 2021. Процитовано 19 вересня 2021.
12. Lindsay, Richard P. (1 вересня 1964). The Impact of Automation On Public Administration. Western Political Quarterly (англ.). 17 (3): 78—81. doi:10.1177/106591296401700364. ISSN 0043-4078. S2CID 154021253. Архів оригіналу за 6 жовтня 2021. Процитовано 6 жовтня 2021.
13. History and Evolution of Machine Learning: A Timeline. WhatIs (англ.). Процитовано 8 грудня 2023.
14. Milner, Peter M. (1993). The Mind and Donald O. Hebb. Scientific American (англ.). 268 (1): 124—129. Bibcode:1993SciAm.268a.124M. doi:10.1038/scientificamerican0193-124. ISSN 0036-8733. JSTOR 24941344. PMID 8418480.
15. "Science: The Goof Button", Time (magazine), 18 August 1961. (англ.)
16. Nilsson N. Learning Machines, McGraw Hill, 1965. (англ.)
17. Duda, R., Hart P. Pattern Recognition and Scene Analysis, Wiley Interscience, 1973 (англ.)
18. S. Bozinovski "Teaching space: A representation concept for adaptive pattern classification" COINS Technical Report No. 81-28, Computer and Information Science Department, University of Massachusetts at Amherst, MA, 1981. https://web.cs.umass.edu/publication/docs/1981/UM-CS-1981-028.pdf [Архівовано 2021-02-25 у Wayback Machine.] (англ.)
19. Mitchell, T. (1997). Machine Learning (англ.). McGraw Hill. с. 2. ISBN 978-0-07-042807-2.
20. (2008), The Annotation Game: On Turing (1950) on Computing, Machinery, and Intelligence, у Epstein, Robert; Peters, Grace (ред.), The Turing Test Sourcebook: Philosophical and Methodological Issues in the Quest for the Thinking Computer (англ.), Kluwer, с. 23—66, ISBN 9781402067082, архів оригіналу за 9 березня 2012, процитовано 11 грудня 2012
21. Introduction to AI Part 1. Edzion (англ.). 8 грудня 2020. Архів оригіналу за 18 лютого 2021. Процитовано 9 грудня 2020.
22. Sindhu V, Nivedha S, Prakash M (February 2020). An Empirical Science Research on Bioinformatics in Machine Learning. Journal of Mechanics of Continua and Mathematical Sciences (англ.) (7). doi:10.26782/jmcms.spl.7/2020.02.00006.
23. Sarle, Warren S. (1994). Neural Networks and statistical models. SUGI 19: proceedings of the Nineteenth Annual SAS Users Group International Conference (англ.). SAS Institute. с. 1538–50. ISBN 9781555446116. OCLC 35546178.
24. ; Norvig, Peter (2003) [1995]. Artificial Intelligence: A Modern Approach (вид. 2nd). Prentice Hall. ISBN 978-0137903955. (англ.)
25. Langley, Pat (2011). The changing science of machine learning. Machine Learning (англ.). 82 (3): 275—9. doi:10.1007/s10994-011-5242-y.
26. Le Roux, Nicolas; Bengio, Yoshua; Fitzgibbon, Andrew (2012). Improving First and Second-Order Methods by Modeling Uncertainty. У Sra, Suvrit; Nowozin, Sebastian; Wright, Stephen J. (ред.). Optimization for Machine Learning (англ.). MIT Press. с. 404. ISBN 9780262016469. Архів оригіналу за 17 січня 2023. Процитовано 12 листопада 2020.
27. Bzdok, Danilo; ; Krzywinski, Martin (2018). Statistics versus Machine Learning. Nature Methods (англ.). 15 (4): 233—234. doi:10.1038/nmeth.4642. PMC 6082636. PMID 30100822.
28. (10 вересня 2014). statistics and machine learning (англ.). reddit. Архів оригіналу за 18 жовтня 2017. Процитовано 1 жовтня 2014.
29. Hung et al. Algorithms to Measure Surgeon Performance and Anticipate Clinical Outcomes in Robotic Surgery. JAMA Surg. 2018 (англ.)
30. Cornell University Library (August 2001). Breiman: Statistical Modeling: The Two Cultures (with comments and a rejoinder by the author). Statistical Science (англ.). 16 (3). doi:10.1214/ss/1009213726. S2CID 62729017. Архів оригіналу за 26 червня 2017. Процитовано 8 серпня 2015.
31. Gareth James; Daniela Witten; Trevor Hastie; Robert Tibshirani (2013). An Introduction to Statistical Learning (англ.). Springer. с. vii. Архів оригіналу за 23 червня 2019. Процитовано 25 жовтня 2014.
32. Ramezanpour, A.; Beam, A.L.; Chen, J.H.; Mashaghi, A. (17 листопада 2020). Statistical Physics for Medical Diagnostics: Learning, Inference, and Optimization Algorithms. Diagnostics (англ.). 10 (11): 972. doi:10.3390/diagnostics10110972. PMC 7699346. PMID 33228143.
33. Mashaghi, A.; Ramezanpour, A. (16 березня 2018). Statistical physics of medical diagnostics: Study of a probabilistic model. Physical Review E (англ.). 97 (3–1): 032118. arXiv:1803.10019. Bibcode:2018PhRvE..97c2118M. doi:10.1103/PhysRevE.97.032118. PMID 29776109. S2CID 4955393.
34. ; Rostamizadeh, Afshin; Talwalkar, Ameet (2012). Foundations of Machine Learning (англ.). USA, Massachusetts: MIT Press. ISBN 9780262018258.
35. Alpaydin, Ethem (2010). Introduction to Machine Learning (англ.). London: The MIT Press. ISBN 978-0-262-01243-0. Процитовано 4 лютого 2017.
36. Синєглазов, Віктор; Чумаченко, Олена (2022). Бідюк, П. І.; Шугалей, Л. П. (ред.). Методи та технології напівкерованого навчання: Курс лекцій (PDF) (укр.). Київ: НТУУ «КПІ ім. Ігоря Сікорського».
37. Дуда, О. М.; Кунанець, Н. Е.; Мацюк, О. В.; Пасічник, В. В. (21—27 травня 2018). Методи аналітичного опрацювання big data (PDF). Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту (укр.). Залізний Порт. с. 159. ISBN 978-617-7573-17-2.
38. Кропивницька, В. Б.; Магас, Д. М. (30 квітня 2023). Напівкероване машинне навчання для виявлення несправностей нафтогазопроводів. Modern engineering and innovative technologies (укр.). 1 (18): 33—36. doi:10.30890/2567-5273.2023-26-01-010.
39. В'юненко, О. Б.; Виганяйло, С. М. (12 травня 2021). Сокуренко, В. В.; Швець, Д. В.; Могілевський, Л. В.; Шульга, В. П.; Яковлєв, Р. П.; Шмельов, Ю. М. (ред.). Інновації та загальні проблеми підвищення рівня кібербезпеки (PDF). II Міжнародна науково-практична конференція «Авіація, промисловість, суспільство» (укр.). Т. 1. МВС України, Харківський національний університет внутрішніх справ, Кременчуцький льотний коледж. с. 169. ISBN 978-966-610-243-3.
40. Хорошилов, С. В.; Редька, М. О. (2019). Інтелектуальне керування орієнтацією космічних апаратів із використанням навчання з підкріпленням (PDF). Технічна механіка (укр.). Дніпро: Інститут технічної механіки Національної академії наук України та Державного космічного агентства України (4). doi:10.15407/itm2019.04.029.{{cite journal}}: Обслуговування CS1: Сторінки з параметром url-status, але без параметра archive-url (посилання)
41. Jordan, M. I.; Mitchell, T. M. (17 липня 2015). Machine learning: Trends, perspectives, and prospects. Science (англ.). 349 (6245): 255—260. Bibcode:2015Sci...349..255J. doi:10.1126/science.aaa8415. PMID 26185243. S2CID 677218.
42. El Naqa, Issam; Murphy, Martin J. (2015). What is Machine Learning?. Machine Learning in Radiation Oncology (англ.). с. 3—11. doi:10.1007/978-3-319-18305-3_1. ISBN 978-3-319-18304-6. S2CID 178586107.
43. Okolie, Jude A.; Savage, Shauna; Ogbaga, Chukwuma C.; Gunes, Burcu (June 2022). Assessing the potential of machine learning methods to study the removal of pharmaceuticals from wastewater using biochar or activated carbon. Total Environment Research Themes (англ.). 1—2: 100001. doi:10.1016/j.totert.2022.100001. S2CID 249022386.
44. Russell, Stuart J.; Norvig, Peter (2010). Artificial Intelligence: A Modern Approach (англ.) (вид. Third). Prentice Hall. ISBN 9780136042594.
45. Mohri, Mehryar; Rostamizadeh, Afshin; Talwalkar, Ameet (2012). Foundations of Machine Learning (англ.). The MIT Press. ISBN 9780262018258.
46. Alpaydin, Ethem (2010). Introduction to Machine Learning (англ.). MIT Press. с. 9. ISBN 978-0-262-01243-0. Архів оригіналу за 17 січня 2023. Процитовано 25 листопада 2018.
47. Jordan, Michael I.; Bishop, Christopher M. (2004). Neural Networks. У Allen B. Tucker (ред.). Computer Science Handbook, Second Edition (Section VII: Intelligent Systems) (англ.). Boca Raton, Florida: Chapman & Hall/CRC Press LLC. ISBN 978-1-58488-360-9.
48. Zhang, Bosen; Huang, Haiyan; Tibbs-Cortes, Laura E.; Vanous, Adam; Zhang, Zhiwu; Sanguinet, Karen; Garland-Campbell, Kimberly A.; Yu, Jianming; Li, Xianran (2023). Streamline unsupervised machine learning to survey and graph indel-based haplotypes from pan-genomes. Molecular Plant (англ.). 16 (6): 975—978. doi:10.1016/j.molp.2023.05.005. PMID 37202927.
49. Клейн, О. М. (2023). Метод та засоби виявлення аномалій в кіберфізичних системах комп’ютерного зору (кваліфікаційна робота магістра) (укр.). Хмельницький: Хмельницький національний університет.
50. Alex Ratner; Stephen Bach; Paroma Varma; Chris. Weak Supervision: The New Programming Paradigm for Machine Learning. hazyresearch.github.io (англ.). referencing work by many other members of Hazy Research. Архів оригіналу за 6 червня 2019. Процитовано 6 червня 2019.
51. van Otterlo, M.; Wiering, M. (2012). Reinforcement Learning and Markov Decision Processes. Reinforcement Learning. Adaptation, Learning, and Optimization (англ.). Т. 12. с. 3—42. doi:10.1007/978-3-642-27645-3_1. ISBN 978-3-642-27644-6.
52. Roweis, Sam T.; Saul, Lawrence K. (22 грудня 2000). Nonlinear Dimensionality Reduction by Locally Linear Embedding. Science (англ.). 290 (5500): 2323—2326. Bibcode:2000Sci...290.2323R. doi:10.1126/science.290.5500.2323. PMID 11125150. S2CID 5987139.
53. Shin, Terence (5 січня 2020). All Machine Learning Models Explained in 6 Minutes. Intuitive explanations of the most popular machine learning models. Towards Data Science (англ.). Архів оригіналу за 15 липня 2023. Процитовано 30 липня 2023.
54. Pavel Brazdil; Christophe Giraud Carrier; Carlos Soares; Ricardo Vilalta (2009). Metalearning: Applications to Data Mining (англ.) (вид. Fourth). Springer Science+Business Media. с. 10—14, passim. ISBN 978-3540732624.
55. Bozinovski, S. (1982). "A self-learning system using secondary reinforcement". In Trappl, Robert (ed.). Cybernetics and Systems Research: Proceedings of the Sixth European Meeting on Cybernetics and Systems Research. North-Holland. pp. 397–402. ISBN 978-0-444-86488-8. (англ.)
56. Bozinovski, Stevo (2014) "Modeling mechanisms of cognition-emotion interaction in artificial neural networks, since 1981." Procedia Computer Science p. 255-263 (англ.)
57. Bozinovski, S. (2001) "Self-learning agents: A connectionist theory of emotion based on crossbar value judgment." Cybernetics and Systems 32(6) 637–667. (англ.)
58. Y. Bengio; A. Courville; P. Vincent (2013). Representation Learning: A Review and New Perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence (англ.). 35 (8): 1798—1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
59. Nathan Srebro; Jason D. M. Rennie; Tommi S. Jaakkola (2004). Maximum-Margin Matrix Factorization. ^[en](англ.).
60. Coates, Adam; Lee, Honglak; Ng, Andrew Y. (2011). An analysis of single-layer networks in unsupervised feature learning (PDF). Int'l Conf. on AI and Statistics (AISTATS) (англ.). Архів оригіналу (PDF) за 13 серпня 2017. Процитовано 25 листопада 2018.
61. Csurka, Gabriella; Dance, Christopher C.; Fan, Lixin; Willamowski, Jutta; Bray, Cédric (2004). Visual categorization with bags of keypoints (PDF). ECCV Workshop on Statistical Learning in Computer Vision (англ.). Архів (PDF) оригіналу за 13 липня 2019. Процитовано 29 серпня 2019.
62. Daniel Jurafsky; James H. Martin (2009). Speech and Language Processing (англ.). Pearson Education International. с. 145—146.
63. Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2011). A Survey of Multilinear Subspace Learning for Tensor Data (PDF). Pattern Recognition (англ.). 44 (7): 1540—1551. Bibcode:2011PatRe..44.1540L. doi:10.1016/j.patcog.2011.01.004. Архів (PDF) оригіналу за 10 липня 2019. Процитовано 4 вересня 2015.
64. (2009). Learning Deep Architectures for AI (англ.). Now Publishers Inc. с. 1—3. ISBN 978-1-60198-294-0. Архів оригіналу за 17 січня 2023. Процитовано 15 лютого 2016.
65. Tillmann, A. M. (2015). On the Computational Intractability of Exact and Approximate Dictionary Learning. IEEE Signal Processing Letters (англ.). 22 (1): 45—49. arXiv:1405.6664. Bibcode:2015ISPL...22...45T. doi:10.1109/LSP.2014.2345761. S2CID 13342762.
66. ^[en], M Elad, and A Bruckstein. 2006. "K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation [Архівовано 2018-11-23 у Wayback Machine.]." Signal Processing, IEEE Transactions on 54 (11): 4311–4322 (англ.)
67. Zimek, Arthur; Schubert, Erich (2017), Outlier Detection, Encyclopedia of Database Systems (англ.), Springer New York, с. 1—5, doi:10.1007/978-1-4899-7993-3_80719-1, ISBN 9781489979933
68. Hodge, V. J.; Austin, J. (2004). A Survey of Outlier Detection Methodologies (PDF). Artificial Intelligence Review (англ.). 22 (2): 85—126. CiteSeerX 10.1.1.318.4023. doi:10.1007/s10462-004-4304-y. S2CID 59941878. Архів (PDF) оригіналу за 22 червня 2015. Процитовано 25 листопада 2018.
69. Dokas, Paul; Ertoz, Levent; Kumar, Vipin; Lazarevic, Aleksandar; Srivastava, Jaideep; Tan, Pang-Ning (2002). Data mining for network intrusion detection (PDF). Proceedings NSF Workshop on Next Generation Data Mining (англ.). Архів (PDF) оригіналу за 23 вересня 2015. Процитовано 26 березня 2023.
70. Chandola, V.; Banerjee, A.; Kumar, V. (2009). Anomaly detection: A survey. ^[en] (англ.). 41 (3): 1—58. doi:10.1145/1541880.1541882. S2CID 207172599.
71. Fleer, S.; Moringen, A.; Klatzky, R. L.; Ritter, H. (2020). Learning efficient haptic shape exploration with a rigid tactile sensor array, S. Fleer, A. Moringen, R. Klatzky, H. Ritter. PLOS ONE (англ.). 15 (1): e0226880. arXiv:1902.07501. doi:10.1371/journal.pone.0226880. PMC 6940144. PMID 31896135.
72. Moringen, Alexandra; Fleer, Sascha; Walck, Guillaume; Ritter, Helge (2020), Nisky, Ilana; Hartcher-O'Brien, Jess; Wiertlewski, Michaël; Smeets, Jeroen (ред.), Attention-Based Robot Learning of Haptic Interaction, Haptics: Science, Technology, Applications, Lecture Notes in Computer Science (англ.), Cham: Springer International Publishing, т. 12272, с. 462—470, doi:10.1007/978-3-030-58147-3_51, ISBN 978-3-030-58146-6, S2CID 220069113
73. Piatetsky-Shapiro, Gregory (1991), Discovery, analysis, and presentation of strong rules, in Piatetsky-Shapiro, Gregory; and Frawley, William J.; eds., Knowledge Discovery in Databases, AAAI/MIT Press, Cambridge, MA. (англ.)
74. Bassel, George W.; Glaab, Enrico; Marquez, Julietta; Holdsworth, Michael J.; Bacardit, Jaume (1 вересня 2011). Functional Network Construction in Arabidopsis Using Rule-Based Machine Learning on Large-Scale Data Sets. The Plant Cell (англ.). 23 (9): 3101—3116. doi:10.1105/tpc.111.088153. ISSN 1532-298X. PMC 3203449. PMID 21896882.
75. Agrawal, R.; Imieliński, T.; Swami, A. (1993). Mining association rules between sets of items in large databases. Proceedings of the 1993 ACM SIGMOD international conference on Management of data - SIGMOD '93 (англ.). с. 207. CiteSeerX 10.1.1.40.6984. doi:10.1145/170035.170072. ISBN 978-0897915922. S2CID 490415.
76. Urbanowicz, Ryan J.; Moore, Jason H. (22 вересня 2009). Learning Classifier Systems: A Complete Introduction, Review, and Roadmap. Journal of Artificial Evolution and Applications (англ.). 2009: 1—25. doi:10.1155/2009/736398. ISSN 1687-6229.
77. Plotkin G.D. Automatic Methods of Inductive Inference [Архівовано 2017-12-22 у Wayback Machine.], PhD thesis, University of Edinburgh, 1970. (англ.)
78. Shapiro, Ehud Y. Inductive inference of theories from facts [Архівовано 2021-08-21 у Wayback Machine.], Research Report 192, Yale University, Department of Computer Science, 1981. Reprinted in J.-L. Lassez, G. Plotkin (Eds.), Computational Logic, The MIT Press, Cambridge, MA, 1991, pp. 199–254. (англ.)
79. Shapiro, Ehud Y. (1983). Algorithmic program debugging. Cambridge, Mass: MIT Press. ISBN 0-262-19218-7 (англ.)
80. Shapiro, Ehud Y. "The model inference system." Proceedings of the 7th international joint conference on Artificial intelligence-Volume 2. Morgan Kaufmann Publishers Inc., 1981. (англ.)
81. Honglak Lee, Roger Grosse, Rajesh Ranganath, Andrew Y. Ng. "Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations [Архівовано 2017-10-18 у Wayback Machine.]" Proceedings of the 26th Annual International Conference on Machine Learning, 2009. (англ.)
82. Cortes, Corinna; Vapnik, Vladimir N. (1995). Support-vector networks. Machine Learning (англ.). 20 (3): 273—297. doi:10.1007/BF00994018.
83. Stevenson, Christopher. Tutorial: Polynomial Regression in Excel. facultystaff.richmond.edu (англ.). Архів оригіналу за 2 червня 2013. Процитовано 22 січня 2017.
84. Документація scikit-learn також містить подібні приклади [Архівовано 2022-11-02 у Wayback Machine.]. (англ.)
85. Goldberg, David E.; Holland, John H. (1988). Genetic algorithms and machine learning (PDF). Machine Learning (англ.). 3 (2): 95—99. doi:10.1007/bf00113892. S2CID 35506513. Архів (PDF) оригіналу за 16 травня 2011. Процитовано 3 вересня 2019.
86. Michie, D.; Spiegelhalter, D. J.; Taylor, C. C. (1994). Machine Learning, Neural and Statistical Classification. Ellis Horwood Series in Artificial Intelligence (англ.). Bibcode:1994mlns.book.....M.
87. Zhang, Jun; Zhan, Zhi-hui; Lin, Ying; Chen, Ni; Gong, Yue-jiao; Zhong, Jing-hui; Chung, Henry S.H.; Li, Yun; Shi, Yu-hui (2011). Evolutionary Computation Meets Machine Learning: A Survey. Computational Intelligence Magazine (англ.). 6 (4): 68—75. doi:10.1109/mci.2011.942584. S2CID 6760276.
88. Federated Learning: Collaborative Machine Learning without Centralized Training Data. Google AI Blog (англ.). 6 квітня 2017. Архів оригіналу за 7 червня 2019. Процитовано 8 червня 2019.
89. Машинне навчання включено до програми CFA (обговорення згори донизу); див. Kathleen DeRose and Christophe Le Lanno (2020). "Machine Learning" [Архівовано 2020-01-13 у Wayback Machine.]. (англ.)
90. Ivanenko, Mikhail; Smolik, Waldemar T.; Wanta, Damian; Midura, Mateusz; Wróblewski, Przemysław; Hou, Xiaohan; Yan, Xiaoheng (2023). Image Reconstruction Using Supervised Learning in Wearable Electrical Impedance Tomography of the Thorax. Sensors (англ.). 23 (18): 7774. Bibcode:2023Senso..23.7774I. doi:10.3390/s23187774. PMC 10538128. PMID 37765831.
91. "BelKor Home Page" research.att.com (англ.)
92. The Netflix Tech Blog: Netflix Recommendations: Beyond the 5 stars (Part 1) (англ.). 6 квітня 2012. Архів оригіналу за 31 травня 2016. Процитовано 8 серпня 2015.
93. Scott Patterson (13 липня 2010). Letting the Machines Decide (англ.). The Wall Street Journal. Архів оригіналу за 24 червня 2018. Процитовано 24 червня 2018.
94. Vinod Khosla (10 січня 2012). Do We Need Doctors or Algorithms? (англ.). Tech Crunch. Архів оригіналу за 18 червня 2018. Процитовано 20 жовтня 2016.
95. When A Machine Learning Algorithm Studied Fine Art Paintings, It Saw Things Art Historians Had Never Noticed [Архівовано 2016-06-04 у Wayback Machine.], The Physics at ArXiv blog (англ.)
96. Vincent, James (10 квітня 2019). The first AI-generated textbook shows what robot writers are actually good at. The Verge (англ.). Архів оригіналу за 5 травня 2019. Процитовано 5 травня 2019.
97. Vaishya, Raju; Javaid, Mohd; Khan, Ibrahim Haleem; Haleem, Abid (1 липня 2020). Artificial Intelligence (AI) applications for COVID-19 pandemic. Diabetes & Metabolic Syndrome: Clinical Research & Reviews (англ.). 14 (4): 337—339. doi:10.1016/j.dsx.2020.04.012. PMC 7195043. PMID 32305024.
98. Rezapouraghdam, Hamed; Akhshik, Arash; Ramkissoon, Haywantee (10 березня 2021). Application of machine learning to predict visitors' green behavior in marine protected areas: evidence from Cyprus. Journal of Sustainable Tourism (англ.). 31 (11): 2479—2505. doi:10.1080/09669582.2021.1887878. hdl:10037/24073.
99. Dey, Somdip; Singh, Amit Kumar; Wang, Xiaohang; McDonald-Maier, Klaus (15 червня 2020). User Interaction Aware Reinforcement Learning for Power and Thermal Efficiency of CPU-GPU Mobile MPSoCs. 2020 Design, Automation & Test in Europe Conference & Exhibition (DATE) (PDF) (англ.). с. 1728—1733. doi:10.23919/DATE48585.2020.9116294. ISBN 978-3-9819263-4-7. S2CID 219858480. Архів оригіналу за 13 грудня 2021. Процитовано 20 січня 2022.
100. Quested, Tony. Smartphones get smarter with Essex innovation. Business Weekly (англ.). Архів оригіналу за 24 червня 2021. Процитовано 17 червня 2021.
101. Williams, Rhiannon (21 липня 2020). Future smartphones 'will prolong their own battery life by monitoring owners' behaviour'. ^[en] (англ.). Архів оригіналу за 24 червня 2021. Процитовано 17 червня 2021.
102. Rasekhschaffe, Keywan Christian; Jones, Robert C. (1 липня 2019). Machine Learning for Stock Selection. Financial Analysts Journal (англ.). 75 (3): 70—88. doi:10.1080/0015198X.2019.1596678. ISSN 0015-198X. S2CID 108312507.
103. Why Machine Learning Models Often Fail to Learn: QuickTake Q&A. Bloomberg.com (англ.). 10 листопада 2016. Архів оригіналу за 20 березня 2017. Процитовано 10 квітня 2017.