Машинното самообучение (МС) е общ термин за „изкуствено“ генериране на знания от опит: изкуствената система се учи от примери и може да ги обобщи след завършване на етапа на обучение. За тази цел алгоритмите в машинното обучение изграждат статистически модел, базиран на данни за обучение. Това означава, че не само се запомнят примери, но се разпознават модели и модели в данните за обучението. По този начин системата може да оцени неизвестни данни (предаване на обучение). Възможни са приложения като: автоматизирани диагностични процедури, откриване на измами с кредитни карти, анализ на фондовия пазар, класификация на нуклеотидни последователности, разпознаване на глас и текст, както и самостоятелна система.
Темата е тясно свързана с „откриване на знания в бази данни“ и „извличане на данни“, но основно става въпрос за намиране на нови модели. Много алгоритми могат да се използват и за двете цели. На свой ред алгоритмите за машинно обучение намират приложение в интелигентния анализ на данните.
Като дисциплина Машинно самообучение е дисциплина, която изучава алгоритмите и математическите модели, използвани от компютърни системи за постепенно подобряване на тяхната ефективност за решаване на множество сходни задачи. Алгоритмите за машинно самообучение изграждат математически модел по примерни данни, наречени „обучаващи данни“, за да прогнозират или да вземат решения, без да са изрично програмирани за това. Тези алгоритми се прилагат в области като филтриране на електронна поща, откриване на неправомерен достъп в компютърни мрежи и компютърно зрение, където съставянето на алгоритми с конкретни инструкции за решаване на задачата е неприложимо. МС е тясно свързано с изчислителната статистика, чийто предмет е прогнозирането с помощта на компютри. То също така черпи методи, теория и сфери на приложение от математическата оптимизация. Извличането на знания от данни е поддисциплина на машинното самообучение, фокусирана върху изследователския анализ на данни чрез обучение без учител. Когато се прилага за икономически задачи, машинното самообучение се нарича и прогнозен анализ, който представлява изследване на текущите и предстоящите бизнес показатели с цел изясняване перспективите на неговото развитие.
Терминология Артър Самюел, американски пионер в областта на компютърните игри и изкуствения интелект, въвежда термина „машинно самообучение“ през 1959 г., докато работи за Ай Би Ем.R. Kohavi and F. Provost, „Glossary of terms“, Machine Learning, vol. 30, no. 2 – 3, pp. 271 – 274, 1998. Том М. Мичъл предлага едно често цитирано, по-формализирано определение на алгоритмите, изучавани в областта на МС: „Казваме, че една компютърна програма се учи от опита E по отношение на някакъв клас задачи T и мярка за производителност P, ако производителността ѝ при изпълнение на задачите от T, измерена с P, се подобрява с опита E.“ Това определение на задачите, с които се занимава МС, е по същество операционна дефиниция вместо дефиниция в когнитивни термини. То е в духа на предложението на Алън Тюринг от статията му „Изчислителни машини и разум“, в която въпросът „Могат ли машините да мислят?“ е заменен с „Могат ли машините да правят нещата, които можем да правим ние (в качеството ни на мислещи)?“. В предложението на Тюринг се излагат характеристиките, които биха могли да са присъщи на една мислеща машина и възможните последствия от построяването на такава.
Видове проблеми и задачи
Задачите в областта на МС се класифицират в няколко широки категории. При самообучението с учител (надзиравано МС) алгоритъмът изгражда математически модел на съвкупност от данни, която съдържа и входящите данни, и желаните изходящи резултати. Например, ако задачата е да се определи дали изображение съдържа даден предмет, обучаващите данни за самообучение с учител биха включвали изображения със и без съответния предмет (входящи данни), като всяко изображение има етикет (желан резултат), определящ дали съдържа предмета. В специални случаи входящите данни може да са налице само частично или да са ограничени до специфичен вид обратна връзка. Алгоритмите за смесено (отчасти надзиравано) индуктивно самообучение построяват математически модели от непълни обучаващи данни, в които за част от обучаващите примери не е зададен желаният резултат.
Алгоритмите за класификация и регресия спадат към самообучението с учител. Първите се използват, когато желаните резултати се свеждат до ограничен набор от стойности. За класифициращ алгоритъм, който филтрира електронна поща, входът би представлявал получено електронно писмо, а резултатът – името на папката, в която да бъде поставено. За алгоритъм, който разпознава спам, резултатът би бил прогноза от вида „спам“ или „не спам“, представена с булевите стойности единица и нула. Резултатите на алгоритмите за регресионен анализ са непрекъснати величини, което означава, че могат да приемат произволна стойност в даден диапазон. Примери за непрекъснати величини са температурата, дължината или цената на даден предмет.
При самообучението без учител (ненадзиравано МС) алгоритъмът построява математически модел на съвкупност от входящи данни, които не съдържат указания за желаните резултати. Алгоритмите за ненадзиравано самообучение служат за откриване на структура в данните, например групиране или клъстерен анализ. Самообучението без учител може да открива закономерности в данните и да групира входовете в категории, например при извеждане на признаци. Намаляването на размерността представлява процес на редуциране на броя „признаци“, или входове, в съвкупност от данни.
Алгоритмите за активно самообучение получават достъп до желаните резултати (обучаващите етикети) за ограничен набор входящи данни на базата на бюджет и оптимизират избора на входове, за които да поискат обучаващи етикети. При интерактивно използване тези заявки могат да се предоставят на потребител човек за приписване на етикетите. Алгоритмите за обучение с утвърждение получават обратна връзка във вид на положително или отрицателно утвърждение в динамична среда и се използват в автономните автомобили или при самообучение за игра срещу противник човек. Сред специализираните алгоритми в МС е например моделирането на теми, в което на компютърната програма се подава съвкупност от документи на естествен език и тя намира други документи на подобни теми. Алгоритмите за МС могат да се използват за откриване на невъзможна за наблюдение плътност на разпределение в задачи за оценка на плътността. Алгоритмите за метаобучение натрупват индуктивно отместване на базата на опита. В еволюционната роботика алгоритмите за обучение на роботи генерират свои собствени последователности от обучаващи експерименти с цел кумулативно усвояване на нови умения чрез самостоятелно насочвано изследване и социално взаимодействие с хора.
История и връзки с други области Като научна област МС възниква във връзка с усилията за постигане на изкуствен интелект. Още в зората на ИИ като академична дисциплина някои изследователи се интересуват от възможността машините да се самообучават от данни. Те подхождат към задачата с различни символни методи, както и с техники, наречени тогава „невронни мрежи“ – главно перцептрони и други модели, които по-късно се оказват преоткрития на обобщените линейни модели от статистиката. Използват се и разсъждения, базирани на теорията на вероятностите, особено в автоматизираните медицински диагнози.Russell, Stuart; Norvig, Peter. Artificial Intelligence: A Modern Approach. Prentice Hall. Edition 2}}
Впоследствие обаче повишаващият се акцент върху логическия, базиран на знания подход предизвиква разрив между ИИ и МС. Вероятностните системи страдат от теоретичните и практическите проблеми на събирането и представянето на данни. До 1980 г. експертните системи вече доминират над ИИ и статистиката е в немилост. Работата по символното/базирано на знания самообучение продължава в рамките на ИИ, водейки до индуктивното логическо програмиране, но изследванията, клонящи повече към статистиката, вече излизат от основния предмет на ИИ и се обособяват в области като разпознаване по шаблони и извличане на информация. Проучванията в сферата на невронните мрежи са изоставени от ИИ и компютърните науки приблизително по едно и също време. Те продължават извън полето на ИИ/КН под името „конекционизъм“ благодарение на изследователи в други области, включително Джон Хопфилд, Дейвид Румелхарт и Джеф Хинтън. Техният основен успех идва в средата на 80-те години с повторното изобретяване на обратното разпространение на грешката.
МС, реорганизирано като отделна дисциплина, започва да процъфтява през 90-те години. Целта му се променя от постигане на изкуствен интелект към справяне с решими задачи от практическо естество. Фокусът му се измества от символните подходи, наследени от ИИ, към методи и модели, заети от статистиката и теорията на вероятностите. От полза му е и повишаващата се достъпност на информация в цифров вид, както и възможността за разпространяването ѝ чрез Интернет.
Връзка с извличането на знания от данни Машинното самообучение и извличането на знания от данни (ИЗД) често използват едни и същи методи и значително се застъпват, но докато МС се фокусира върху прогнозирането, базирано на известни свойства, научени от обучаващите данни, извличането на знания от данни се съсредоточава върху откриването на (преди това) неизвестни свойства в данните (това е етапът на анализ при откриването на знания в бази от данни). ИЗД използва много методи от МС, но с различни цели. От друга страна МС също използва методите на ИЗД като „самообучение без учител“ или като стъпка на предварителна обработка за подобряване на точността на ученето. Голяма част от объркването между тези две изследователски общности (които често имат отделни конференции и отделни списания, с важното изключение на ECML PKDD) идва от базовите предположения, с които работят: в МС производителността обикновено се оценява по отношение на способността да се възпроизвежда вече известно знание, докато при откриването на знания и извличането на знания от данни (ОЗИЗД) основната задача е откриването на неизвестно дотогава знание. Оценен по отношение на известното знание, неинформираният (ненадзираван) метод лесно ще бъде надминат от надзираваните методи, докато в типичните задачи в ОЗИЗД не могат да се използват надзиравани методи поради липсата на обучаващи данни.
Връзка с оптимизацията МС има съществени връзки и с оптимизацията: много задачи за самообучение са формулирани посредством минимизиране на целева функция за набор от обучаващи примери. Целевата функция оценява несъответствието между прогнозираната от обучавания модел стойност и истинската стойност (например при класифициране искаме да приписваме етикети на обекти и моделите се обучават да предсказват правилно предварително зададените етикети за набор от примери; пример за целева функция е „броят на погрешно класифицираните обекти“). Разликата между двете области произлиза от целта на обобщаването: алгоритмите за оптимизация са в състояние да минимизират целевата функция за обучаващите примери, но целта на МС е тя да бъде минимизирана за все още неизвестни примери.
Връзка със статистиката Машинното самообучение е тясно свързано със статистиката. Според Майкъл И. Джордан идеите на МС, от методологичните принципи до теоретичните инструменти, имат дълга предистория в статистиката. Той също така предлага термина data science (наука за данните) като временно име за обединената дисциплина.
Лео Брейман разграничава два модела статистически парадигми: модел на данните и алгоритмичен модел, където „алгоритмичен модел“ означава повече или по-малко алгоритми на машинното самообучение.
Някои статистици са възприели методи от машинното самообучение, давайки начало на комбинирана дисциплина, която те наричат статистическо самообучение.
Теория