История теории вероятностей отмечена многими уникальными особенностями. Прежде всего, в отличие от появившихся примерно в то же время других разделов математики (например, математического анализа или аналитической геометрии), у теории вероятностей по существу не было античных или средневековых предшественников, она целиком — создание Нового времени. Долгое время теория вероятностей считалась чисто опытной наукой и «не совсем математикой», её строгое обоснование было разработано только в 1929 году, то есть даже позже, чем аксиоматика теории множеств (1922). В наши дни теория вероятностей занимает одно из первых мест в прикладных науках по широте своей области применения; «нет почти ни одной естественной науки, в которой так или иначе не применялись бы вероятностные методы».
Историки выделяют в развитии теории вероятностей несколько периодов. Предыстория, до XVI века включительно. В античные времена и в Средневековье натурфилософы ограничивались метафизическими рассуждениями о происхождении случайности и её роли в природе. Математики в этот период рассматривали и иногда решали задачи, связанные с теорией вероятностей, но никаких общих методов и тематических понятий ещё не появилось. Главным достижением данного периода можно считать развитие комбинаторных методов, которые позже пригодились создателям теории вероятностей. Начало формирования во второй половине XVII века основных понятий и методов теории вероятностей для случайных величин с конечным числом значений. Стимулом вначале служили преимущественно проблемы, возникающие в азартных играх, однако область применения теории вероятностей почти сразу начинает расширяться, включая в себя прикладные задачи демографической статистики, страхового дела и теории приближённых вычислений. На этом этапе важный вклад в идеи новой науки внесли Паскаль и Ферма. Гюйгенс ввёл два фундаментальных понятия: числовая мера вероятности события, а также понятие математического ожидания случайной величины. В XVIII веке появились монографии с систематическим изложением теории вероятностей. Первой из них стала книга Якоба Бернулли «Искусство предположений» (1713 год). В ней Бернулли предложил классическое определение вероятности случайного события как отношение числа равновероятных исходов, связанных с этим событием, к общему числу исходов. Он также изложил правила подсчёта вероятности для сложных событий и дал первый вариант ключевого «закона больших чисел», разъясняющего, почему частота события в серии испытаний не меняется хаотично, а в некотором смысле стремится к своему предельному теоретическому значению (то есть вероятности). Идеи Бернулли далеко развили в начале XIX века Лаплас, Гаусс, Пуассон. Применение вероятностных методов в прикладной статистике значительно расширилось. Понятие вероятности стало определено и для непрерывных случайных величин, благодаря чему появилась возможность применения методов математического анализа. Появляются первые попытки применения теории вероятностей в физике. К концу XIX века появляются статистическая физика, строгая теория ошибок измерения, вероятностные методы проникают в самые различные прикладные науки. В XX веке в физике была создана теория микромира, а в биологии — теория наследственности, обе они существенно основаны на вероятностных методах. Карл Пирсон разработал алгоритмы математической статистики, широко и повсеместно применяемые для анализа прикладных измерений, проверки гипотез и принятия решений. А. Н. Колмогоров дал классическую аксиоматику теории вероятностей. Из других новых областей применений теории вероятностей необходимо упомянуть теорию информации и теорию случайных процессов. Философские споры о том, что такое вероятность и в чём причина её устойчивости, продолжаются.
Средневековый исламский мир: аль-Фараби Средневековый учёный эпохи исламского Золотого века Абу Наср аль-Фараби (870—950) начал разрабатывать основы учения о случайных явлениях, размышляя об астрологии, причинно-следственных связях и случайных, не связанных между собой событиях. В своём «Трактате об астрологии», в разделе «О том, что правильно и неправильно в предсказаниях звёзд», аль-Фараби открыто призывает исследовать массовые случайные явления и предлагает классификацию вероятностей, включающую категории: «невозможное», «редко возможное», «равновероятное», «возможное в большинстве случаев» и «необходимое» (достоверное).
Средневековая Европа и начало Нового времени
Первые задачи вероятностного характера возникли в различных азартных играх — костях, картах и др. Французский каноник XIII века Ришар де Фурниваль правильно подсчитал все возможные суммы очков после броска трёх костей и указал число способов, которыми может получиться каждая из этих сумм. Это число способов можно рассматривать как первую числовую меру ожидаемости события, аналогичную вероятности. До Фурниваля, а иногда и после него, эту меру часто подсчитывали неверно, считая, например, что суммы 3 и 4 очка равновероятны, так как оба могут получиться «только одним способом»: по результатам броска «три единицы» и «двойка с двумя единицами» соответственно. При этом не учитывалось, что три единицы в самом деле получаются только одним способом: , а двойка с двумя единицами — тремя: , так что эти события не равновероятны. Аналогичные ошибки неоднократно встречались и в дальнейшей истории науки.
В обширной математической энциклопедии «Сумма арифметики, геометрии, отношений и пропорций» итальянца Луки Пачоли (1494) содержатся оригинальные задачи на тему: как разделить ставку между двумя игроками, если серия игр прервана досрочно. Пример подобной задачи: игра идёт до 60 очков, победитель получает всю ставку в 22 дуката, в ходе игры первый игрок набрал 50 очков, второй — 30, и тут игру пришлось прекратить; требуется справедливо разделить исходную ставку. Решение зависит от того, что понимать под «справедливым» разделом; сам Пачоли предложил делить пропорционально набранным очкам (55/4 и 33/4 дуката); позднее его решение было признано ошибочным — С. 184—186..
Крупный алгебраист XVI века Джероламо Кардано посвятил анализу игры содержательную монографию «Книга об игре в кости» (1526 год, опубликована посмертно). Кардано провёл полный и безошибочный комбинаторный анализ для значений суммы очков и указал для разных событий ожидаемое значение доли «благоприятных» событий: например, при бросании трёх костей доля случаев, когда значения всех 3 костей совпадают, равна 6/216 или 1/36. Кардано сделал проницательное замечание: реальное количество исследуемых событий может при небольшом числе игр сильно отличаться от теоретического, но чем больше игр в серии, тем доля этого различия меньше. По существу, Кардано близко подошёл к понятию вероятности:
Итак, имеется одно общее правило для расчёта: необходимо учесть общее число возможных выпадений и число способов, которыми могут появиться данные выпадения, а затем найти отношение последнего числа к числу оставшихся возможных выпадений.
Другой итальянский алгебраист, Никколо Тарталья, раскритиковал подход Пачоли к решению задачи о разделе ставки: ведь если один из игроков ещё не успел набрать ни одного очка, то алгоритм Пачоли отдаёт всю ставку его сопернику, но это трудно назвать справедливым, поскольку некоторые шансы на выигрыш у отстающего всё же имеются. Кардано и Тарталья предложили свои (различные) способы раздела, но впоследствии и эти способы были признаны неудачными.
Исследованием данной темы занимался и Галилео Галилей, написавший трактат «О выходе очков при игре в кости» (1718 год, опубликован посмертно). Изложение теории игры у Галилея отличается исчерпывающей полнотой и ясностью. В своей главной книге «Диалог о двух главнейших системах мира, птолемеевой и коперниковой» Галилей также указал на возможность оценки погрешности астрономических и иных измерений, причём заявил, что малые ошибки измерения вероятнее, чем большие, отклонения в обе стороны равновероятны, а средний результат должен быть близок к истинному значению измеряемой величины. Эти качественные рассуждения стали первым в истории предсказанием нормального распределения ошибок.
XVII век: Паскаль, Ферма, Гюйгенс
В XVII веке начало формироваться отчётливое представление о проблематике теории вероятностей и появились первые математические (комбинаторные) методы решения вероятностных задач. Основателями математической теории вероятностей стали Блез Паскаль и Пьер Ферма.
Перед этим математик-любитель шевалье де Мере обратился к Паскалю по поводу так называемой «задачи об очках»: сколько раз нужно бросать две кости, чтобы ставить на одновременное выпадение хотя бы раз двух шестёрок было выгодно? Паскаль и Ферма вступили в переписку друг с другом по поводу данной задачи и родственных вопросов (1654). В рамках этой переписки учёные обсудили ряд проблем, связанных с вероятностными расчётами; в частности, рассматривалась старая задача о разделе ставки, и оба учёных пришли к решению, что надо разделить ставку соответственно остающимся шансам на выигрыш. Паскаль указал де Мере на ошибку, допущенную им при решении «задачи об очках»: в то время как де Мере неверно определил равновероятные события, получив ответ: 24 броска, Паскаль дал правильный ответ: 25 бросков.
Паскаль в своих трудах далеко продвинул применение комбинаторных методов, которые систематизировал в своей книге «Трактат об арифметическом треугольнике» (1665). Опираясь на вероятностный подход, Паскаль даже доказывал (в посмертно опубликованных заметках), что быть верующим выгоднее, чем атеистом (см. «пари Паскаля»).
Тематика дискуссии Паскаля и Ферма (без подробностей) стала известна Христиану Гюйгенсу, который опубликовал собственное исследование «О расчётах в азартных играх» (1657): первый трактат по теории вероятностей. В предисловии Гюйгенс пишет: Я полагаю, что при внимательном изучении предмета читатель заметит, что имеет дело не только с игрой, но что здесь закладываются основы очень интересной и глубокой теории.
В трактате Гюйгенса подробно излагаются вопросы, рассмотренные Ферма и Паскалем, но ставятся и новые вопросы. Главным достижением нидерландского учёного стало введение понятия математического ожидания, то есть теоретического среднего значения случайной величины. Гюйгенс также указал классический способ его подсчёта:
Если число случаев, в которых получается сумма , равно , а число случаев, в которых получается сумма , равно , то стоимость моего ожидания равна .
Гюйгенс, как видно из цитаты, вначале использовал термин «стоимость», а термин «ожидание» появился впервые при переводе трактата Гюйгенса Ван Схоутеном на латинский язык и стал общепринятым в науке.
В книге большое число задач, некоторые с решениями, другие «для самостоятельного решения». Из последних особый интерес и оживлённое обсуждение вызвала «задача о разорении игрока». В несколько обобщённом виде она формулируется так: у игроков A и B есть и монет соответственно, в каждой игре выигрывается одна монета, вероятность выигрыша A в каждой игре равна требуется найти вероятность полного его разорения. Полное общее решение «задачи о разорении» дал Абрахам де Муавр полвека спустя (1711). В наши дни вероятностная схема «задачи о разорении» используется при решении многих задач типа «случайное блуждание».
Гюйгенс проанализировал и задачу о разделе ставки, дав её окончательное решение: ставку надо разделить пропорционально вероятностям выигрыша при продолжении игры. Он также впервые применил вероятностные методы к демографической статистике и показал, как рассчитать среднюю продолжительность жизни.