Тео́рия мно́жеств — раздел математики, в котором изучаются общие свойства множеств — совокупностей элементов произвольной природы, обладающих каким-либо общим свойством. Создана во второй половине XIX века Георгом Кантором при значительном участии Рихарда Дедекинда, привнесла в математику новое понимание природы бесконечности, была обнаружена глубокая связь теории с формальной логикой, однако уже в конце XIX — начале XX века теория столкнулась со значительными сложностями в виде возникающих парадоксов, поэтому изначальная форма теории известна как наивная теория множеств. В XX веке теория получила существенное методологическое развитие, были созданы несколько вариантов аксиоматической теории множеств, обеспечивающие универсальный математический инструментарий, в связи с вопросами измеримости множеств тщательно разработана дескриптивная теория множеств.
Теория множеств стала основой многих разделов математики — общей топологии, общей алгебры, функционального анализа и оказала существенное влияние на современное понимание предмета математики «<…>явилась фундаментом ряда новых математических дисциплин (теории функций действительного переменного, общей топологии, общей алгебры, функционального анализа и др.) <…> оказала глубокое влияние на понимание самого предмета математики». В первой половине XX века теоретико-множественный подход был привнесён и во многие традиционные разделы математики, в связи с чем стал широко использоваться в преподавании математики, в том числе в школах. Однако использование теории множеств для логически безупречного построения математических теорий осложняется тем, что она сама нуждается в обосновании своих методов рассуждения. Более того, все логические трудности, связанные с обоснованием математического учения о бесконечности, при переходе на точку зрения общей теории множеств приобретают лишь бо́льшую остроту.
Начиная со второй половины XX века представление о значении теории и её влияние на развитие математики заметно снизились за счёт осознания возможности получения достаточно общих результатов во многих областях математики и без явного использования её аппарата, в частности, с использованием теоретико-категорного инструментария (средствами которого в теории топосов обобщены практически все варианты теории множеств). Тем не менее нотация теории множеств стала общепринятой во всех разделах математики вне зависимости от использования теоретико-множественного подхода. На идейной основе теории множеств в конце XX века создано несколько обобщений, в том числе теория нечётких множеств, теория мультимножеств (используемые в основном в приложениях), (развиваемая в основном чешскими математиками).
Ключевые понятия теории: множество (совокупность объектов произвольной природы), отношение принадлежности элементов множествам, подмножество, операции над множествами, отображение множеств, взаимно-однозначное соответствие, мощность (конечная, счётная, несчётная), трансфинитная индукция.
История
Предпосылки Множества, в том числе и бесконечные, в неявной форме фигурировали в математике со времён Древней Греции: например, в том или ином виде рассматривались отношения включения множеств всех рациональных, целых, натуральных, нечётных, простых чисел. Зачатки идеи о равномощности множеств встречаются у Галилея: рассуждая о соответствии между числами и их квадратами, он обращает внимание на неприменимость аксиомы «целое больше части» к бесконечным объектам (парадокс Галилея).
Первое представление об актуально бесконечном множестве относят к работам Гаусса начала 1800-х годов, опубликованным в его «Арифметических исследованиях», в которых, вводя сравнения на множестве рациональных чисел, он обнаруживает классы эквивалентности (классы вычетов) и разбивает всё множество на эти классы, отмечая их бесконечность и взаимное соответствие, рассматривает бесконечное множество решений как единую совокупность, классифицирует бинарные квадратичные формы () в зависимости от определителя и рассматривает этот бесконечный набор классов как бесконечные совокупности объектов нечисловой природы, предполагает возможность выбирать из классов эквивалентностей по одному объекту-представителю всего класса: использует методы, характерные для теоретико-множественного подхода, не использовавшиеся явно в математике до XIX века. В более поздних работах Гаусс, рассматривая совокупность комплексных чисел с рациональными вещественной и мнимой частью, говорит о вещественных, положительных, отрицательных, чисто мнимых целых числах как её подмножествах. Однако бесконечные множества или классы как самостоятельные объекты исследования Гауссом явно не выделялись, более того, Гауссу принадлежат высказывания против возможности использования актуальной бесконечности в математических доказательствах.
Более отчётливое представление о бесконечных множествах проявляется в работах Дирихле, в курсе лекций 1856—1857 годов, курс к изданию готовил Дедекинд, уже после смерти Дирихле, построенном на основе гауссовых «Арифметических исследований». В работах Галуа, Шёмана и Серре по теории функциональных сравнений 1820—1850-х годов также намечаются элементы теоретико-множественного подхода, которые обобщил Дедекинд в 1857 году, явно сформулировавший в качестве одного из выводов необходимость рассмотрения целой системы бесконечно многих сравнимых чисел как единого объекта, общие свойства которого равным образом присущи всем его элементам, а систему бесконечно многих несравнимых классов уподобляет ряду целых чисел. Отдельные понятия теории множеств можно встретить в трудах Штейнера и Штаудта 1830—1860-х годов по проективной геометрии: практически весь предмет в значительной степени зависит от представления о взаимно-однозначном соответствии, ключевом для теории множеств, однако в проективной геометрии на такие соответствия накладывались дополнительные ограничения (сохранение некоторых геометрических соотношений). В частности, Штейнер явно вводит понятие несчётного множества для множества точек на прямой и множества лучей в пучке и оперирует с их несчётными подмножествами, а в работе 1867 года вводит понятие мощности как характеристики множеств, между которыми возможно установить проективное соответствие (Кантор позднее указывал, что заимствовал само понятие и термин у Штейнера, обобщив проективное соответствие до взаимно-однозначного).
Наиболее близкие к наивной теории множеств Кантора представления содержатся в трудах Больцано, прежде всего, в работе , опубликованной после смерти автора в 1851 году, в которой рассматриваются произвольные числовые множества, и для их сравнения явно определено понятие взаимно-однозначного соответствия, и сам термин «множество» () также впервые систематически использован в этой работе. Однако, работа Больцано носит в большей степени философский характер, нежели математический, в частности, в ней нет чёткого разграничения между мощностью множества и понятием величины или порядка бесконечности, и сколь-нибудь формальной и целостной математической теории в этих представлениях нет. Наконец, теории вещественного числа Вейерштрасса, Дедекинда и Мерэ, созданные в конце 1850-х годов и опубликованные в начале 1860-х во многом перекликаются с идеями наивной теории множеств в том смысле, что рассматривают континуум как множество, образованное из рациональных и иррациональных точек.
Наивная теория множеств
Основным создателем теории множеств в наивном её варианте является немецкий математик Георг Кантор, к созданию абстракции точечного множества подтолкнули работы 1870—1872 годов по развитию теории тригонометрических рядов (продолжавшие труды Римана), в которых ввёл понятие предельной точки, близкое к современному и пытался с его помощью классифицировать «исключительные множества» (множества точек расходимости ряда, возможно бесконечные). Заинтересовавшись вопросами равномощности множеств, в 1873 году Кантор обнаружил счётность множества рациональных чисел и вопрос о равномощности множеств целых и вещественных чисел (последний результат опубликовал в 1874 году по настоянию Вейерштрасса. В 1877 году Кантор доказал взаимно-однозначное соответствие между и (для любого ). Первыми результатами Кантор делился в переписке с Дедекиндом и Вейерштрассом, которые отвечали благосклонной критикой и замечаниями к доказательствам, и начиная с 1879 года вплоть до 1884 года опубликовал шесть статей в Mathematische Annalen с результатами исследований бесконечных точечных множеств.
В 1877 году Дедекинд опубликовал статью «О числе классов идеалов конечного поля», в которой явно в символическом виде использовались операции со множествами — полями, модулями, идеалами, кольцами, — отношение включения (со знаками «<» и «>»), объединение (со знаком «+») и пересечение (с инфиксом «−»), и, кроме того, фактически описана алгебра множеств с присущей ей двойственностью операций объединения и пересечения; в обозначениях Дедекинда: , , в последующих своих работах многократно используя этот результат. В публикации 1878 года о равномощности континуумов разного числа измерений Кантор использовал теоретико-множественные операции, ссылаясь на работу Дедекинда. Кроме того, в этой же работе впервые в явном виде введено понятие мощности множества, доказана счётность всякого бесконечного подмножества счётного множества, а конечные поля алгебраических чисел предложены как примеры счётных множеств. Результат Кантора о равномощности континуумов разного числа измерений привлёк широкое внимание математиков, и уже в том же году последовало несколько работ (, , Нетто) с неудачными попытками доказательства невозможности одновременной непрерывности и взаимной однозначности отображения континуумов различных размерностей (точное доказательство этого факта дал Брауэр в 1911 году).
В 1880 году Кантор сформулировал две ключевых идеи теории множеств — понятие о пустом множестве и метод трансфинитной индукции. Начиная с 1881 года методами Кантора начинают пользоваться другие математики: Вольтерра, Дюбуа-Реймон, Бендиксон, Гарнак, в основном в связи с вопросами об интегрируемости функций. В работе 1883 года Кантор дал исторически первое формальное определение континуума, используя введённые им понятия совершенного множества и плотности множества (отличающиеся от современных, используемых в общей топологии, но принципиально сходных с ними), а также построил классический пример нигде не плотного совершенного множества (известный как канторово множество), а также в явном виде сформулировал континуум-гипотезу (предположение об отсутствии промежуточных мощностей между счётным множеством и континуумом, её недоказуемость в рамках ZFC показана Коэном в 1963 году).
С 1885—1895 годы работы по созданию наивной теории множеств получили развитие прежде всего в трудах Дедекинда (Кантор в течение этих 10 лет опубликовал лишь одну небольшую работу из-за болезни). Так, в книге «Что такое числа и для чего они служат?» (где также впервые построена аксиоматизация арифметики, известная как арифметика Пеано) систематически изложены полученные к тому времени результаты теории множеств в наибольшей общности — для множеств произвольной природы (не обязательно числовых), бесконечное множество определено как взаимнооднозначное с частью себя, впервые сформулирована теорема Кантора — БернштейнаДоказана независимо Эрнстом Шрёдером и Феликсом Бернштейном в 1897 году, изложена алгебра множеств и установлены свойства теоретико-множественных операций. Шрёдер в 1895 году обратил внимание на совпадение алгебры множеств и исчисления высказываний, тем самым была установлена глубокая связь между математической логикой и теорией множеств.
В 1895—1897 годы Кантор опубликовал цикл из двух работ, в целом завершающий создание наивной теории множеств.