Google Книги (, Google Print, Project Ocean) — масштабный проект американской транснациональной корпорации Google, запущенный в 2004 году и направленный на оцифровку и публикацию в интернете миллионов печатных произведений. Основная идея заключалась в том, чтобы сделать все когда-либо напечатанные книги доступными для чтения и поиска в интернете, обеспечив пользователям неограниченный доступ к знаниям. В 2010 году Google сообщила, что, по её оценкам, в мире насчитывается более 129 млн печатных изданий, которые компания планирует полностью оцифровать за 10 лет.
Бо́льшая часть коллекции поступала на оцифровку из университетских библиотек. В обмен на бесплатный доступ к книгам университеты получали бесплатные электронные копии, а Google — материалы для улучшения поисковой системы и создания обширной коллекции цифровых материалов. Компания сотрудничала с более чем 40 крупнейшими библиотеками, включая библиотеки Мичиганского, Гарвардского, Стэнфордского, Оксфордского университетов, а также Нью-Йоркскую публичную библиотеку. Часть коллекции поступала от издателей и авторов, предоставляющих Google разрешение на оцифровку материалов в обмен на доход от контекстной рекламы или от увеличения продаж благодаря росту спроса на электронные книги.
Компания проспонсировала разработку специальных аппаратов для сканирования книг, которые с помощью высокоточных камер могли обрабатывать до 1000 страниц в час. Встроенное программное обеспечение исправляло искажения, корректировало цвет и контраст, а также преобразовывало сноски в цитаты, что впоследствии позволило системе ранжировать книги по релевантности. При этом операторы переворачивали страницы вручную. К 2019 году в рамках проекта было оцифровано более 40 млн произведений.
В 2005 году Гильдия авторов и ряд других издателей подали , обвинив компанию в несанкционированном сканировании защищённых авторским правом материалов. Судебный процесс продолжался до 2016 года, после чего суд принял решение в пользу Google, определив, что сканирование материалов соответствует принципу добросовестного использования. Однако из-за нерешённых правовых споров оцифровка значительно замедлилась. По состоянию на 2023 год остаётся неясным, продолжает ли компания оцифровывать библиотечные издания.
Возникновение
Со времён аспирантуры в Стэнфордском университете сооснователи Google Ларри Пейдж и Сергей Брин задумывались об оцифровке огромных коллекций печатных изданий и предоставлении к ним широкого доступа. Эти идеи — оцифровка, доступность, возможность поиска по всем текстам мира — побудили Брина и Пейджа создать «поисковый робот», который впоследствии лёг в основу поисковой системы Google.
В 2002 году стартовал проект под кодовым названием «Проект Океан» (), в рамках которого сотрудники компании Google анализировали возможность массовой оцифровки всех печатных изданий. Впоследствии проект переименовали в Google Print, а затем — в Google Books. Основная идея заключалась в оцифровке всех книг мира — свыше 125 млн. По подсчётам Google, около 20 % из них находились в общественном достоянии, остальные были защищены авторским правом, однако уже не издавались. Google обратился к крупнейшим университетским библиотекам с просьбой предоставить бесплатный доступ к их коллекциям, а взамен предлагал бесплатные отсканированные копии. Предполагалось, что это будет беспроигрышная стратегия для двух сторон — библиотеки получают электронные версии сотен тысяч книг, а поисковая система Google улучшает качество и релевантность результатов поиска. Помимо этого, Google инициировал партнёрскую программу для издателей и авторов, в рамках которой правообладатели могли разрешить Google сканировать полный текст книги. Взамен они могли получить доход от контекстной рекламы или увеличения продаж от роста спроса на электронные книги. Масштабная оцифровка началась в 2004 году. Полное сканирование всех материалов планировалось завершить за 10 лет.
Проект был представлен в октябре 2004 года на Франкфуртской книжной ярмарке. Предполагалось, что Google будет сканировать только общедоступные материалы из Оксфордской и Ньй-Йоркской публичных библиотек, а также часть коллекций в библиотеки Гарвардского университета. Библиотеки Мичиганского и Стэнфордского университетов разрешали оцифровку лишь произведений в общественном достоянии. В декабре 2005 года проект переименовали в Google Books.
К июню 2010 года было оцифровано 12 млн книг, написанных примерно на 480 языках. На тот момент Google планировала завершить работу к 2020 году, создав виртуальную коллекцию из 4 млрд страниц или 2 трлн слов. К 2014 году число оцифрованных книг достигло 25 млн, а общие инвестиции в проект составляли 400 млн долларов. В 2015 году Google заявила, что отсканировала 30 млн томов, что было сравнимо с крупнейшими библиотеками мира, например, Библиотекой Конгресса, насчитывающей около 37 млн книг. Однако из-за оцифровка сильно замедлилась. К 2019 году было оцифровано свыше 40 млн печатных произведений.
Google заключила договоры с более чем 40 библиотеками по всему миру, включая библиотеки Гарварда, Стэнфорда, Мичиганского, Корнеллского и Колумбийского университетов, Нью-Йоркскую публичную библиотеку, Бодлианскую библиотеку, Австрийскую национальную библиотеку, Баварскую государственную библиотеку, Мадридского университета Комплутенсе, Гентского университета, Библиотека Каталонии, Библиотека Принстонского университета, Виргинского университета, Висконсинского университета в Мадисоне.
Миссия Проект Google Книги преследовал несколько амбициозных целей. Создатели стремились защитить тысячи важных публикаций от исчезновения из-за утраты печатной версии или прекращения издания. Они намеревались создать всеобъемлющую цифровую библиотеку мировых знаний, включающую информацию из всех когда-либо вышедших книг. Такой подход позволил бы обеспечить равный доступ к культурному и интеллектуальному наследию, требуя для чтения любого из материалов лишь доступ к интернету.
Google стремилась создать единый каталог всех печатных произведений и дать пользователям возможность искать по нему поиск с помощью ссылок и тегов. В то же время компания не ставила целью открыть полный доступ ко всем оцифрованным книгам, чему объективно мешали ограничения, связанные с авторским правом.
Оцифровка
Google стремилась при оцифровке произведений создавать качественные изображения минимального размера, чтобы даже пользователи в отдалённых местах без доступа к интернету могли использовать полученные материалы. Руководителем оцифровки был назначен американский информатик . Он принял решение оцифровывать книги путём фотографирования, а не сканирования.
Перед началом оцифровки Google вместе с партнёрской библиотекой разрабатывали подходящую выборку книг, принимая во внимание их ценность и состояние. Затем книги перевозили на грузовиках в специально оборудованные центры, где на расстоянии от до друг от друга были установлены станции оцифровки. Каждое устройство было изготовлено на заказ и могло обрабатывать до 1000 страниц в час. Каждый печатный материал закреплялся на специальном стенде, а вверху устанавливались 2-4 камеры и инфракрасный свет для автоматической коррекции кривизны страниц в книге. После встроенный в систему лидар помогал определить точное расположение книжных листов в пространстве, а специальное программное обеспечение «распрямляло» искривлённые страницы. Большинство книг не имело цветных фотографий или другой существенной информации о цвете. Используя методы интерполяции камеры, уменьшали битность изображения и так уменьшали размер изображения.
Программное обеспечение было способно распознавать оптические символы, преобразуя изображения в текст, устранять искажения, корректировать цвет, настраивать контраст, а также учитывать сноски на другие книги, что впоследствии позволило системе ранжировать книги по релевантности. Страницы переворачивались вручную специалистами, прошедшими специальную подготовку. Использование человеческого труда было необходимо для аккуратной работы со старыми материалами. Подобная модель позволила Google сократить стоимость оцифровки одной книги до 10 долларов. Согласно расчётам компании, каждый оператор мог оцифровывать до 50 книг в день. С течением времени сканеры продолжали совершенствоваться, новые версии выпускали каждые полгода.
После фотографирования камеры автоматически передавали полноценные изображения на связанный компьютер через FireWire или USB-соединение. Затем файлы загружались на серверы Google для дальнейшей обработки. Сами книги возвращали сотрудникам библиотек, которые занимались их регистрацией в базе данных и возвращали обратно на полку. При этом библиотеки проверяли случайные выборки полученных файлов, чтобы убедиться, что они соответствуют необходимым требованиям контроля качества. Google предоставляла университетам доступ к системе загрузки всех цифровых файлов, созданных на их основе коллекций, а также разрешала переиздание материалов через их собственные онлайн-сервисы.
В 2008 году была создана партнёрская сеть HathiTrust, первоначально включавшая 13 университетов, каждый из которых планировал оцифровывать свои коллекции благодаря Google Books. Организации сети договорились создать общий репозиторий для хранения оцифрованных книг. Материалы в открытом доступе доступны для онлайн-чтения.
Проблемы с коллекцией и критика
Качество оцифрованных материалов часто подвергалось критике. На некоторых страницах видны пятна от табака, червоточины, пылинки и даже отпечатки цветов, зажатых между страницами. Из-за ошибок оптического распознавания некоторые страницы были преобразованы в нечитаемые узоры. Однако самой распространённой погрешностью были руки операторов, случайно попадавшие в кадр во время перелистывания страниц. Некоторые страницы были пропущены или появлялись несколько раз.
Примерно 36 % оцифрованных книг содержали ошибки в метаданных, что значительно превышает уровень библиотечных онлайн-каталогов. Старые журналы иногда не содержали никакой информации о метаданных, необходимых для идентификации отдельных статей. Поэтому в 2007 году Google Scholar инициировал отдельную программу для научных журналов.
Некоторые исследователи критиковали Google за слишком узкий выбор коллекций для цифровизации, считая, что есть перекос в пользу изданий на английском языке и, соответственно, другие языки оказываются недостаточно представлены. В конечном итоге это искажение может повлиять на качество и направление будущих исследований.
Судебные разбирательства Американское авторское право контролирует использование копий произведений в цифровой сфере. Распространение электронных копий книг должно осуществляться под надзором правообладателей. Основная критика и правовые проблемы проекта Google Книги были связаны с тем, что компания начала сканировать книги без получения разрешений у издателей и авторов.
В сентябре 2005 года группа из трёх авторов совместно с коллективом издателей, включая Гильдию Авторов, подала два коллективных иска против компании Google и HathiTrust за «масштабное нарушение авторских прав».
Согласно иску, каждый истец утверждал, что имеет авторские права как минимум на одно произведение, находящееся в библиотеке Мичиганского университета. Целью иска был запрет оцифровки произведений и использование уже созданных копий без получения согласия их владельцев. Защита Google строилась на концепции справедливого использования — юристы компании утверждали, что документы являются преобразованными, поскольку компания не просто занималась оцифровкой, но и встроила систему поиска по ключевым словам. Месяц спустя подобный иск против Google подала и .