Метанаука (також відома як дослідження, засновані на доказах) — це використання наукової методології для вивчення самої науки. Метанаука прагне підвищити якість наукових досліджень, зменшуючи відходи. Вона також відома як «дослідження досліджень» та «наука про науку», оскільки використовує методи дослідження для вивчення того, як проводяться дослідження та де їх можна вдосконалити. Метанаука стосується всіх галузей досліджень і була охарактеризована як «погляд з висоти пташиного польоту на науку». За словами Джона Іоанідіса: «Наука — це найкраще, що трапилося з людьми … але ми можемо це зробити краще».
У 1966 р. у ранніх мета-дослідженнях досліджено статистичні методи 295 праць, опублікованих у десяти відомих медичних журналах. Було встановлено, що «майже у 73% прочитаних звітів ... висновки були зроблені, коли обґрунтування цих висновків було недійсним». Метадослідження протягом наступних десятиліть виявило багато методологічних недоліків, неефективності та поганої практики досліджень у багатьох наукових галузях. Багато наукових досліджень не могли бути відтворені, особливо в медицині та м'яких науках. Термін "криза відтворюваності" був введений на початку 2010-х років як частина зростаючої обізнаності про проблему.
Вжито заходів для вирішення проблем, виявлених метанаукою. Ці заходи включають попередню реєстрацію наукових досліджень та клінічні випробування, а також заснування таких організацій, як CONSORT та EQUATOR Network, які видають вказівки щодо методології та звітності. Продовжуються зусилля щодо зменшення зловживання статистикою, усунення неправильних стимулів з наукових шкіл, вдосконалення академічної експертної оцінки процесу, боротьби з упередженостю в науковій діяльності літератури та підвищення загальної якості та ефективності наукового процесу.
Історія У 1966 р. у ранніх метадослідженнях досліджено статистичні методи 295 робіт, опублікованих у десяти гучних медичних журналах. Було встановлено, що «майже у 73% прочитаних звітів ... висновки були зроблені, коли обґрунтування цих висновків було недійсним». Пізніші метадослідження виявили широкі труднощі в відтворюваністі результатів у багатьох наукових галузях, включаючи психологію та медицину. Цю проблему назвали "криза відтворюваності". Метанаука зросла як реакція на кризу відтворюваності та на занепокоєння щодо відходів у дослідженнях. Багато видатних видавців зацікавлені у метадослідженні та покращенні якості своїх публікацій. Найкращі журнали, такі як "Nature", "The Lancet" та "Science" забезпечують постійне висвітлення метадослідження та проблеми з відтворюваністю. У 2012 році PLOS ONE розпочав ініціативу щодо відтворення. У 2015 році Biomed Central представив контрольний список мінімальних стандартів звітності з чотирох рядків.
Першою міжнародною конференцією в широкій галузі метадосліджень стала конференція Research Waste / EQUATOR, що відбулася в Единбурзі в 2015 році; першою міжнародною конференцією з питань експертної оцінки була, що відбулася в 1989 році. У 2016 році було запущено журнал Research Integrity and Peer Review. Відкриття редакції журналу закликало до "досліджень, які розширять наше розуміння та запропонують потенційні рішення питань, пов'язаних з експертизою, звітністю про дослідження та етикою досліджень та публікацій".
Області метадосліджень
Метадослідження можна поділити на п'ять основних галузей, що цікавлять: методи, звітність, відтворюваність, оцінка та стимули. Вони відповідають відповідно до того, як проводити, спілкуватися, перевіряти, оцінювати та винагороджувати дослідження.
Методи
Метанаука прагне визначити погану дослідницьку практику, включаючи упередження дослідження в дослідженнях, погане планування дослідження, зловживання статистикою, а також знайти методи для зменшення цих практик. Мета-дослідження виявило численні упередження у науковій літературі. Особливо слід зазначити широке поширення та зловживання статистичною значимістю.
Звітність
Метадослідження виявило погану практику звітності, пояснення, поширення та популяризації досліджень, особливо в галузі соціальних та медичних наук. Погана звітність утруднює точну інтерпретацію результатів наукових досліджень, відтворення досліджень та виявлення упередженості та конфлікту інтересів авторів. Рішення включають впровадження стандартів звітності та більшу прозорість наукових досліджень (включаючи кращі вимоги до розкриття конфлікту інтересів). Існує спроба стандартизувати звітність даних та методологію шляхом створення керівних принципів звітними органами, такими як CONSORT та більш широкі EQUATOR.
Відтворюваність
Криза реплікації - це методологічна криза, що триває, коли було виявлено, що багато наукових досліджень важко чи неможливо повторити. Хоча криза сягає корінням у метадослідження середини - кінця 1900-х років, фраза "криза відтворюваності" була придумана до початку 2010-х років як частина зростаючої обізнаності про проблему. Криза відтворюваності особливо впливає на психологію (особливо соціальну психологію) та медицину. Відтворюваність є невід'ємною частиною наукового процесу, і широко розповсюджені невдачі відтворюваності ставлять під сумнів надійність постраждалих галузей. Staddon, John (2017) Scientific Method: How science works, fails to work or pretends to work. Taylor and Francis.
Більше того, відтворення дослідження (або неспроможність повторити) вважається менш значимим, ніж оригінальне дослідження, і рідше публікується у багатьох сферах. Це відлякує від звітування про дослідження та навіть спроби їх повторення.
Оцінка
Метанаука прагне створити науковий фундамент для експертної оцінки. Метадослідження оцінює систему експертної оцінки, включаючи експертний огляд перед публікацією, експертний огляд після публікації та відкритий експертний огляд. Вона також прагне розробити кращі критерії фінансування досліджень.
Стимули
Метанаука прагне сприяти кращому дослідженню через кращі системи стимулювання. Це включає вивчення точності, ефективності, витрат та переваг різних підходів до ранжування та оцінки досліджень та тих, хто їх виконує. Критики стверджують, що неправильні стимули створили середовище "опублікуй-або-загинь" в наукових колах, що сприяє виробленню сміттєвої науки, низькоякісних досліджень та хибнопозитивних даних. За словами Брайана Носека, "Проблема, з якою ми стикаємося, полягає в тому, що система стимулювання майже повністю орієнтована на опублікування досліджень, а не на правильне виконання досліджень". Прихильники реформ прагнуть структурувати систему стимулювання для вищої якості.
Реформи Метадослідження, що виявляють недоліки в науковій практиці, надихнули реформ у науці. Ці реформи мають на меті вирішити та виправити проблеми в науковій практиці, які призводять до неякісних чи неефективних досліджень.
Попередня реєстрація Практика реєстрації наукового дослідження до його проведення називається попередня реєстрація. Він виник як засіб для подолання кризи відтворюваності. Попередня реєстрація вимагає подання зареєстрованого звіту, який потім приймається до публікації або відхиляється журналом на основі теоретичного обгрунтування, експериментальної конструкції та запропонованого статистичного аналізу. Попередня реєстрація досліджень служить для запобігання упередженості публікацій, зменшення просіювання даних та збільшення відтворюваності.
Стандарти звітування
Дослідження, що показують погану послідовність та якість звітності, продемонстрували необхідність стандартів та рекомендацій звітності в науці, що призвело до зростання організацій, які виробляють такі стандарти, як CONSORT (Consolidated Standards of Reporting Trials, Консолідовані стандарти звітності про експерименти) та EQUATOR Network.
The EQUATOR (Enhancing the QUAlity and Transparency Of health Research) Network - це міжнародна ініціатива, спрямована на просування прозорої та точної звітності про дослідження в галузі охорони здоров'я для підвищення цінності та надійності літератури з медичних досліджень. EQUATOR Network була створена з метою підвищення обізнаності про важливість належної звітності про дослідження, сприяння розробці, розповсюдженню та впровадженню рекомендацій звітності для різних типів досліджень, моніторингу стану якості звітності науково-дослідних досліджень у науково-дослідницької літератури в галузі охорони здоров'я та проведення досліджень, що стосуються питань, що впливають на якість звітності про дослідження в галузі охорони здоров'я. Мережа виступає як "парасольова" організація, яка об'єднує розробників керівних принципів звітності, редакторів медичних журналів та експертних рецензентів, органів фінансування досліджень та інших ключових зацікавлених сторін, що мають взаємний інтерес у покращенні якості наукових публікацій та самих досліджень.
Програми
Медицина
Клінічні дослідження в медицині часто низької якості, і багато досліджень неможливо повторити. За оцінками, 85% фінансування досліджень витрачається марно. Крім того, наявність упередження спонсорування впливає на якість досліджень. Фармацевтичні компанії робить значний вплив на розробку та проведення медичних досліджень. Конфлікти інтересів поширені серед авторів медичної літератури і серед редакторів медичних журналів. Хоча майже всі медичні журнали вимагають від їх авторів розкривати конфлікт інтересів, від редакторів цього не вимагають.Фінансові конфлікти інтересів були пов'язані з більш високими показниками позитивних результатів дослідження. У випробуваннях антидепресантів фармацевтичне спонсорство є найкращим предиктором результатів випробувань.
Засліплення є ще одним напрямком метадослідження, оскільки помилка, викликана поганим осліпленням, є джерелом упередженності. Про засліплення в медичній літературі не надто добре повідомляється, і широке нерозуміння цього предмета призвело до поганого впровадження засліплення в клінічному випробуванні. Крім того, про помилки засліплення рідко вимірюють або повідомляють. Дослідження, що показують неспроможність осліплення в дослідженнях антидепресантів, змусили деяких вчених стверджувати, що антидепресанти не кращі, ніж плацебо. У світлі метадосліджень, що показують невдачі сліплення, стандарти CONSORT рекомендують у всіх клінічних випробуваннях оцінювати та повідомляти про якість засліплення.
Дослідження показали, що систематичні огляди існуючих доказів досліджень недостатньо оптимально використовуються при плануванні нового дослідження або узагальнення результатів. Сукупний метааналіз досліджень, що оцінюють ефективність медичних втручань, показав, що багатьох клінічних випробувань можна було б уникнути, якби систематичний огляд наявних доказів проводився до проведення нового випробування. Наприклад, Lau та ін. проаналізували 33 клінічні випробування (за участю 36974 пацієнтів), оцінюючи ефективність внутрішньовенної стрептокінази для гострого інфаркту міокарда. Їх сукупний метааналіз показав, що 25 з 33 випробувань можна було б уникнути, якби систематичний огляд проводився до проведення нового випробування. Іншими словами, рандомізація 34542 пацієнтів була потенційно непотрібною. Одне дослідження проаналізував 1523 клінічні випробування, включені у 227 метааналізи та дійшов висновку, що "менше ніж чверть відповідних попередніх досліджень" було цитовано. Вони також підтвердили попередні висновки, що більшість звітів про клінічні випробування не містять систематичного огляду для обгрунтування досліджень або підведення підсумків.
Багато методів лікування, які застосовуються в сучасній медицині, виявились неефективними або навіть шкідливими. У дослідженні Джона Іоанідіса в 2007 році було встановлено, що медичному співтовариству в середньому було потрібно десять років, щоб припинити посилання на популярні практики після того, як їх ефективність була однозначно спростована.
Психологія