Дипфејк

Дипфејк (претварање „ дубоког учења “ и „лажног“) су синтетички медији у којима је особа на постојећој слици или видео снимку замењена нечијим ликом. Иако чин креирања лажног садржаја није нов, дипфејк користи моћне технике од машинског учења и вештачке интелигенције за манипулисање или генерисање визуелног и аудио садржаја који може лакше заварати. Главне методе машинског учења које се користе за креирање дипфејк-а су засноване на дубоком учењу и укључују тренинг генеративних архитектура неуронских мрежа, као што су аутоенкодери или генеративне адверсаријске мреже (ГАН).

Дипфејкови су привукли широку пажњу због своје употребе у креирању материјала за сексуално злостављање деце, порнографских видео снимака славних личности, осветничких порнографија, лажних вести, обмана, малтретирања и финансијских превара. Ово је изазвало одговоре и индустрије и владе да открију и ограниче њихову употребу.

Историја Манипулација фотографијама развијена је у 19. веку и убрзо примењена на филмове . Технологија се стално побољшавала током 20. века, а још брже са дигиталним видеом .

Дипфејк технологију су развили истраживачи на академским институцијама почевши од 1990-их, а касније и аматери у онлајн заједницама. Недавно је ове методе усвојила индустрија.

Академска истраживања

Академска истраживања која се односе на дипфејк подељена су између поља компјутерске визије, подобласти компјутерске науке, која развија технике за креирање и препознавање дипфејка, приступа хуманистичких и друштвених наука који проучавају друштвене, етичке и естетске последице дипфејка.

Друштвени и хуманистички приступи дипфејк-у

У биоскопским студијама, дипфејк демонстрира како се „људско лице појављује као централни објекат амбиваленције у дигиталном добу“. Видео уметници су користили дипфејк да „разиграно препишу филмску историју тако што ће реконструисати канонски биоскоп новим звездама“. Филмски научник Кристофер Холидеј анализира како замена пола и расе извођача у познатим филмским сценама дестабилизује родне класификације и категорије. Идеја „ куееринг “ дипфејка се такође разматра у дискусији Оливера М. Џингрича о медијским уметничким делима која користе дипфејк за преобликовање рода, укључујући Зизи британског уметника Џејка Елвеса: Queering the Dataset, уметничко дело које користи дипфејк повлачења краљица да се намерно игра са полом. Почињу да се истражују и естетски потенцијали дипфејка. Историчар позоришта Џон Флечер напомиње да су ране демонстрације дипфејк-а представљене као представе и поставља их у контекст позоришта, расправљајући о „неким од најзабрињавајућих промена парадигми” које дипфејк представљају као жанр перформанса.

Филозофи и медијски научници расправљали су о етици дипфејка посебно у вези са порнографијом. Научница у области медија Емили ван дер Нагел ослања се на истраживање у фотографским студијама о изманипулисаним сликама како би разговарала о системима верификације који омогућавају женама да дају сагласност за коришћење њихових слика.

Осим порнографије, филозофи су дефинисали дипфејк као „епистемичку претњу“ знању, а тиме и друштву. Постоји неколико других предлога како да се носите са ризицима који дипфејкови изазивају изван порнографије, али и за корпорације, политичаре и друге, од „експлоатације, застрашивања и личне саботаже“, и постоји неколико научних дискусија о потенцијалним правним и регулаторним одговорима како у правним студијама тако и у студијама медија. У психологији и студијама о медијима, научници расправљају о ефектима дезинформација које користе дипфејк, као и о друштвеном утицају дипфејка.

Док се већина академских студија дипфејка на енглеском језику фокусира на забринутост Запада око дезинформација и порнографије, дигитални антрополог Габриеле де Сета анализирао је кинеску рецепцију дипфејка, познату као huanlian, што у преводу значи „промена лица“. Кинески израз не садржи „fake“ од енглеског deepfake, а де Сета тврди да овај културни контекст може објаснити зашто је кинески одговор био више о практичним регулаторним одговорима на „ризике од преваре, права на имиџ, економски профит и етичке неравнотеже“.

Истраживање компјутерских наука о дипфејк-у

Рани значајан пројекат био је програм Video Rewrite, објављен 1997. године, који је модификовао постојеће видео снимке особе која говори како би приказала ту особу како изговара речи садржане у другом аудио запису. Био је то први систем који је у потпуности аутоматизовао ову врсту реанимације лица, а то је учинио користећи технике машинског учења како би успоставио везе између звукова које производи субјекат видео снимка и облика лица субјекта.

Савремени академски пројекти су се фокусирали на стварање реалистичнијих видео записа и на побољшање техника. Програм „Synthesizing Оbаmа“, објављен 2017. године, модификује видео снимак бившег председника Барака Обаме како би га приказао док изговара речи садржане у засебном аудио запису. Пројекат наводи као главни истраживачки допринос своју фотореалистичну технику за синтетизовање облика уста из звука. Програм Face2Face, објављен 2016. године, модификује видео снимке лица особе како би приказала мимику лица друге особе у реалном времену. Пројекат наводи као главни истраживачки допринос први метод за понављање израза лица у реалном времену помоћу камере која не снима дубину, што омогућава да се техника изводи коришћењем уобичајених потрошачких камера.

У августу 2018, истраживачи са Универзитета у Калифорнији у Берклију објавили су рад у којем су представили лажну апликацију за плес која може створити утисак мајсторске способности плеса користећи АИ. Овај пројекат проширује примену дипфејк-а на цело тело; претходни радови усмерени на главу или делове лица.

Истраживачи су такође показали да се дипфејк проширују на друге домене, као што је нарушавање медицинских слика. У овом раду је показано како нападач може аутоматски убризгати или уклонити рак плућа у пацијентовом 3D CT скенеру. Резултат је био толико убедљив да је преварио три радиолога и најсавременију АИ за откривање рака плућа. Да би демонстрирали претњу, аутори су успешно извели напад на болницу у тесту пенетрације белог шешира .

Истраживање дипфејка-а, објављено у мају 2020, пружа временски оквир о томе како је креирање и откривање дипфејк-а напредовало у последњих неколико година. Истраживање је показало да су се истраживачи фокусирали на решавање следећих изазова креирања дипфејк-а: Генерализација. Висококвалитетни дипфејк се често постиже тренирањем сатима на снимку мете. Овај изазов је да се минимизира количина података за обуку која је потребна за производњу квалитетних слика и да се омогући извођење обучених модела на новим идентитетима (невидљивим током обуке). Упарени тренинг. Обука надзираног модела може да произведе резултате високог квалитета, али захтева упаривање података. Ово је процес проналажења примера улаза и њихових жељених излаза из којих модел може да учи. Упаривање података је напорно и непрактично када се тренира на вишеструким идентитетима и понашањима лица. Нека решења укључују самоконтролисану обуку (користећи оквире из истог видеа), коришћење неупарених мрежа као што је Cycle-GAN или манипулацију мрежним уграђивањем. Цурење идентитета. Ово је место где се идентитет возача (тј. глумца који контролише лице у реконструкцији) делимично преноси на генерисано лице. Нека предложена решења укључују механизме пажње, учење у неколико хитаца, растављање, конверзије граница и прескакање веза. Зачепљења. Када је део лица зачепљен руком, косом, наочарима или било којим другим предметом, могу се појавити артефакти. Уобичајена зачепљења су затворена уста која скривају унутрашњост уста и зубе. Нека решења укључују сегментацију слике током тренинга и сликања. Временска кохерентност. У видео снимцима који садрже дипфејк, могу се појавити артефакти као што су треперење и подрхтавање јер мрежа нема контекст претходних кадрова. Неки истраживачи пружају овај контекст или користе нове губитке временске кохерентности како би помогли у побољшању реализма. Како се технологија побољшава, сметње се смањује.

Све у свему, очекује се да ће дипфејк имати неколико последица на медије и друштво, медијску продукцију, медијско представљање, медијску публику, род, закон, регулативу и политику.

Аматерски развој Термин deepfakes је настао крајем 2017. од корисника Редит -а по имену „deepfakes“. Он, као и други у Reddit заједници r/deepfakes, делили су дипфејк који су креирали; многи видео снимци који су укључивали лица познатих личности замењена на тела глумица у порнографским видео снимцима, док је непорнографски садржај укључивао многе видео снимке са лицем глумца Николаса Кејџа који су замењени у различитим филмовима.

Остале су и друге онлајн заједнице, укључујући Реддит заједнице које не деле порнографију, као што је r/SFWdeepfakes (скраћено од „safe for work deepfakes“), у којима чланови заједнице деле дипфејк који приказујe познате личности, политичаре и друге у непорнографским сценаријима. Друге онлајн заједнице настављају да деле порнографију на платформама које нису забраниле дипфејк порнографију.

Комерцијални развој

У јануару 2018. покренута је власничка десктоп апликација под називом FakeApp. Ова апликација омогућава корисницима да лако креирају и деле видео записе са замењеним лицима. Од 2019. године, FakeApp је замењен алтернативама отвореног кода као што су Faceswap, DeepFaceLab базиран на командној линији и веб апликацијама као што је DeepfakesWeb.com

Веће компаније почеле су да користе дипфејк. Корпоративни видео снимци за обуку могу се креирати коришћењем дипфејк аватара и њихових гласова, на пример Synthesia, која користи дипфејк технологију са аватарима за креирање персонализованих видео снимака. Гигант мобилних апликација Моmo креирао је апликацију Zao која омогућава корисницима да преклопе своје лице на телевизијске и филмске снимке са једном сликом. Од 2019. јапанска АИ компанија DataGrid је направила дипфејк целог тела који би могао да створи особу од нуле. Они намеравају да их користе за моду и одећу.

Од 2020. такође постоје аудио-дипфејкови и софтвер вештачке интелигенције који је способан да открије дипфејк и клонира људске гласове након 5 секунди времена слушања. Мобилна дипфејк апликација Impressions покренута је у марту 2020. Била је то прва апликација за креирање дипфејк видео снимака славних са мобилних телефона.

Васкрсење

Дипфејк технологија се не може користити само за фабриковање порука и акција других, већ се може користити и за оживљавање преминулих појединаца. Дана 29. октобра 2020, Ким Кардашијан је објавила видео снимак свог покојног оца Роберта Кардашијана ; лице у видеу Роберта Кардашијана креирано је технологијом дипфејк. Овај холограм је креирала компанија Калеида, где у креирању холограма користе комбинацију перформанси, праћења покрета, SFX, VFX и Дипфејк технологија.

Године 2020, Хоакин Оливер, жртва пуцњаве у Паркланду, васкрсао је помоћу дипфејк технологије. Оливерови родитељи су се удружили у име своје организације Nonprofit Change the Ref, са McCann Health-ом да направе овај дипфејк видео који се залаже за кампању гласања о безбедности оружја. У овој лажној поруци, приказује Хоакина како охрабрује гледаоце да гласају.

Дошло је и до лажног васкрсавања поп културних и историјских личности које су убијене, на пример, члана Битлса, Џона Ленона, убијеног 1980. године.

Технике

Дипфејкови се ослањају на тип неуронске мреже који се зове аутоенкодер . Они се састоје од енкодера, који своди слику на нижедимензионални латентни простор, и декодера, који реконструише слику из латентне репрезентације. Дипфејк користи ову архитектуру тако што има универзални кодер који кодира особу у латентни простор. Латентна репрезентација садржи кључне карактеристике њихових црта лица и држања тела. Ово се затим може декодирати помоћу модела обученог посебно за мету. То значи да ће детаљне информације о мети бити постављене на основне карактеристике лица и тела оригиналног видеа, представљене у латентном простору.