Lenginyeria d'indicacions és un concepte de la intel·ligència artificial, especialment el processament del llenguatge natural (PNL). En l'enginyeria d'indicacions, la descripció de la tasca s'incrusta a l'entrada, per exemple, com una pregunta en lloc de donar-se implícitament. Normalment, l'enginyeria d'indicacions funciona convertint una o més tasques en un conjunt de dades basat en indicacions i entrenant un model d'idioma amb el que s'ha anomenat "aprenentatge basat en indicacions". L'enginyeria d'indicacions pot funcionar a partir d'un gran model de llenguatge preentrenat "congelat" i on només s'aprèn la representació de la indicació (és a dir, optimitzat), utilitzant mètodes com ara "prefix-tuning" o "prompt tuning".
Els models de llenguatge GPT-2 i GPT-3 van ser passos importants en l'enginyeria d'indicacions. L'any 2021, l'enginyeria multitasca d'indicacions utilitzant diversos conjunts de dades de NLP va mostrar un bon rendiment en tasques noves. Les indicacions que inclouen una cadena de pensament en exemples d'aprenentatge en pocs intents mostren una millor indicació del raonament en els models lingüístics. En l'aprenentatge en cap intent anteposant el text a l'avís que fomenta una cadena de pensament (p. ex "Pensem pas a pas") pot millorar el rendiment d'un model lingüístic en problemes de raonament de diversos passos. L'àmplia accessibilitat d'aquestes eines va ser impulsada per la publicació de diversos quaderns de codi obert i projectes dirigits per la comunitat per a la síntesi d'imatges.
Una descripció per gestionar les sol·licituds va informar que més de 2.000 sol·licituds públiques d'uns 170 conjunts de dades estaven disponibles el febrer de 2022.
El 2022, es van llançar al públic models d'aprenentatge automàtic com DALL-E 2, Stable Diffusion i Midjourney. Aquests models prenen indicacions de text com a entrada i les utilitzen per generar imatges, la qual cosa va introduir una nova categoria d'enginyeria d'indicacions relacionades amb les indicacions de text a imatge.
La injecció d'indicacions és una família d'explotacions de seguretat informàtica relacionades realitzades mitjançant l'obtenció de models d'aprenentatge automàtic (com ara un model d'idioma gran) que van ser entrenats per seguir instruccions donades per humans per seguir instruccions proporcionades per un usuari maliciós, cosa que contrasta amb l'operació prevista. de sistemes de seguiment d'instruccions, on el model ML només està pensat per seguir instruccions de confiança (indicacions) proporcionades per l'operador del model ML.
La injecció d'indicacions es pot veure com un atac d'injecció de codi mitjançant l'enginyeria d'indicadors adversaris. El 2022, el grup NCC ha caracteritzat la injecció ràpida com una nova classe de vulnerabilitat dels sistemes d'IA/ML.
Al voltant del 2023, la injecció d'indicacions es va veure "en estat salvatge" en petites explotacions contra ChatGPT, Bing i chatbots similars, per exemple per revelar les indicacions inicials ocultes dels sistemes, o per enganyar el chatbot perquè participés en converses que violen el política de continguts del chatbot.
Referències
Categoria:Aprenentatge automàtic