Silvela został wezwany na pośrednika między Hiszpanami i Francuzami ze względu na doskonałą znajomość języka francuskiego.

W celu ograniczenia przemocy i niesprawiedliwości okupanta wobec Hiszpanów, Silvela przyjął nominację na sędziego w Madrycie (Alcalde de Casa y Corte). To prestiżowe stanowisko objął w wieku 27 lat. Jego patriotyczna postawa była powszechnie znana w Madrycie, dlatego oskarżeni o przestępstwa polityczne starali się, aby sądził ich Silvela. Jednakże fakt, że przyjął posadę w rządzie francuskim sprawił, że został uznany za sprzyjającego Francuzom, tzw. afrancesado – sfrancuziałego. Kiedy 13 sierpnia 1812 wojska Napoleona opuściły Madryt, nowy rząd wydał dekrety przeciwko afrancesados i ich rodzinom. Silvela zdecydował się na emigrację do Francji, zamieszkał w Bordeaux z całą rodziną.

Wygnanie Kiedy przygotowywał się do emigracji, osoby związane z nowym porządkiem starały się przekonać go do pozostania w Hiszpanii zapewniając, że jego postawa zostanie nagrodzona. Silvela jednak obawiał się, że przykre konsekwencje mogłyby dotknąć jego rodzinę, dlatego zdecydował się na wyjazd.