Mimo że odnosił sukcesy jako nauczyciel, w czerwcu 1519 Adrianus nagle opuścił Lowanium. Fakt ten tłumaczył później mową w obronie nauczania trzech języków wygłoszoną 21 marca 1519, która miała nie spodobać się konserwatywnym teologom lowańskim. Mowę tę opublikował w 1520 drukarz wittenberski Johann Rhau-Grunenberg, jej edycję nowoczesną dał Henry de Vocht (History of the Foundation and the Rise of the Collegium Trinlingue Lovaniense. 1517-1550, Louvain 1951-5). Istnieją jednak także inne możliwe przyczyny opuszczenia Lowanium przez Adrianusa. Według Erazma w Middelburgu znacznie się on zadłużył, a na pokrycie tych długów potrzebował zaliczki z lowańskiej pensji. Według Maartena Dorpa pensja lowańska Adrianusa nie była wystarczająca, a sam Adrianus był przy tym podejrzliwy i skąpy. Wolfgang Capito i inni współcześni oskarżali go o uprawnianie magii kabalistycznej. Wszystkie te czynniki łącznie musiały powodować napięcie wokół jego osoby.