Pierwszą ważną grupą prac była rozpoczęta w 1903 seria akwafort Inwencje, ukończona w 1905. Jednocześnie z akwafortami wykonywał rysunkowe studia postaci, najczęściej wymyślonych, często o cechach karykaturalnych. Pozostawał pod wrażeniem aktów rysowanych przez Auguste Rodina, które widział w 1902 w Rzymie, dzięki tym rysunkom uczył się swobodniej operować liniąJosef Helfenstein, Michael Baumgartner, O twórczości Paula Klee, [w:] Paul Klee – Od szkicownika do obrazu [katalog wystawy], [red. i tłum. Dorota Folga-Januszewska], Warszawa 2001, s. 18.. Latem 1905 zaczął eksperymentować z rysunkami rytowanymi na zaczernionych płytach szklanych. Wykorzystywał opór niecodziennego podłoża, aby zbadać nowe możliwości wyrazu plastycznego. Od tych eksperymentów przeszedł do malarstwa na szkle, które ze zmienną intensywnością uprawiał do roku 1912.