Zadebiutował w latach 50. jako pianista jazzowy, grając z takimi muzykami jak Gerry Mulligan, Chet Baker, Stan Getz i ucząc się od nich techniki pianistycznej. W tym samym czasie rozpoczął występy w salach kabaretowych jako komik i showman. W 1954 roku zaczął wspólnie występować z Giorgio Gaberem, a w 1956 został pianistą w zespole Rocky Mountains, występującym w klubach Taverna Mexico, Aretusa i Santa Tecla, centrum rock and rolla; wokalistą zespołu był Tony Dallara.
Pod koniec 1956 roku opuścil Rocky Mountains, by rozpocząć występy z młodym Adriano Celentano. 18 maja 1957 roku w Palazzo del Ghiaccio w Mediolanie odbył się pierwszy we Włoszech koncert rock and rollowy. Piosenkę „Ciao ti dirò” zaśpiewał wówczas Adriano Celentano, a akompaniował mu zespół Rock Boys, w którego składzie był grający na gitarze Jannacci (pozostali członkowie zespołu to: Luigi Tenco – saksofon, Giorgio Gaber – gitara, Gianfranco Reverberi – fortepian i Nando de Luca – perkusja).
Pod koniec 1958 roku utworzył z Giorgio Gaberem duet I Due Corsari, który działał do roku 1960.