Ostatni mecz w Oberlidze zachodniej Viktoria Köln rozegrała 11 maja 1963 roku na wyjeździe z Rot-Weiß Oberhausen, a mecz zakończył się zwycięstwem 3:2 dla drużyny gości, a Kremer w tym meczu zdobył 2 gole.
Potem po utworzeniu nowego systemu rozgrywek w RFN Viktoria Köln ze względu na wyniki w ostatnim sezonie trafiła do nowo utworzonej drugiej klasy rozgrywkowej – Regionalligi zachodniej. W wyniku odejścia z klubu Klausa Mitischaka (Schalke Gelsenkirchen) i Carla-Heinza Rühla (Hertha Berlin), atak klubu uległ osłabieniu. Kremer w sezonie 1963/1964 zdobył 7 goli, a klub zakończył rozgrywki ligowe na 5. miejscu i nie awansował do Bundesligi, a po sezonie Kremer wraz z kolegą z drużyny – Jürgenem Sundermannem odszedł do występującej w Bundeslidze Herthy Berlin, która oprócz nich pozyskała bramkarza Wolfganga Fahriana oraz napastników: Michaela Krampitza i Kurta Schulza. Natomiast trener Hennes Weisweiler 27 kwietnia 1964 roku do Borussii Mönchengladbach, gdyż poprzedni trener klubu – Fritz Langner odszedł do występującego w Bundeslidze Schalke Gelsenkirchen.