Konflikt z ojcem Już w młodości książę Robert dał się poznać jako odważny rycerz, z wielkim talentem do rzemiosła wojennego. Wyszły na jaw też jego negatywne cechy – lenistwo i słabość charakteru, które były w późniejszych latach wykorzystywane przez niezadowolonych feudałów i króla Francji, by osiągać własne korzyści oraz skłócić Roberta z jego ojcem. Spory z Wilhelmem Zdobywcą rozpoczęły się od tego, że Robert czuł się ograniczany w swych uprawnieniach na rzecz młodszych braci. Powodowało to częste kłótnie w rodzinie.
Konflikt Roberta z Wilhelmem Zdobywcą rozpoczął się w 1077 r. Zaczęło się od wybryku młodszych braci Krótkoudego, Wilhelma i Henryka, którzy oblali Roberta wodą z kloaki. Robert się zdenerwował i wywiązała się bójka między młodszymi braćmi a towarzyszami Krótkoudego. Przerwało ją nadejście króla Wilhelma, który po zapoznaniu się ze sprawą zrezygnował z ukarania juniorów. Robert uznał to za obrazę swojej godności i następnego dnia spróbował zająć zamek w Rouen, stolicy Normandii. Atak nie powiódł się, a król Wilhelm kazał aresztować Roberta i jego świtę. Na wieść o tym Krótkoudy i jego kompania uciekli z Rouen i schronili się u Hugona de Chateauneuf-en-Thymerais.