Pierwszy start w sezonie olimpijskim 1996 Czech wygrał rzucając 4 kwietnia w Polokwane 90,24. Cztery dni później zwyciężył w zawodach w Pretorii z wynikiem 91,50. 25 maja na stadionie w Jenie podczas mityngu EAA rzutem na odległość 98,48 ustanowił nadal aktualny rekord świata (seria: 87,76–92,88–98,48–91,44–x–87,88) w rzucie oszczepem mężczyzn. W kolejnym starcie na zawodach Zlatá Tretra w Ostrawie uzyskał wynik 94,64. We wrześniu zdobył drugi i zarazem ostatni w karierze tytuł mistrza Czech, a sezon ukończył w Tokio wygrywając 16 września zawody z wynikiem 89,32.
Letnie Igrzyska Olimpijskie 1996 Eliminacje rzutu oszczepem na igrzyskach w Atlancie odbył się 2 sierpnia. Uzyskując wynik 86,52 Železný zajął w kwalifikacjach ostatecznie drugą lokatę przegrywając jedynie z Grekiem Konstadinosem Gatsiudisem. Finał olimpijskich zmagań oszczepników odbył się 3 sierpnia. Po pierwszej kolejce rzutów na czele był Brytyjczyk Steve Backley, który rzucił 87,44, a Czech plasował się wówczas na ostatniej pozycji ponieważ oddał niemierzoną próbę. W drugiej kolejce Železný wysunął się na czoło dzięki swojej najlepszej próbie 88,16.