Południowy kraniec bramy leży przy ul. Mostowej, a północny przy ul. Grodza Kamienna. Brama w całości znajduje się w dzielnicy Orunia-Św. Wojciech-Lipce, której granica ze Śródmieściem, biegnąca Opływem Motławy, przebiega w tym miejscu bezpośrednio po konturach obiektuUCHWAŁA NR LII/1171/14 RADY MIASTA GDAŃSKA z dnia 24 kwietnia 2014 r. w sprawie uchwalenia Statutu Dzielnicy Orunia-Św. Wojciech-Lipce.. Część Śródmieścia, z którą graniczy północny kraniec bramy, to Stare Przedmieście. Tereny znajdujące się po południowej stronie bramy były historycznie nazywane Starymi Szkotami i Orunią nad Motławą.
Historia Brama Kolejowa została wzniesiona w 1852 r. w związku z dotarciem kolei do Gdańska – była to linia biegnąca z Tczewa, stanowiąca odgałęzienie Pruskiej Kolei Wschodniej (niem. Ostbahn), łączącej Berlin z Królewcem. Linia ta kończyła się dworcem czołowym o charakterze pasażersko-towarowym, położonym bezpośrednio za Bramą Kolejową, pomiędzy dzisiejszymi ulicami Grodza Kamienna i ulicą Toruńską, tzn. dworcem Gdańsk Brama Nizinna. Stacja posiadała bocznice położone nad Motławą, ciągnące się w głąb Wyspy Spichrzów, które pozwalały na przeładunek kolejowo-wodnyKrólewska Kolej Wschodnia – jak powstała legenda., M. Jezierski „Świat Kolei”. 7/2001, s.