Grecy przyswoili wcześniejsze opowieści o Syriuszu, a sam gwiazdozbiór utożsamiali z myśliwskim psem mitologicznego beockiego olbrzyma Oriona, towarzyszącego mu wraz z Małym Psem w polowaniu. Zgodnie z legendą psy myśliwskie Oriona, jeden duży, drugi mały, ścigają przez wieczność po niebie Zająca. Starożytni pisarze Eratostenes i Hyginus uważali, że Wielki Pies reprezentował Laelapsa, psa tak szybkiego, że nie umknęła mu żadna ofiara, oprócz lisa z góry Teumessos, którego przeznaczeniem było nigdy nie zostać złapanym. Laelapsos został wysłany w niekończącą się pogoń za lisem, zesłanym przez Apolla na zgubę mieszkańców miasta Teb, na północ od Aten. Zeus zakończył pościg zamieniając te zwierzęta w kamienie i umieścił psa na niebie jako Wielkiego Psa, daleko od Lisa.
Arabowie przejęli od Greków wyobrażenie wiernych psów myśliwskich Oriona. Odzwierciedla się to w arabskiej nazwie tego gwiazdozbioru Al Kalb al Jabbar (Pies Olbrzyma).
Jak odnaleźć konstelację Najjaśniejsza gwiazda konstelacji, a jednocześnie najjaśniejsza z gwiazd na nocnym niebie – Syriusz – sprawia, że łatwo odnaleźć gwiazdozbiór. Można go odszukać również w inny prosty sposób, wykorzystując trzy gwiazdy w pasie Oriona (Alnitak – Zeta Orionis, Alnilam – Epsilon Orionis, Mintaka – Delta Orionis).