B-58 był samolotem trudnym w pilotażu. Łącznie w wypadkach z różnych przyczyn utracono aż 25 sztuk ze 116 zbudowanych, przy tym zginęła znaczna część załóg. Pierwszy wypadek miał miejsce 16 grudnia 1958. Część wypadków była spowodowana przez błędy pilotów. Dwa samoloty rozbiły się podczas pokazów na Paryskich Salonach Lotniczych w Le Bourget (3 czerwca 1961 i 15 czerwca 1965, odpowiednio trzy i jedna ofiara). 8 grudnia 1964 w kolizji w bazie w Bunker Hill w stanie Indiana zapalił się B-58A (nr 60-1116) 305. Skrzydła z ładunkiem 4 bomb wodorowych B43 i ładunkiem termojądrowym w zasobniku. Nie doszło do wybuchu, lecz ładunki uległy uszkodzeniu, powodując lokalne skażenie terenu.
B-58 pobił w 1961 kilka światowych rekordów prędkości, w różnych warunkach. Pokonał też w 1961 trasę z Nowego Jorku do Paryża w 3 godziny 19 minut i 58 sekund.
Konstrukcja thumb|Pierwszy prototyp XB-58 thumb|YB-58 z dwuczęściowym zasobnikiem TCP Metalowy średniopłat ze skrzydłem delta, w układzie bezogonowym, wykonany z duraluminium. Skrzydło o cienkim profilu (3%), prostej krawędzi natarcia o skosie 60° i ujemnym kącie krawędzi spływu -10°, wyposażone w sterolotki.