Zamek został uszkodzony w czasie dwóch poważnych pożarów - pierwszy miał miejsce w 1877, drugi w 1975 roku. W drugim pożarze zniszczeniu uległa część drugiego piętra zamku i dach, udało się jednak ocalić większość zabytkowego wyposażenia. Zniszczenia usunięto na początku lat 80., w roku 2008 rozpoczęto prace renowacyjne. Zamek jest siedzibą Torquhilla Campbella, 13. księcia Argyll i jego rodziny. Zabytkowe pomieszczenia parteru zamku i część komnat mieszkalnych na pierwszym piętrze jest udostępniona do zwiedzania. Zamek Inveraray stanowi jedną z głównych atrakcji turystycznych zachodniej Szkocji.
Architektura Styl architektoniczny zamku stanowi połączenie baroku, neogotyku i stylu palladiańskiego. Budowlę wzniesiono na planie kwadratu, z czterema wieżami w narożach. Wieże przykryte są stożkowatymi dachami. Zamek posiada trzy kondygnacje nadziemne oraz przyziemie, otoczony jest fosą. Na parterze znajdują się pomieszczenia reprezentacyjne, sale balowe i część pomieszczeń używanych przez właścicieli, piętra zajmują w większości pokoje mieszkalne. W centrum budowli znajduje się główny salon na rzucie kwadratu, którego wysokość sięga samego dachu zamku. Sufit salonu znajduje się na wysokości 21 metrów, jest przeszklony i doświetla również klatki schodowe prowadzące na wyższe piętra.