20 stycznia 2017 roku kandydaturę generała zatwierdził senat stosunkiem głosów 98:1 (jedyny głos przeciw oddała Kirsten Gillibrand) i jeszcze tego samego dnia Mattis został zaprzysiężony przez wiceprezydenta Mike’a Pence’a. Wicesekretarzem obrony został Patrick M. Shanahan, były dyrektor w Boeingu.
Pierwszą wizytę zagraniczną jako sekretarz Mattis złożył w Korei Południowej w lutym 2017 roku. W późniejszych miesiącach starał się zacieśniać stosunki z sojusznikami USA i utwierdzać ich w podważanym przez Trumpa przekonaniu, iż mogą wciąż liczyć na to, że w razie potrzeby obroni ich amerykańskie wojsko. W marcu 2017 roku wystąpił z wnioskiem o zniesienie ustanowionych za prezydentury Baracka Obamy ograniczeń na udzielanie wsparcia krajom basenu Zatoki Perskiej zaangażowanym w wojnę domową w Jemenie – Arabii Saudyjskiej i Zjednoczonym Emiratom Arabskim. thumb|James Mattis i Narendra Modi Mattis skupiał się także na podniesieniu skuteczności bojowej amerykańskich sił zbrojnych (z myślą o przeciwstawieniu się Chinom i Rosji) przy jednoczesnej racjonalizacji wydatków. Na stanowisku sekretarza obrony zachował popularność wśród członków sił zbrojnych, którą cieszył się jako generał w czynnej służbie.