Rumsfeld je bio američki predstavnik u NATO-u od 1973. do 1974., a od 1974. do 1975. bio je šef kabineta predsjednika Geralda Forda.
Također je prvi put bio na funkciji ministra odbrane za vrijeme Fordove administracije, od 1975. do 1977., a drugi put za vrijeme Georgea W. Busha, između 2001. i 2006. Rumsfeld je također nadgledao američku invaziju na Afganistan 2001. godine kako bi uklonio talibanske čelnike koji su bili utočište čelnika al-Qaede odgovornih za napade na Sjedinjene Države 11. septembra.
Rumsfeld je dva puta 2004. ponudio ostavku Bushu , usred otkrića da su američke trupe zlostavljale pritvorenike u iračkom zatvoru Abu Ghraib – epizodu koju je kasnije nazvao satom svog najmračnijeg ministra odbrane.
Tek u novembru 2006., nakon što su demokrate stekle kontrolu nad Kongresom jašući val antiratnih osjećaja, Bush je napokon odlučio da Rumsfeld mora ići. Ostavio je funkciju u decembru, zamijenivši Roberta Gatesa.