Rumsfeld besar di kota Winnetka, Illinois, namun pada tahun 1943 ketika Perang Dunia kedua pecah, Rumsfeld dan keluarganya pindah ke Coronado di California ketika sang bapak bertugas di Angkatan Laut ketika Perang Dunia Kedua dan ditugaskan dipangkalan Angkatan Laut Amerika Serikat di kota San Diego. Keluarga Rumsfeld sempat menetap di negara bagian North Carolina untuk sementara waktu, sebelum menetap kembali di Illinois.
Ketika tinggal di North Carolina, Rumsfeld sempat tertinggal dalam pendidikannya, di mana di North Carolina kebanyakan guru mengharuskan siswa untuk belajar dengan menghafal dan berbeda dengan pendidikan progresifnya yang biasa Rumsfeld dapatkan di Illinois, di mana siswa didorong untuk belajar dengan kecepatan mereka sendiri. Akibatnya Rumsfeld, sempat tertinggal jauh di belakang teman-teman sekelasnya di North Carolina dan terancam akan tidak naik kelas.
Namun sang ibu yang merupakan seorang Guru tidak mau tinggal diam dan tidak akan membiarkan Rumsfeld untuk tidak naik kelas. Sang Ibu lantas memberi tahu Guru sekolah Rumsfeld, jika Rumsfeld akan mengejar ketinggalannya dengan menghadiri sekolah musim panas dan sang Ibu sendirilah yang akan mengajarinya secara pribadi untuk mengejar ketinggalan pendidikan Rumsfeld. Berkat bantuan sang Ibu, Rumsfeld berhasil mengejar pendidikannya dan mendapatkan pelajaran yang cukup untuk naik ke kelas berikutnya.
Ketika masih duduk dibangku sekolah, Rumsfeld sempat bekerja paruh waktu guna mendapatkan uang tambahan dan Rumsfeld kecil sempat bekerja sebagai tukang antar Koran, Es Krim dan Sandwich dan juga sempat berjualan majalah dan bekerja sebagai pemotong rumput dan pembersih karpet.
Berdasarkan buku Rumsfeld yang berjudul "Rumsfeld's Rules: Leadership Lessons in Business, Politics, War and Life.", Rumsfeld bahwa bekerja keras dari usia dini merupakan suatu fondasi yang akan membentuk karakter seseorang kelak ketika mereka dewasa, Rumsfeld juga menuturkan “Kecuali nama belakang kita terkenal, seperti Rockefeller, Kennedy, Vanderbilt, atau Bush, kita tidak memulai hidup dengan menanjak langsung ke atas secara instan.
Melainkan kita memulai segalanya dari bawah dan sudah menjadi kewajiban kita untuk bekerja keras guna meraih apa yang kita inginkan.”
Selepas selasai pendidikan Sekolahnya, Rumsfeld melanjutkan pendidikan perguruan tingginya di Universitas Princeton dengan menggunakan beasiswa dari Angkatan Laut Amerika Serikat dan mengambil jurusan Ilmu Politik. Ketika menjadi mahasiswa di Universitas Princeton, Rumsfeld juga bergabung dengan tim Pegulat Universitas Princeton dan menjadi Kapten dari tim gulat Universitas Princeton. Ketika berkuliah di Universitas Princeton, Rumsfeld juga berteman dengan Frank Carlucci yang kelak nantinya juga akan menjadi Menteri Pertahanan Amerika Serikat.
Ketika lulus dari Universitas Princeton, Rumsfeld sempat mengabdi di Angkatan Laut Amerika Serikat, karena memang dana kuliahnya merupakan beasiswa dari Angkatan Laut Amerika Serikat dan mengharuskannya untuk mengabdi di Angkatan Laut selepas lulus dari Universitas Princeton. Ketika mengabdi sebagai perwira aktif di Angkatan Laut, Rumsfeld bertugas sebagai Pilot dan Penerbang Angkatan Laut dan mendapatkan kesempatan untuk menerbangakan beberapa pesawat Angkatan Laut Amerika Serikat seperti T-6 Texan dan Grumman S-2 Tracker.
Pada tahun 1957 Rumsfeld memutuskan untuk berhenti sebagai perwira aktif di Angkatan laut dan pindah sebagai perwira cadangan Angkatan Laut atau Naval Reserve guna menempuh karir di sektor swasta. Pada tahun 1975 ketika Rumsfeld menjadi Menteri Pertahanan ia pindah dari Perwira Cadangan Angkatan Laut menjadi Perwira Individu cadangan dan pensiun pada tahun 1989 dengan pangkat “Kapten” atau setara dengan Kolonel.
Pada tahun 1957 setelah selesai bertugas sebagai perwira aktif di Angkatan Laut Amerika Serikat, Rumsfeld sempat bekerja sebagai asisten administratif untuk anggota kongress David S. Dennison Jr. dari negara bagian Ohio dan pada tahun 1959 Rumsfeld bekerja sebagai asisten staf untuk anggota kongres Robert P. Griffin dari negara bagian Michigan. Pada tahun 1960 setelah bekerja selama tiga tahun untuk Anggota Kongress, Rumsfeld pindah bekerja di sebuah Firma Investasi bernama "A. G. Becker & Co."
