Pada tanggal 5 Desember 1944, ia menikah dengan Bandiah Yayu Ruliah, yang dulu pernah menjadi guru mengetiknya. Dari perkawinan ini kelak mereka dianugerahi delapan orang anak.
Setelah Kemerdekaan Indonesia, Yani bergabung dengan tentara republik yang baru terbentuk untuk berjuang melawan Belanda yang membonceng sekutu. Selama bulan-bulan pertama setelah Proklamasi Kemerdekaan, Yani memimpin batalion tentara dan menang dalam pertempuran melawan tentara Inggris di Magelang. Yani kemudian juga mempertahankan Magelang dari tentara Belanda dan mendapat julukan "Juruselamat Magelang". Pencapaian yang juga menonjol dari karier Yani di masa ini adalah serangkaian serangan gerilya yang digencarkan pada awal tahun 1949 untuk mengalihkan perhatian tentara Belanda, sementara Sri Sultan Hamengkubuwono IX dan Letnan Kolonel Soeharto mempersiapkan rencana Serangan Umum 1 Maret 1949 di Yogyakarta.Setelah pengakuan kedaulatan Indonesia oleh Belanda tahun 1949, Yani pindah ke Tegal, Jawa Tengah. Pada tahun 1952, ia mendapatkan tugas untuk memadamkan pemberontakan Darul Islam/Tentara Islam Indonesia (DI/TII) yang ingin mendirikan negara agama berdasarkan syariat Islam di Indonesia. Untuk menghadapi DI/TII, Yani membentuk pasukan khusus bernama Banteng Raiders.Dalam kurun waktu 3 tahun, pemberontakan DI/TII di Jawa Tengah berhasil dipadamkan.Banteng Raiders juga berperan dalam hal lain, seperti memberantas PRRI, Permesta, dan pembebasan Irian Barat.Pada Desember 1955, Yani berangkat ke Amerika Serikat untuk belajar di Komando dan Staf Umum College, Fort Leavenworth, Kansas. Kembali pada tahun 1956, Yani dipindahkan ke Markas Besar Angkatan Darat di Jakarta di mana ia menjadi anggota staf Umum untuk Abdul Haris Nasution. Di Markas Besar Angkatan Darat, Yani menjabat sebagai Asisten Logistik Kepala Staf Angkatan Darat sebelum menjadi Wakil Kepala Staf Angkatan Darat untuk Organisasi dan Kepegawaian.Pada bulan Agustus tahun 1958, ia memerintahkan Operasi 17 Agustus terhadap Pemerintah Revolusioner Republik Indonesia di Sumatera Barat. Pasukannya berhasil merebut kembali Padang dan Bukittinggi, dan keberhasilan ini menyebabkan ia dipromosikan menjadi wakil kepala Angkatan Darat ke-2 staf pada 1 September 1962, dan kemudian Kepala Angkatan Darat stafnya pada 28 Juni 1962 dan pada tanggal 21 Juli 1962 sebutan Kepala Staff Angkatan diubah menjadi Menteri/Panglima, sehingga menjadi Menteri/Panglima Angkatan Darat yang langsung bertanggung jawab kepada Presiden.Jenderal Abdul Haris Nasution sebagai pendahaulu Jenderal Yani diangkat menjadi Mengko hankam/KASAB - Menteri Koordinator Pertahanan Keamanan / Kepala Staff Angkatan Bersenjata.[butuh rujukan]Ahmad Yani memegang posisi ini hingga ia gugur dalam G30S.
Riwayat Jabatan
*Komandan Seksi I Kompi III Batalyon II (1944--1945)
*Komandan Batalyon 4/Yani Resimen XIV Magelang (1945--1948)
*Komandan Brigade Diponegoro dari Divisi III (1948--1950)
*Komandan Wehrkreise/WK II Kedu (1950--1951)
*Komandan Batalyon Banteng Raiders (1951--1953)
*Komandan Resimen 12 Wijayakusuma (1951--1956)
*Asisten II/Operasi (1956)
*Deputy I/Operasi (1957)
*Komandan Operasi 17 Agustus (1958)
*Deputy II/Pembinaan (1960)
*Deputy KSAD untuk wilayah Indonesia bagian Timur (1962--1963)
*Menteri/Panglima Angkatan Darat (1963--1965)
Sebagai Presiden, Soekarno bergerak lebih dekat ke Partai Komunis Indonesia (PKI) di awal 60-an. Yani yang sangat anti-komunis, menjadi sangat waspada terhadap PKI, terutama setelah partai ini menyatakan dukungannya terhadap pembentukan kekuatan kelima (selain keempat angkatan bersenjata dan polisi) dan Soekarno mencoba untuk memaksakannya Nasakom (Nasionalisme-Agama-Komunisme) doktrin di militer. Keduanya, Yani dan Nasution menunda-nunda ketika diperintahkan oleh Soekarno pada tanggal 31 Mei 1965 mempersiapkan rencana untuk mempersenjatai rakyat.Pada dini hari 1 Oktober 1965, Gerakan 30 September mencoba untuk menculik tujuh anggota staf umum Angkatan Darat. Sebuah tim dari sekitar 200 orang mengepung rumah Yani di Jalan Latuhahary No. 6 di pinggiran Jakarta Menteng, Jakarta Pusat. Biasanya Yani memiliki sebelas tentara menjaga rumahnya. Istrinya kemudian melaporkan bahwa seminggu sebelumnya tambahan enam orang ditugaskan kepadanya. Orang-orang ini berasal dari komando Kolonel Latief, yang diketahui Yani, adalah salah satu komplotan utama dalam Komando Gerakan 30 September. Menurut istri Yani, orang-orang tambahan tersebut tidak muncul untuk bertugas pada malam itu. Yani dan anak-anaknya sedang tidur di rumahnya sementara istrinya keluar merayakan ulang tahunnya bersama sekelompok teman-teman dan kerabat. Dia kemudian menceritakan bahwa saat ia pergi dari rumah sekitar pukul 23.00, ia melihat seseorang duduk di seberang jalan seakan menjaga rumah di bawah pengawas. Dia tidak berpikir apa-apa pada saat itu, tetapi setelah peristiwa pagi itu ia bertanya-tanya berbeda. Juga, dari sekitar jam 9 pada malam 30 September ada sejumlah panggilan telepon ke rumah pada interval, yang ketika menjawab akan bertemu dengan keheningan atau suara akan bertanya apa waktu itu. Panggilan terus sampai sekitar 01.00 dan Ahmad Yani mengatakan dia memiliki firasat sesuatu yang salah malam itu.
