Selain karena kewajiban, Ahmad juga memang benar-benar ingin untuk mengikuti program wajib militer ini. Karena keinginannya selama ini masih sama dengan saat ia kecil dulu, Ahmad masih ingin jadi pahlawan bagi sebuah negara. Dia berpikir mungkin ini salah satu cara untuk mewujudkannya. Malang adalah tempat awal mula karirnya di dunia militer. Karena kerja kerasnya dan bakat militer yang dia punya selama pendidikan militer, saat itu Ahmad mendapatkan pangkat Sersan Cadangan Bagian Topografi. Ketika mendapat pangkat itu, dia sangat senang bukan main, bahkan hampir menangis di depan banyak orang. Dia ingin cepat cepat mengabari orang tuanya yang sedang berada di rumah. Sudah satu langkah lebih dekat, begitu pikir Ahmad. Kini dia tinggal harus berusaha dengan lebih keras lagi agar keinginannya bisa benar-benar terwujud. Sebelum Ahmad ke Bandung, ia diperbolehkan untuk pulang dahulu ke rumah orang tuanya oleh atasannya. Akhirnya Ahmad pun menemui orang tuanya di Bogor.
"Bapak, Ibu, Ahmad berhasil pak, bu.." air mata tiba-tiba keluar dari mata Ahmad saat itu, dia sudah tidak kuat menahan tangis bahagia nya apalagi di depan orang tuanya.
"Ya Allah, nak alhamdulillah nak." ibu nya yang mendengar putra nya menangis pun langsung memeluk Ahmad dengan sangat erat, tak henti-hentinya beliau mengucapkan Alhamdulillah sambil menangis haru.
"Ini baru anak bapak! Bapak bangga nak sama kamu." bapaknya memeluk erat Ahmad dengan air mata yang menetes dari matanya.
Adiknya yang tidak tahu apa-apa ikut memeluk mereka dari belakang. Sungguh pemandangan yang sangat indah. Ahmad memeluk mereka semua dengan sangat erat sambil menangis sesenggukan, hari itu adalah salah satu hari yang plaing membahagiakan bagi Ahmad. Bisa melihat anak dari keluarga yang sederhana meraih pangkat sersan dalam militer walaupun masih cadangan, tetapi hal itu sudah sangat membanggakan bagi keluarga Wongsoredjo. Memiliki keluarga yang selalu mendukung apa yang ingin dilakukan oleh anaknya memanglah hal yang sangat menyenangkan. Hal ini membuat Ahmad ingin terus membuat keluarga mereka tetap utuh dan bahagia.
Pada pertengahan tahun 1941 Ahmad Yani ditugaskan di Bandung. Karena selama di Bandung Ahmad menjalankan pekerjaannya dengan baik akhirnya dia dikirim ke Bogor untuk menjalani pelatihan yang intensif. Setelah itu ia dikembalikan lagi ke Bandung. Saat itu ia ikut melawan Jepang dalam pertempuran di Lembang bersama dengan Angkatan Perang Belanda, namun pasukan Belanda ini tidak cukup kuat untuk melawan serangan dari pasukan Jepang. Akhirnya ketika Bandung jatuh ke tangan Jepang, Ahmad ditahan selama beberapa bulan di kamp tawanan yang ada di Cimahi. Setelah beberapa kali pemeriksaan, akhirnya Ahmad pun dibebaskan dan ia kembali ke kampung halamannya.
Namun, sayangnya pendidikan yang selama ini telah Ahmad tempuh harus terganggu karena kedatangan Jepang pada tahun 1942. Pada saat yang bersamaan dengan pendudukan Jepang di Indonesia itu pula Ahmad dan beserta keluarganya pindah kembali ke Jawa Tengah. Pada tahun 1942, Ahmad menganggur dan tidak melakukan pekerjaan militernya. Dia memanfaatkan waktunya bersama keluarganya di rumah yang merupakan kampung halamannya, Purworejo.
Pada tahun 1943, Ahmad bergabung dan mengikuti pendidikan Heiho di Magelang yang tugasnya membantu prajurit-prajurit militer Jepang. Saat itu ada seorang perwira Jepang yang melihat adanya bakat militer dalam diri Ahmad Yani. Akhirnya Obata, perwira Jepang tersebut menyarankan Ahmad untuk mendaftar menjadi prajurit militer karena melihat bakat militer yang besar mengalir dalam diri Ahmad. Akhirnya Ahmad pun mengikuti saran dari Obata dan mengikuti pendidikan shodanco di Jawa Boei Giyugun Kanbu Renseitai (Korps Latihan Pemimpin Sukarela Pembela Tanah Air di Jawa) yang ada di Bogor, Jawa Barat.
"Mungkin inilah jalan bagiku untuk bisa menjadi seseorang yang lebih besar." Ahmad berbicara pada dirinya sendiri di depan cermin.
Setelah kurang lebih Ahmad menjalani latihan yang berat selama empat bulan, Ahmad lulus dari pendidikannya dengan prestasi yang membanggakan dan ia mendapatkan predikat sebagai siswa terbaik. Ahmad pun lulus menjadi anggota pasukan Pembela Tanah Air (PETA). Pada acara penutupan pelatihan pendidikannya, sebagai bentuk apresiasi kepada Ahmad, ia diberi hadiah atau penghargaan berupa pedang samurai. Setelah itu, Ahmad Yani yang merupakan siswa terbaik ditugaskan sebagai Komandan Seksi I Kompi 3 Batalyon 2 yang ditempatkan di Magelang.
"Dengan ini, saya selaku komandan Korps Latihan Pemimpin Sukarela Pembela Tanah Air di Jawa mengumumkan bahwa, siswa atas nama Ahmad Yani berhasil menjadi siswa terbaik pada pelatihan tahun ini. Oleh karena itu, saya memberi penghargaan atas apresiasi kerja keras siswa Ahmad Yani berupa pedang samurai. Semoga dengan adanya penghargaan ini bisa memberi motivasi bagi Ahmad Yani maupun para siswa lainnya disini." Â Komandan Supri dengan tegas mengumumkan hasil akhir pelatihan pada acara penutupan sore itu. Ahmad yang merupakan siswa terbaik langsung keluar dari barisan dan berjalan menuju panggung dengan gagahnya. Semua siswa disana bertepuk tangan dengan meriah.
