Setelah Jepang menduduki Hindia Belanda pada 1942, Soedirman tetap mengajar.
Pada tahun 1944, ia minta izin kepada Pimpinan Muhammadiyah untuk bergabung dengan tentara Pembela Tanah Air (PETA), memenuhi panggilan Ibu Pertiwi dan ajaran agama, jihad. Mula-mula ia menjabat sebagai komandan batalion di Banyumas.
Selama menjabat, Soedirman bersama rekannya sesama prajurit melakukan pemberontakan, namun kemudian diasingkan ke Bogor.
Setelah Indonesia memproklamirkan kemerdekaannya pada tanggal 17 Agustus 1945, Soedirman melarikan diri dari pusat penahanan, kemudian pergi ke Jakarta untuk bertemu dengan Presiden Soekarno.
Ia ditugaskan untuk mengawasi proses penyerahan diri tentara Jepang di Banyumas, yang dilakukannya setelah mendirikan divisi lokal Badan Keamanan Rakyat.
Pasukannya lalu dijadikan bagian dari Divisi V pada 20 Oktober oleh panglima sementara Oerip Soemohardjo, dan Soedirman bertanggung jawab atas divisi tersebut.
Pada tanggal 12 November 1945, dalam sebuah pemilihan untuk menentukan panglima besar TKR di Yogyakarta, Soedirman terpilih menjadi panglima besar, sedangkan Oerip, yang telah aktif di militer sebelum Soedirman lahir, menjadi kepala staff.
Sebelum ikut pemilihan Panglima Besar TKR ia terlebih dahulu minta izin kepada pimpinan Muhammadiyah Yogyakarta.
Jenderal Soedirman dikenal sebagai anggota TNI yang taat menjalankan ajaran Islam. Sesudah menjabat Panglima Besar ia tetap sering ikut pengajian malam selasa di gedung ‘Aisyiyah Kauman. Ia sangat menghormati tokoh Muhammadiyah yang hadir dalam Pengajian tersebut. Ia memiliki wibawa kuat. Patuh menjalankan keputusan persyarikatan. Ia mampu menyerap spirit Ahmad Dahlan, pendiri persyarikatan Muhammadiyah.
Sembari menunggu pengangkatan, Soedirman memerintahkan serangan terhadap pasukan Inggris dan Belanda di Ambarawa.
Pertempuran ini dan penarikan diri tentara Inggris menyebabkan semakin kuatnya dukungan rakyat terhadap Soedirman, dan ia akhirnya diangkat sebagai panglima besar pada tanggal 18 Desember.
Selama tiga tahun berikutnya, Soedirman menjadi saksi kegagalan negosiasi dengan tentara kolonial Belanda yang ingin kembali menjajah Indonesia, yang pertama adalah Perjanjian Linggarjati –yang turut disusun oleh Soedirman – dan kemudian Perjanjian Renville –yang menyebabkan Indonesia harus mengembalikan wilayah yang diambilnya dalam Agresi Militer I kepada Belanda dan penarikan 35.000 tentara Indonesia.
