Suara teriakan para tentara Jepang yang mengelilingi kota menggunakan tank itu menghiasi seluruh penjuru kota. Warga yang sedang melakukan aktivitas mendadak menghentikan aktivitas mereka. Mereka kaget terhadap pemberitahuan yang disampaikan tersebut. Yos yang sedang berdiskusi bersama teman-temannya di salah satu sudut sekolah tiba-tiba mematung. Ia tidak menyangka peristiwa pengeboman Pearl Harbour oleh angkatan perang Jepang yang ia baca di surat kabar akhirnya berdampak juga di Nusantara. Jepang menginvasi indonesia dari Belanda.
"Saat malam tiba kita harus segera meninggalkan kota ini. Seluruh prajurit diminta untuk berpindah ke Semarang. Kita pindahkan anak-anak ke sekolah baru di Semarang.", ucap Sukarno kepada Mariyam, istrinya.
Setelah pindah ke Semarang Yos memutuskan untuk melanjutkan ke sekolah pilihannya yaitu Sekolah Tinggi Pelayaran yang ada di Semarang. Disana ia ditempa untuk menjadi pelaut yang tangguh dan jujur. Salah satu temannya di sekolah pelayaran mengatakan bahwa Yos merupakan seorang pemuda yang penuh semangat, enerjik, keras kemauan, tajam pikirannya, dan suka menolong. Meskipun sangat berbakat dalam kepemimpinan, namun tetap sederhana dan rendah hati.
Lulus pada tahun 1944 dengan nilai angka terbaik kemudian ia segera bergabung dengan Badan Keamanan Rakyat (BKR) Laut di Semarang. Pertempuran pertama yang dia ikuti terjadi di jajaran kepulauan Maluku. Mereka membutuhkan kapal besar untuk membawa tentara maupun sukarelawan untuk ikut bertempur, mereka menjadikan kapal dengan ukuran 60 ton yang di berikan mesin sehingga bisa beroperasi. Perang pecah di Pulau Buru Yos sempat hampir tertangkap di Pulau Buru, namun ia berhasil lolos. Barulah di Pulau Seram akhirnya Yos tertangkap. Yos baru dibebaskan ketika ada tukar menukar tawanan saat Yos sudah berada di penjara di Makassar.
Yos merupakan seorang atasan yang penuh perhatian dan tidak suka membeda-bedakan orang. Yos pernah berkata: "Bukankah lebih baik menjadi taji ayam jantan yang sekalipun kecil tapi merupakan senjata ampuh kebanggan si ayam jantan, daripada menjadi seekor kerbau yang sekalipun besar tanduknya, tetapi hanya kopat kapit bertugas mengusir lalat?" Percaya diri selalu ditanamkan kepada anak buahnya. Kedekatannya dengan anak buahnya juga tercermin saat ada dinas di Surabaya. Sudah disiapkan penginapan untuknya, Yos lebih memilih bermalam di kapal bersama anak buahnya.
Yos merupakan seorang yang cerdas dan giat. Ia tidak pernah berhenti belajar dan berlatih. Yos kemudian memperdalam ilmu militernya ke Belanda, disana ia hanya membutuhkan waktu sekitar enam bulan saja untuk menyelesaikan pendidikannya.
Setelah menyelesaikan pendidikannya di Belanda, karir Yos Sudarso semakin meningkat. Yos pernah ikut dalam operasi militer di perairan Aceh sebagai Komandan Korvet Rajawali. Kemudian ia dipromosikan menjadi Komandan Divisi Kapal Selam dan akhirnya mengikuti pendidikan lagi di Akademi Angkatan Laut (AAL) Surabaya sebagai bagian dari kursus ulangan perwira.
Pada tahun 1950 setelah Belanda dengan penuh mengakui kedaulatan Indonesia, Yos menjabat sebagai komandan dan memimpin beberapa Kapal Perang Republik Indonesia (KRI), seperti KRI Alu, KRI Gajah Mada, KRI Rajawali, KRI Pattimura hingga KRI Macan Tutul.
Pada tahun 1955 Yos meminang Josephine Siti Kustini, gadis asal Ngawi, Jawa Timur yang belajar di sekolah suster di Surabaya untuk menjadi istrinya. Saat melamar Yos berkata terus terang kepada Kustini, bahwa pada tempat pertama dia adalah milik negara, setelah itu barulah dia milik keluarganya. Pernyataan Yos ini akhirnya disadari bukan sekedar formalitas belaka, melainkan keyakinan hatinya sesuai dengan panggilan hidupnya selaku seorang perwira Angkatan Laut. Yosaphar Sudarso menikah dengan Josephine Siti Kustini atau yang biasa dikenal dengan nama Siti Kustini pada tahun 1955 dan dikaruniakan lima anak namun dua di antaranya meninggal. Pasangan ini hidup secara sederhana, sifat yang sudah diturunkan oleh ayahnya.
Pada tanggal 19 Desember 1961 Presiden Soekarno menyerukan Tri Komando Rakyat (TRIKORA) yang merupakan rangkaian dari misi untuk membebaskan Papua Barat dari Belanda. Saat itu Yos Sudarso sudah menjabat sebagai Deputi Operasi Kepala Staff Angkatan Laut (KSAL) atau merupakan orang nomor dua di ALRI.
Dalam operasi senyap di perairan Maluku pada malam 15 Januari 1962 ada tiga Kapal Perang Republik Indonesia (KRI) yang dikerahkan, yaitu KRI Macan Tutul, KRI Macan Kumbang, dan KRI Harimau. Yos pada saat itu memimpin KRI macan Tutul dan mereka berangkat pada awal Januari dari pelabuhan Tanjung Priok, Jakarta.