Ayah Soemitro, yaitu Margono Djojohadikusumo adalah pegawai tingkat menengah-atas pada masa pemerintahan kolonial Belanda. Margono adalah pendiri BNI 1946 (Kini BNI 46) dan Ketua Dewan Pertimbangan Agung yang pertama. Ibu Soemitro. Siti Katoemi Wirodihardjo merupakan seorang ibu rumah tangga yang apik mengelola uang dan pandai berhitung. Dalam diri Soemitro mengalir darah ningrat (Raden) Jawa. Dari pihak Ayah, Soemitro adalah generasi ke-empat dari Raden Tumenggung Kartanegara. Salah seorang komandan Perang Diponegoro (1825-1830) yang juga susuhunan Solo sebelum mataram dibagi menjadi Surakarta dan Yogyakarta.
Dari pihak ibunya, Soemitro juga keturunan ningrat, yaitu Raden Tumenggung Wiroreno yang dikenal sangat anti-kompeni. Meskipun leluhur Soemitro termasuk keluarga Ningrat, Kakek. Nenek. Ayah, dan ibu Sumitro di lukiskan kurang beruntung dari segi kehidupan ekonomi.