Sebenarnya segera setelah kasus ini mencuat Yoshiro Mori sudah langsung meminta maaf atas ucapannya yang kurang pas tersebut, namun saat itu dirinya masih belum mengundurkan diri.
Ketika dirinya dikritik karena ucapannya, Yoshiro Mori tidak berusaha mencari dalil untuk membenarkan diri, namun langsung meminta maaf dan memikirkan dalam-dalam dampak dari ucapannya tersebut bukan bagi dirinya namun bagi hal yang lebih besar lagi yaitu pelaksanaan Olimpiade Tokyo yang akan diselenggarakan bulan Juli mendatang ini.
Sebagai tanggung jawab moral pada pertemuan komite olimpiade Tokyo yang diselenggarakan hari Jumat lalu, Yoshiro Mori menyatakan:
"Bagi saya pelaksanaan Olimpiade Tokyo merupakan hal yang terpenting. Oleh sebab itu pelaksanaannya tidak boleh terganggu oleh kehadiran saya yang akan menjadi hambatan. Oleh sebab itu saya memutuskan untuk mengundurkan diri sebagai Presiden Olimpiade Tokyo."
Akibat ucapannya ini sponsor utama olimpiade seperti Toyota mengkritisi ucapannya terhadap wanita dan menyatakan kecewa dengan Yoshiro Mori.
Tidak hanya sponsor, namun sekelompok pengacara wanita juga mengkritisi dan memprotes ungkapannya tersebut.
Sebagai contoh Gubernur Tokyo Yuriko Koike yang juga wanita memutuskan untuk tidak menghadiri pertemuan Komite Olimpiade Tokyo sebagai bentuk dari protes terhadap ucapan Yoshiro Mori ini.
Tercatat sebanyak 400 relawan juga mengundurkan diri dari keterlibatannya di Olimpiade Tokyo sebagai respon dari ucapan Yoshiro Mori.
Dari segi karakter Yoshiro Mori memang bukanlah seorang diplomat ulung karena seringkali berbicara blak-blakan tanpa tedeng aling-aling dan tidak biasa berpura-pura.
Kepada surat kabar Mainichi Yoshiro Mori menceritakan bahwa setelah kejadian tersebut istrinya memarahi dirinya dan mengatakan bahwa dirinya telah menyampaikan sesuatu yang buruk dan tidak pada tempatnya yang membuat wanita marah.
