Pada bulan Juni 1936, JOC berhasil mengundang ketua IOC saat itu yaitu Henri de Baillet-Latour untuk berkunjung ke Tokyo. Tampaknya JOC berhasil meyakinkan Latour, sehingga dia kemudian yakin dan mendukung Tokyo sebagai tuan rumah olimpiade.
Tokyo akhirnya terpilih secara aklamasi sebulan berikutnya sebagai tempat penyelenggaraan olimpiade ke-12, dalam rapat IOC yang diselenggarakan bersamaan dengan dilangsungkannya Olimpiade Berlin pada bulan Juli tahun 1936.
Setelah secara resmi terpilih, Tokyo kemudian bersiap dengan menentukan dimana lokasi utama pertandingan akan diadakan.
Mulanya pemda Tokyo mempersiapkan Stadion Meiji Jingu Gaien sebagai lokasi utama. Namun karena terhalang masalah perluasan lokasi pertandingan untuk cabang atletik, ide ini kemudian ditinggalkan.
Ada juga ide untuk menguruk Teluk Tokyo, kemudian membangun stadion baru diatasnya. Namun ide ini juga ditolak oleh panitia karena ada pendapat yang mengatakan atlet bisa terganggu oleh angin besar yang bertiup dari arah lautan.
Akhirnya pemda Tokyo memutuskan untuk membangun kompleks olahraga baru lengkap dengan stadion utama di Komazawa, daerah yang lokasinya terletak sekitar 5 Km di sebelah Barat kota Shibuya.
Kompleks bangunan olimpiade di Komazawa rencananya dibangun pada area seluas 2,67 hektar. Stadion utamanya dirancang untuk memenuhi standar internasional dengan kapasitas sebanyak 100 ribu orang pengunjung.
Misalnya saja, ada beberapa bagian dari bangunan yang dengan terpaksa harus diganti menjadi bahan kayu, karena bahan logam banyak digunakan untuk kepentingan militer.Â
Kemudian juga banyak rencana, baik rencana pembangunan fisik bangunan, maupun rencana penyelenggaraan acara yang berhubungan dengan olimpiade harus diubah, karena kepentingan untuk peperangan lebih diutamakan.
Seiring berjalannya waktu, beberapa negara juga mengkritik Jepang atas perang yang terjadi. Kemudian Jepang juga khawatir negara-negara tersebut nantinya akan memboikot olimpiade.
