Bangunan masjid terletak dikompleks makam Kota Gede. Halaman luar  yang membentang barat - timur berukuran 58 x 46 M. Di tengah halaman terdapat jalan yang menuju gapura masuk yang terletak di sisi timur halaman Masjid. Pada kiri dan kanan jalan telah menjadi permukiman penduduk, mereka bekerja sebagai abdi dalam juru kunci di dalam kompleks ini. Permukiman disebelah utara jalan dihuni oleh abdi dalem dari pihat keraton Surakarta, sedangkan sedangkan di sebelah selatan jalan dihuni oleh abdi dalem dari pihak keraton Yogyakarta.
Pada bagian timur dari halaman ini yang terbebas dari permukiman indung terdapat dua bangunan kayu yang terbuka pada sebelah menyebelah jalan. Kedua bangunan yang berfungsi sebagai paseban luar itu merupakan bangunan baru yang mungkin didirikan atas dasar konsepsi lama. Pada halaman luar ini tidak terdapat sisa bangunan yang menjelaskan adanya bangunan gapura ataupun tembok keliling.
Tembok keliling yang sekarang jelas merupakan tembok baru. Kekunaan yang masih tersisa pada halaman ini ialah susunan batu putih/limestone yang terletak disebelah barat paseban sisi selatan. Susunan ini sangat mungkin merupakan fondasi bangunan, sekarang tidak tepat diatasnya tumbuh pohon beringin yang dikeramatkan.
Halaman luar dan halaman masjid dipisahkan oleh tembok bata yang setinggi 21/2 meter, dan dihubungkan oleh sebuah gapura paduraksa yang lengkap dengan kelirnya. Dari pengamatan bahan dan konstrukinya gapura dan tembok ini merupakan hasil pemugaran total terhadap bangunan yang terdahulu, yang diadakan oleh fihak Keraton Surakarta sebagai pengelolanya.
Dalam pemugaran tersebut telah dipergunakan bahan bangunan baru dan dalam penempatan batu-batunya telah pula dipergunakan spesi. Batu bata yang dipergunakan dalam pemugaran lebih kecil dari ukuran batu bata sejamannya. Antefika/simbar pada bingkai tengah ataupun hiasan yang lain hasil cetakan baru yang terbuat dari beton bertulang. Ambang pintu dan langit pintu gapura terbuat dari beton bertulang. Ambang bawah dari pintu semula tidak dipergunakan lagi.
Ambang tersebut terbuat dari batu andesit perfiritik yang mirip dengan hiasan floral pada tampak atasnya. Batu ambang tersebut sekarang diletakkan di belakang kelir dari gapura yang bersangkutan. Dalam survai tidak dapat diketemukan bagian asli yang tersisa yang dapat menunjukkan bahwa bangunan yang semula dipergunakan. Kekunaan yang masih diperlihatkan dalam pemugaran itu tidak ditutupnya permukaannya dengan lepa, tetap terbuka.
Pada sisi utama halaman masjid ini terdapat pula sebuah gapura yang berbentuk paduraksa yang menghadap ke utara kesebuah lorong kampung Kudusan. Gapura pada tembok disisi utara ini dikelola oleh pihak Keraton Surakarta. Ambang dan sepasang daun pintunya terbuat dari kayu jati yang berukiran dengan floral merupakan hasil pengarangnya. Bagian puncak dan sayapnya masih utuh dengan hiasan pahatan dari bahan batu putih/limestone.
Di sebelah utara dan selatan bangunan masjid terdapat pula dua bangunan kayu yang mungkin pula merupakan bangunan paseban terbuka, sedangkan ditengah halaman sebuah tugu peringatan baru. Sesuai dengan pembangian kompleks ini, bagian halaman dan serambi masjid dikelola oleh fihak Keraton Surakarta, sebagian sebelah dalam dikelola oleh fihak Keraton Yogyakarta.
Masjid ini pernah terbakar pada tahun 1919 dan selanjutnya dipugar kembali pada tahun 1923. Angka pemugaran ini terdapat pada kuncung serambi. Sejauh mana pemugaran yang dilakukan tidak dapat diketahui, karena tidak diketemukan bagian bangunan yang terkelupas. Dinding bangunan utama masjid masih asli, terbuat dari batu putih/limestone yang dipotong sebesar bata.
Bagian tampak luar dan tampak dalam telah ditutup dengan lepa, sedangkan bagian tampak samping dan tampak belakang tetap dan terlihat dengan jelas susunan batunya. Mimbar kayu terdapat di dalam ruang  masjid masih asli dalam keadaan baik. Perbedaan bangunan masjid dengan masjid yang lain secara fisik yakni masjid Agung Cirebon, Banten dan Kota Gede di Jawa terdapat masjid yang memiliki pola arsitekturil yang sama dan pula hampir sejaman dengan bangunan masjid Agung yakni Masjid Agung Demak.
Perbedaan bentuk antara masjid Agung Demak dengan Cirebon ialah dalam bentuk atapnya dimana masjid Agung Demak atapnya berbentuk meru dengan tiga tingkat bersusun sedangkan atap masjid Agung Cirebon atapnya berbentuk limasan. Tradisi menyebutkan bahwa kedua masjid ini telah dibangun oleh Wali Sanga bahkan pada kedua masjid ini juga memiliki saka tatal yakni tiang utama yang disusun dari potongan-potongan kayu yang secara tradisi disebutkan bahwa soko tatal dibuat oleh Sunan Kalijaga.
