Kota Madinah, adalah salah satu kota yang menjadikan Islam sebagai kekuatan politiknya. Ajaran-ajaran Islam pun banyak turun di Madinah. Kala itu Nabi Muhammad bukan hanya sebagai kepala agama, tetapi juga sebagai kepala negara. Unsur-unsur diploamasi yang Nabi lakukan adalah dengan memperkukuh masyarakat dalam bentuk sebuah kesatuan, yakni menjadi sebuah negara. Hal dasar yang pertama dilakukannya adalah dengan membangun masjid, sebagai tempat berkumpulnya para muslimin dan muslimat untuk memperkuat tali persaudaraan masing-masing orang. Masjid tidak hanya digunakan menjadi tempat ibadah, tetapi juga menjadi tempat untuk bermusyawarah, pusat kepemimpinan politik, tempat menerima tamu pemerintahan, mahkamah (pengadilan) dan sebagai pusat pengembangan ekonomi. Kemudian dasar kedua adalah ukhuwwah islamiyah, yakni persaudaraan antar sesama manusia, maka dari itu Rasul berusaha untuk mempersatukan kaum Muhajirin dan Anshar. Selain itu, hubungan ukhuwwah islamiyah ini tidak hanya antar sesama muslim, tapi juga dengan kaum non-muslim.Â
Salah satu bukti nyata mengenai tindakan diplomasi yang dilakukan Rasul adalah terbentuknya piagam Madinah. Dimana piagam tersebut berisi perjanjian, ketentuan dan syarat yang harus dilaksanakan baik kaum muslim maupun non-muslim. Piagam Madinah tercatat sebagai dokumen politik pertama dalam sejarah yang mengadopsi prinsip-prinsip toleransi dan juga memiliki konsep dan gagasan HAM modern, meski lahir di zaman pra-modern. Diantara teks dari butir piagam Madinah adalah ;
a) butir ke-36; Tidak seorangpun yang boleh keluar dari Madinah kecuali dengan izin Nabi Muhammad SAW
B) butir ke-24; suatu perselisihan atau peristiwa yang terjadi antara pihak-pihak yang menyetujui piagam ini dan dikhawatirkan akan membahayakan kehidupan bersama harus diselesaikan atas ajaran Allah dan kepada Muhammad sebagai utusan-Nya.
c) butir ke-17; Perdamaian bagi kaum mukmin adalah satu. seorang mukmin tidak boleh mengadakan perdamaian dengan pihak luar dalam perjuangannya menegakkan agama Allah SWT, kecuali atas dasar persamaan dan keadilan.
Meski kala itu masyarakat belum mengetahui tentang pembagian kekuasaan seperti eksekutif, legislatif, yudikatif, namun implementasi Rasul dalam praktik penyelenggaraannya tidak bersifat autokratis. contohnya :Â
1. menegakkan keadilan melalui jalur hukum
2. mengatur sistem pemerintahan dan siasat perang dalam setiap pertempuran, baik yang langsung dipimpin Rasul atau diwakilkan oleh komandan ekspedisi.
3. mengatur sumber pendapatan keuangan negara dengan menerbitkan sistem zakat
4. mengadakan perjanjian diplomatik dengan kelompok yang memerangii negara Islam atau memilih jalan damai terhadap dakwahnya
5. mengirim duta-duta diplomatik ke beberapa negara tetangga sebagai upaya berdakwah dan membangun hubungan internasional