Madani diambil dari kata Madinah yaitu kota tempat Nabi Muhammad hijrah pada tahun. Madinah sendiri berarti peradaban, maka masyarakat madani merupakan masyarakat yang beradab. Dengan mewujudkan dan menyikapi nilai-nilai keadilan, penegakan hukum, kesetaraan, pluralisme, dan perlindungan minoritas. Kondisi kehidupan yang demikian dapat dilihat dalam konsep masyarakat madani yang ada pada masa Nabi . Ini juga merupakan tuntutan Al-Qur'an agar manusia memikirkan rekonstruksi masyarakat ideal berdasarkan tuntunan Al-Qur'an.
Berdasarkan sejarah, setelah 13 tahun meletakkan dasar agama tauhid yang menjadi dasar masyarakat (masyarakat Mekkah), Allah memberikan petunjuk kepadanya untuk pindah ke Yatsrib. Sesampai di sana, Yatsrib berganti nama menjadi Madinah (artinya kota) melalui Nabi SAW. Dengan demikian, tindakan Nabi mengganti nama Yathrib menjadi Madinah pada hakekatnya merupakan manifestasi atau deklarasi bahwa beliau ingin mendirikan dan mengembangkan masyarakat yang beradab.
Di Madinah, Rasululah SAW telah meletakkan landasan bagi masyarakat madani dengan merumuskan suatu peraturan yang disebut Piagam Madinah. Ketentuan ini berlaku untuk semua elemen masyarakat, apapun agamanya, yang turut serta dalam penyusunan Piagam Madinah. Oleh karena itu, ada partisipasi dari semua lapisan masyarakat sipil. Inilah yang telah dilakukan Nabi selama sepuluh tahun di Madinah, menciptakan tatanan sosial yang dilandasi oleh iman dan takwa. Menurut Hamidullah, Piagam Madinah merupakan peraturan tertulis pertama dalam sejarah manusia.
Piagam Madinah mengatur hubungan masyarakat . Pertama, antara sesama muslim, sesama muslim adalah satu walaupun berbeda suku. Kedua, hubungan antara Muslim dengan nonMuslim. Piagam Madinah memiliki dua nilai inti yang diwujudkan, yang kemudian menjadi dasar terciptanya Negara islam. Pertama, prinsip persamaan dan keadilan. Kedua, inklusivitas atau keterbukaan. Oleh karena itu, di tanah Madinah pada waktu itu, meskipun penduduknya heterogen (baik dari segi agama, ras, suku maupun golongan), keadaannya sama, setiap orang menerima agamanya dan mengamalkannya. kebebasan untuk melakukan bidang sosial dan ekonomi.
Semua prinsip tersebut membentuk dasar dari semua aspek kehidupan politik, ekonomi dan hukum saat itu, dan memungkinkan masyarakat sipil yang diidealkan di planet ini terwujud secara empiris, bukan hanya mimpi. Pendekatan yang sangat baik terhadap non-Muslim dibangun di atas toleransi sesama Muslim, dengan tidak mengurangi hak dan kewajiban sesama muslim. Inilah prinsip-prinsip masyarakat madani yang dibentuk dengan mengedepankan komitmen dan integritas bersama dalam membangun persatuan umat yang berkemajuan.
Juga Nabi Muhammad di masyarakat Madinah mengajarkan orang-orang beriman untuk mengasihi saudara dan saudari mereka dalam iman sebagaimana mereka mengasihi diri mereka sendiri. Karena itu, kaum muslim Madinah yang memiliki harta sebanyak harta berbagi sebagian hartanya dengan Muhajirin yang baru tiba dari Mekkah. Pengorbanan oleh kaum Ansar ini adalah komitmen fundamental mereka terhadap agama yang benar. Inilah makna persatuan manusia dalam masyarakat yang majemuk.