Sepulang dari ibadah Haji, Darwis menggunakan nama hajinya menjadi Ahmad Dahlan. Ia kemudian menikah dengan seorang gadis bernama Siti Walidah dan dikaruniai 2 orang anak.
Pada tahun 1896, sang ayah meninggal dunia. Ahmad Dahlan lantas meneruskan dakwah Agama Islam di langgar kidul milik KH Abu Bakar. Ia juga diangkat menjadi Khatib Masjid Besar.
Dalam salah satu khutbah Jumat, Ahmad Dahlan menjelaskan bahwa agama Islam adalah agama rahmatan lil alamin, artinya rahmat bagi semesta alam. Oleh karenanya agama Islam harus dipahami sebagai agama yang berketuhanan, bukan agama yang memaksa, mengekang bahkan memberatkan dengan berbagai tuntutan ritual dan upacara keagamaan seperti yang terjadi waktu itu.
Momen ini menandai perselisihan antara dirinya dengan tokoh-tokoh agama di Kauman. Pemikiran revolusioner Ahmad Dahlan sepulang dari ibadah haji mendapatkan banyak kritikan baik dari keluarga maupun masyarakat sekitar.
Ahmad Dahlan juga pernah menyampaikan gagasan bahwa arah kiblat Masjid Besar selama ini kurang tepat. Hal ini dibuktikan dari peta dunia dimana yang seharusnya kiblat mengarah ke Ka'bah di Masjidil Haram (Mekkah) ternyata mengarah ke benua Afrika.
Hal ini tentu saja sangat mengusik keyakinan masyarakat yang selama ini sudah kadung menerima semua ajaran dari pemuka agama tanpa banyak bertanya. Gagasan itupun ditolak mentah-mentah dengan dalih bahwa ilmu yang mendasari pemikiran Ahmad Dahlan tidak sejalan dengan para ulama di Kauman.
Meskipun mendapatkan banyak kritikan, Ahmad Dahlan tidak menyurutkan niatnya untuk terus berdakwah sesuai dengan apa yang dia yakini. Dakwah agama kemudian lebih banyak di pusatkan di langgar kidul peninggalan sang Ayah.
Pemikiran-pemikiran berlandaskan ilmu falak, filsafat ketuhanan dan Islam revolusioner yang dibawa Ahmad Dahlan perlahan-lahan mulai banyak dikenal dan diterima. Bahkan jamaah salat tarawih di langgar kidul semakin meningkat. Kondisi ini membuat penghulu Masjid Besar geram hingga memerintahkan Ahmad Dahlan untuk menutup langgarnya.
Perintah penghulu sama sekali tidak dihiraukan hingga akhirnya langgar kidul dibongkar paksa dan dihancurkan. Betapa kecewanya Ahmad Dahlan atas tindakan semena-mena yang dilakukan.
Saking kecewanya hingga Ahmad Dahlan berencana membawa keluarganya pindah dari Kauman. Hal itu dapat dicegah oleh sang kakak dan akhirnya langgar kidul dibangun kembali. Renovasi langgar kidul semakin meneguhkan posisi Ahmad Dahlan di masyarakat.Â