Ombudsman berasal dari bahasa Skandinavia kuno: ombud, yang bermakna perwakilan dan proxy, yang bermakna wali amanat. Raja Charles XII dari Swedia yang pertama kali menggunakan istilah "om-buds-man" untuk menamai sebuah organ publik pemerintah/ state auxiliary organ. Dia menerapkannya setelah mengamati lembaga-lembaga Islam Kekaisaran Ottoman selama pengasingannya lima tahun di Turki. Sebagai suatu institusi yang secara tegas  dikatakan sebagai Lembaga negara, sistem Ombudsman justru sebenarnya pertama kali dikenal pada masa Kekalifahan Islam. Menurut Dean M. Gottehrer, mantan Presiden Asosiasi Ombudsman Amerika Serikat, menemukan bahwa pada dasarnya Ombudsman berakar dari prinsip-prinsip keadilan yang menjadi bagian dari mekanisme pengawasan dalam sistem ketatanegaraan Islam, hal ini dapat di lihat pada masa Khalifah Umar Bin Khattab (634 - 644) yang pada masa itu memposisikan diri sebagai "Muhtasib" yaitu orang yang menerima keluhan dan juga menjadi mediator dalam mengupayakan proses penyelesaian perselisihan  antara  masyarakat  dengan  pejabat pemerintah.  Tugas sebagai Muhtasib dilakukan secara langsung oleh Umar Bin Khattab sendiri dengan cara mendengar langsung keluhan dari rakyat. Umar bin Khattab kemudian membentuk lembaga Qadi Al Quadat (Ketua Hakim Agung) dengan tugas khusus melindungi warga masyarakat dari tindakan sewenang-wenang dan penyalahgunaan kekuasaan oleh pejabat pemerintah.
Fase pertama terbentuknya Ombudsman di Indonesia ditandai dengan pengungkapan pemikiran dari beberapa sarjana tentang pentingnya pembentukan Ombudsman. Beberapa sarjana telah memperkenalkan Ombudsman sejak era pemerintahan Orde Baru. Peran media massa harian umum Kompas turut andil memfasilitasi pemikiran-pemikiran penting tersebut, seperti tulisan P. K. Ojong tanggal 10 Februari 1967 dan tulisan Satjipto Rahardjo tahun 1976 berjudul "Ombudsman ke Arah Perlindungan Warganegara". Pada tahun 1981 terbitan buku dari Muchsan berjudul "Peradilan Administrasi" dan Junaidi Suwartojo tahun 1995 berjudul "Korupsi, Pola Kegiatan, dan Penindakannya serta Peran Pengawasan dan Penanggulangannya". Terakhir, salah satu pemikiran yang penting dari tulisan Markus Lukman pada makalah perspektif yang menganjurkan pentingnya pembentukan sebuah Lembaga fungsional (non struktural) yang dapat melakukan fungsi pengawasan seperti di negara negara maju.
Fase kedua history perjalanan pembntukan ombudsman beranjak dari ide-ide pentingnya keberadaan lembaga Ombudsman melalui upaya-upaya nyata yang dilakukan oleh pemerintah yang terbagi menjadi dua pemerintahan, yaitu B.J. Habibie dan K.H. Abdurrahman Wahid. Pada masa pemerintahan B.J. Habibie dilakukan tahapan rintisan yang menugaskan CFG. Sunarti Hartono melakukan studi banding tentang lembaga dan pranata Ombudsman ke berbagai negara Eropa pada tahun 1999. Dari hasil studinya dia mengungkapkan bahwa negara-negara demokrasi menganggap perlu untuk membentuk lembaga Ombudsman dalam rangka memfasilitasi masyarakat menyalurkan keluhannya terkait pelayanan publik.
Fase ketiga kelahiran ombudsman dimana  Ombudsman di Indonesia merupakan sebuah tuntutan era reformasi akan pemerintahan yang bersih, transparan dan bebas dari korupsi, kolusi dan nepotisme. Setelah berakhirnya pemerintahan B.J. Habibie, pada pemerintahan K.H. Abdurrahman Wahid meneruskan pemikiran dan upaya pembentukan Ombudsman dengan memanggil Menteri Kehakiman dan HAM dan Kejaksaan Agung. Latar belakang pembentukan Ombudsman oleh Presiden K.H. Abdurrahman Wahid yang menyatakan "Pada saat ini lembaga-lembaga pengawas tidak berjalan efektif. Oleh sebab itu perlu dibentuk suatu lembaga pengawasan, dimana masyarakat diikutsertakan." Tepat pada 10 Maret 2000 berdiri Komisi Ombudsman Nasional (KON) melalui penetapan Keputusan Presiden Nomor 44 Tahun 2000, dimana pada tanggal ini juga dirayakan sebagai hari lahir Ombudsman yang dilandasi tiga pemikiran dasar, yaitu peran serta masyarakat melakukan pengawasan, peran serta masyarakat untuk meniminalisir penyalahgunaan wewenang, dan menciptakan keadilan dan kesejahteraan.
Kedudukan Ombudsman RI semakin diperkuat dengan ditandatanganinya Undang-Undang Nomor 37 Tahun 2008 sekaligus mengubah nomenklatur Komisi Ombudsman Nasional (KON) menjadi Ombudsman Republik Indonesia. Kemudian, dibentuk juga Undang-Undang Nomor 25 Tahun 2009 tentang Pelayanan Publik dimana undang-Undang ini dibentuk untuk menciptakan kebaikan, menjamin keadilan dan ketertiban dalam kehidupan bermasyarakat atau good governance dan clean governance dalam pelaksanaan pelayanan publik oleh instansi pemerintah kepada masyarakat.
Pelayanan Publik sendiri merupakan kegiatan atau rangkaian kegiatan dalam rangka pemenuhan kebutuhan pelayanan sesuai dengan peraturan perundang-undangan bagi setiap warga negara atau penduduk atas barang, jasa, dan/atau pelayanan administrasi yang dilaksanakan oleh Lembaga atau instansi sesuai perundang-undangan. Dalam Undang-undang Pelayanan Publik yaitu UU No. 25 tahun 2009 dimaksudkan untuk memberikan kepastian hukum dalam hubungan antara masyarakat dan penyelenggara dalam pelayanan publik. Tujuan adanya UU No. 25 tahun 2009 ini diantaranya:
- agar terwujudnya batasan dan hubungan yang jelas tentang hak, tanggung jawab, kewajiban, dan kewenangan seluruh pihak yang terkait dengan penyelenggaraan pelayanan publik;
- terwujudnya sistem penyelenggaraan pelayanan publik yang layak sesuai dengan asas-asas umum pemerintahan dan korporasi yang baik;
- terpenuhinya penyelenggaraan pelayanan publik sesuai dengan peraturan perundang-undangan; dan
- terwujudnya perlindungan dan kepastian hukum bagi masyarakat dalam penyelenggaraan pelayanan publik.
Menurut Pasal 1 Undang-Undang Republik Indonesia Nomor 37 Tahun 2008 Tentang Ombudsman Republik Indonesia, Ombudsman adalah Lembaga Negara yang mempunyai kewenangan mengawasi Penyelenggaraan Pelayanan Publik baik yang diselenggarakan oleh penyelenggara Negara dan pemerintahan termasuk yang diselenggarakan oleh Badan Usaha Miliki Negara (BUMN), Badan Usaha Milik Daerah (BUMD), dan Badan Hukum Milik Negara (BHMN) serta Badan Swasta atau perseorangan yang diberi tugas menyelenggarakan pelayanan publik tertentu yang sebagian atau seluruh dananya bersumber dari anggaran pendapatan dan belanja negara dan/atau anggaran pendapatan dan belanja daerah. Ombudsman disahkan sebagai Lembaga pengawas dari pemberian layanan kepada masyarakat oleh pemerintah atau lembaga terkait sebagai wujud bahwa negara hadir dalam mengayomi masyarakat apabila ditemukan ketidaktepatan / maladministrasi yang dilakukan Lembaga pelayanan publik yang diakses masyarakat.
Ombudsman merupakan lembaga negara yang bersifat mandiri (Lembaga negara non-struktural), independen dan tidak memiliki hubungan organik dengan lembaga negara dan instansi pemerintahan lainnya, serta dalam menjalankan tugas dan wewenangnya bebas dari campur tangan kekuasaan lainnya, sehingga independensi dalam melaksanakan pengawasan pelayanan publik yang dilakukan ombudsman seluruhnya dilindungi oleh undang-undang. Ombudsman sendiri memiliki visi besar dalam pengawasan pelayanannya. Ombudsman Republik Indonesia mempunyai visi menjadi Lembaga Pengawas yang Efektif, Dipercaya, dan Berkeadilan guna Mewujudkan Pelayanan Publik yang Berkualitas. Dalam rencana pencapaian visi besarnya Ombudsman mem-breakdown-nya dengan memecahnya menjadi 3 Misi besar yaitu mewujudkan profesionalisme fungsi pengawasan penyelenggaraan pelayanan publik, mewujudkan kepatuhan penyelenggaraan pelayanan publik terhadap hasil pengawasan ombudsman dan mewujudkan pelayanan publik yang inklusif bagi seluruh rakyat indonesia yang mengakses pelayanan publik.
Dalam pelaksanaannya, ombudsman memiliki tugas dan wewenang yang telah diatur oleh undang-undang No. 37 tahun 2008 pada Pasal 7 dan Pasal 8. Penjabarannya yaitu sebagai berikut:
