Dalam membicarakan konsepsi rechtstaat dan dan the rule of law, maka yang terlintas dalam pikiran kita, di dalam negara itu yang mempunyai kekuasaaan tertinggi (sovereign) adalah hukum bukan kekuasaan. Bukan hukum yang tunduk pada kekuasaan tetapi kekuasaanlah yang harus tunduk pada hukum. Atas dasar itu, secara historis dan praktis, konsep negara hukum muncul dalam berbagai model seperti negara hukum menurut Al-Qur'an dan Sunnah atau Nomokrasi Islam, sedangkan negara hukum menurut konsep Eropa Kontinental dinamakan dengan Rechtstaat.
Asal usul konsep rechtstaat maupun rule of law adalah usaha untuk melawan tindakan sewenang-wenang dari penguasa. misalnya, di Inggris (1212) mereka ingin menghapuskan kekuasaan absolut dari Raja John The Lackland, sedangkan di Perancis adalah pada kekuasaan absolut dari Raja Louis XVI (1789). Kemudian kedua negara itu, memiliki sistem hukum yang berbeda. Perancis menganut konsepsi rechtstaat sedangkan Inggris menganut konsepsi rule of law. Perkembangan kedua sistem hukum tersebut tidak hanya berdampak pada isi dan perlindungan hukum di negeri ini. Namun juga bisa berdampak pada negara-negara di seluruh dunia, terutama bekas jajahan mereka. Di Indonesia sendiri, konsepsi negara hukum secara tegas terpapar dalam pasal 1 ayat 3 UUD 1945 yang menentukan bahwa Indonesia adalah negara hukum.
Menurut Aristoteles, suatu negara yang baik adalah negara yang diperintah dengan konstitusi dan berkedaulatan hukum. Ada tiga unsur dari pemerintahan yang berkonstitusi yaitu pertama, pemerintahan dilaksanakan untuk kepentingan umum; kedua, pemerintahan dilaksanakan menurut hukum yang berdasarkan pada ketentuan-ketentuan umum, bukan hukum yang dibuat secara sewenang-wenang yang menyampingkan konvensi dan konstitusi; ketiga, pemerintahan berkonstitusi berarti pemerintahan yang dilaksanakan atas kehendak rakyat, bukan berupa paksaan dan tekanan yang dilaksanakan pemerintahan despotik.
Pada abad ke-19, konsep rechtstaat muncul dari Freidrich Julius Stahl, yang diilhami oleh Immanuel kant. Menurut Stahl, unsur-unsur pada negara hukum (Rechtstaat) antara lain sebagai berikut:
- Perlindungan hak-hak asasi manusia;
- Pemisahan atau pembagian kekuasaan untuk menjamin hak-hak itu;
- Pemerintahan berdasarkan peraturan perundang-undangan;
- Peradilan administrasi dalam perselisihan.
Pada saat yang hampir bersamaan, muncul pula konsep negara hukum (rule of law) dari A.V. Dicey, yang mengemukakan unsur-unsur rule of law sebagai berikut:
- Supremasi aturan-aturan hukum (supremacy of the law), yaitu tidak adanya kekuasaan sewenang-wenang, dalam arti bahwa seseorang hanya boleh dihukum apabila melanggar hukum.
- Kedudukan yang sama dalam menghadapi hukum (equality before the law)
- Terjaminnya hak-hak manusia oleh undang-undang serta keputusan pengadilan.
Negara hukum (rechtstaat) secara sederhana adalah negara yang menempatkan hukum sebagai dasar kekuasaan negara dan penyelenggaraan kekuasaan tersebut dalan segala bentuknya dilakukan di bawah kekuasaan hukum. Negara hukum menentukan bahwa pemerintah harus tunduk pada hukum, bukannya hukum yang harus tunduk pada pemerintah. Tujuan dari hukum itu sendiri adalah untuk menata masyarakat yang damai, adil, dan bermakna, artinya sasaran dari negara hukum adalah terciptanya kegiatan kenegaraan, pemerintahan, dan kemasyarakatan yang bertumpu pada keadilan, kedamaian, dan kemanfaatan atau kebermaknaan.
Perkembangan Hukum Administrasi Negara di Indonesia banyak dipengaruhi oleh perkembangan Hukum Administrasi Negara Belanda dan Perancis. Hal itu disebabkan keadaan historis. Di mana kita pernah dijajah oleh Belanda dan Belanda pernah menjadi jajahan Perancis.
Berkaitan dengan hal tersebut di atas, dalam usaha untuk mencapai tujuan negara sebagaimana yang termaktub dalam Pembukaan UUD 1945 alinea IV, menegaskanÂ
"............... melindungi segenap bangsa Indonesia dan seluruh tumpah darahIndonesia dan untuk memajukan kesejahteraan umum, mencerdaskan kehidupan bangsa, dan ikut serta melaksanakan ketertiban dunia yang berdasarkan kemerdekaan, perdamaian abadi dan keadilan sosial........."
Untuk mencapai tujuan negara itu, maka peranan Hukum Administrasi itu sangat penting untuk mengatur, menyelenggarakan dan pendayagunaan administratif baik itu hal yang bersifat interen maupun yang bersifat eksteren. Upaya produktif peningkatan dan penyempurnaan bidang-bidang hukum terus dilaksanakan dalam rangka memperkokoh makna daripada negara hukum, yaitu hal yang mengatur hubungan-hubungan antara warga negara dengan pemerintah, hubungan itu akan tampak warnanya dalam menjalankan tugas-tugas pemerintahan, yang sering disebut "Public Service".
