PSIS Semarang mengawali kiprahnya di Liga Indonesia dengan berbagai perubahan. Tim Mahesa Jenar pindah kandang ke Stadion Jatidiri Karangrejo Kota Semarang, kemudian terjadi perubahan kostum tim dari biru-putih menjadi kuning. Akibatnya pelan-pelan PSIS mulai ditinggal pendukungnya. Musim pertama 1994/1995 diakhiri PSIS dengan berada di papan bawah (peringkat 13 dari 17 tim wilayah timur). Pemain PSIS saat itu antara lain Budiono Sutikno, Eko Riyadi, Jessie Mustamu, Alip Imam, Anton Wahyudi, dan Sugiyono Gepeng.
Pada Musim 1995/1996 PSIS untuk pertama kalinya menggunakan pemain asing, Arilson De Oliviera dan Wellington Reis menjadi pemain asing pertama PSIS Semarang. Meski telah diperkuat pemain asing dan kostum tim PSIS kembali ke warna aslinya yaitu biru, prestasi PSIS tetap tidak beranjak dari papan tengah di Ligina II, III, dan IV. Padahal PSIS saat itu bisa dibilang merupakan tim yang kaya dengan manajer yang sangat peduli dengan PSIS, Ganang Ismail.
Musim 1998/1999 PSIS yang sedang didera krisis finansial membuat kejutan dengan menjuarai Liga Indonesia 1998/1999. PSIS yang ditangani Edy Paryono dan Budiawan Hendratno menjadi kampiun setelah menaklukan musuh bebuyutannya saat itu Persebaya Surabaya 1-0 melalui gol tunggal Tugiyo “Maradona dari Purwodadi” pada menit 89 di Stadion Klabat Manado. Selain itu kapten PSIS Ali Sunan terpilih sebagai pemain terbaik. PSIS bisa dibilang menjadi tim kuda hitam pertama yang menjadi juara Liga Indonesia dan menjadi eks juara Perserikatan ketiga yang berhasil merebut juara Liga Indonesia setelah Persib Bandung dan Persebaya Surabaya.
Agustus 1999 PSIS berlaga di Piala Champions Asia menghadapi raksasa Korea Selatan Samsung Suwon Bluewings. Tim Mahesa Jenar tetap diperkuat alumni Ligina 1998/1999 ditambah dengan pemain pinjaman yaitu Khair Riffo, Alexander Pulalo, Mussa Kallon, Listyanto Raharjo, dan Gendut Doni. Sayang PSIS langsung disingkirkan Suwon. Dalam leg pertama di Jatidiri PSIS kalah 2-3 sedangkan leg kedua Mahesa Jenar dibabat 6-2 oleh Suwon.
Meski tersingkir PSIS masih mampu mencetak 4 gol ke gawang suwon dari 2 penampilannya. Empat gol tersebut dicetak Tugiyo (2 gol), Simon Atangana dan Ebanda Timothe masing masing satu gol. Pasca PSIS juara pemain PSIS kembali dipanggil masuk Tim Nasional Indonesia. Pemain PSIS yang dipanggil Timnas adalah Tugiyo, Ali Sunan, Agung Setyabudi, dan I Komang Putra. Sayang Tugiyo dipulangkan karena cedera (yang membuat karirnya terus menurun) sehingga hanya tiga nama terakhir yang membela Timnas Indonesia di Sea Games 1999 Brunei (Indonesia meraih medali perunggu) dan Pra Piala Asia 2000.
Sayangnya prestasi hebat menjadi juara Ligina edisi V membuat PSIS terlena. Karena konflik internal dan krisis finansial, PSIS terdegradasi ke Divisi I dengan status juara bertahan pada musim 1999/2000. Inilah pertama kalinya di Indonesia juara kasta tertinggi di Indonesia langsung degradasi musim berikutnya. Setelah itu PSIS langsung bangkit dan menjuarai Divisi I tahun 2001.
Awal era 2000-an ini pelatih Edy Paryono berhasil mengorbitkan para pemain muda PSIS. Pemain seperti M. Ridwan, Supriyono, Restu Kartiko, Idrus Gunawan, Khusnul Yaqin di kemudian hari menjadi pemain yang bersinar di Indonesia. Supriyono dan M. Ridwan bahkan menjadi langganan Timnas.
Pasca promosi kembali ke Divisi Utama prestasi PSIS di Ligina cenderung di papan tengah namun grafiknya terus meningkat dari musim ke musim. Ligina 2002 dan 2003 PSIS hanya selamat dari Degradasi, sedangkan pada Ligina 2004 Mahesa Jenar berhasil menduduki papan tengah. Pada masa-masa ini PSIS beberapa kali ganti pelatih namun berhasil mengorbitkan banyak pemain muda seperti M. Irfan, Basuki Setiabudi, Denny Rumba, Eko Prasetyo Ariyanto, Yusuf Sutan Mudo, Prananda Aditya, dan Julian Kusuma. Pemain muda ini yang nantinya turut mengangkat prestasi PSIS di musim selanjutnya.
Tahun 2005 manajer tim Yoyok Sukawi membuat kebijakan dengan memperkuat skuad PSIS dengan pemain asli Semarang dan pemain muda potensial. PSIS musim 2005 yang dilatih Bambang Nurdiansyah kembali menunjukkan tajinya dengan lolos ke babak 8 Besar Liga Indonesia. PSIS nyaris lolos ke final sebelum insiden mundurnya Persebaya dari babak 8 Besar menyebabkan PSIS praktis tertutup peluangnya ke final. PSIS hanya menjadi juara tiga setelah mengalahkan PSMS Medan di perebutan juara tiga
Tahun 2006 Mahesa Jenar masuk ke jajaran tim terkuat di Indonesia saat itu. PSIS berhasil melaju ke final Liga Indonesia menghadapi Persik Kediri di Stadion Manahan Solo, Minggu 30 Juli 2006. Sepanjang musim PSIS memang sangat tangguh dengan berhasil menaklukan klub-klub raksasa Indonesia. Persib ditaklukan 1-2 di Bandung, Arema dikalahkan dua kali dengan skor 1-0 di babak reguler dan babak 8 besar, Persija Jakarta dikalahkan dua kali di Semarang dan Jakarta, sriwijaya FC yang saat ini telah juara ISL dua kali dikalahkan 2-1 di Jatidiri dan ditahan 1-1 di Palembang,
terakhir PSIS membungkam kuda hitam Persekabpas Pasuruan 1-0. Sayang PSIS yang diperkuat Emanuel De Porras, Gustavo Ortiz, Foffe Kamara, I Komang Putra, Indriyanto Nugroho, M. Ridwan, dan Maman Abdurrahman gagal menjadi juara setelah kalah 1-0 dari Persik Kediri lewat gol tunggal Christian Gnzalez di menit 108. Meski hanya menjadi runner up PSIS mendapat gelar hiburan setelah Maman Abdurrahman terpilih sebagai pemain terbaik 2006.
