Bangunan Klenteng Sam Poo Kong sendiri terdapat 6 bagian antara lain, Tempat pemujaan Kelenteng Besar, Pintu Gerbang Selatan, Panggung untuk tempat pertunjukan, Tempat Pemujaan Kyai Juru Mudi, Tempat pemujaan Tho Tee Kong, dan Tempat pemujaan Kyai Djangkar. dan terdapat empat klenteng yaitu adalah Klenteng Dewa Bumi, Klenteng Juru Mudi, Klenteng Sam Poo Tay Djien, dan Klenteng Kyai Jangkar.Â
Bangunan ini dari klenteng ini adalah Goa Batu, Goa Batu dipercaya sebagai tempat pertama dan markas Laksama Cheng Ho beserta anak buahnya ketika berkunjung ke pulau jawa pada tahun 1400-an, kemudian dibangun kembali oleh masyarakat setempat sebagai penghormatan terhadap Laksamana Cheng Ho, di dalam Goa tersebut terdapat patung Laksamana Cheng Ho yang berlapis emas, dan ruangan tersebut digunakan untuk sembahyang memohon doa restu keselamatan, kesehatan, dan rejeki.
Klenteng Sam Poo Kong merupakan bangunan cagar budaya, keberadaan Klenteng ini berpengaruh besar bagi kota Semarang. Hal ini membuat para wisatawan semakin tertarik untuk mengetahui lebih dalam mengenai Klenteng Sam Poo Kong ini.
 Jadi wisatawan yang datang berkunjung ke Klenteng Sam Poo Kong ini tidak hanya bertujuan untuk jalan jalan namun juga sekaligus belajar mengenai sejarah.
Bangunan Kelenteng Sam Poo Kong ini sudah ada sejak 600 tahun yang lalu, namun dahulu keadaan bangunan ini tidak seperti sekarang. Berawal dari sebuah gua alami tempat pemujaan Sam Poo Kong, kemudian berkembang menjadi kelenteng-kelenteng pemujaan dewa lainnya yang dipuja oleh masyarakat sekitar.
Perkembangan tersebut berlangsung terus menerus, sampai pada tahun 2002 terjadi revitalisasi kawasan Kelenteng Sam Poo Kong. Bangunan yang di renovasi adalah bangunan utama (Klenteng utama), goa pemujaan, klenteng kyai juru Mudi, dan Dewa Bumi, bangunanKyai Nyai Tumpeng dan Kyai Tjundrik Bumi, serta Kyai Jangkar masih belum mengalami renovasi.
