Kisah asal usul Air Zam Zam sarat dengan pengetahuan religius. Menurut tradisi Islam, sumur yang berisi Air Zam Zam itu diciptakan Allah SWT sebagai pemberian kepada Hagar, istri Nabi Ibrahim. Legenda menceritakan bahwa Hagar terdampar di padang pasir bersama bayi laki-lakinya, Ismail, dan mati-matian mencari air untuk memuaskan dahaga. Dalam keputusasaannya, dia menemukan mata air yang secara ajaib muncul di kakinya, yang kemudian dia nyatakan sebagai air Zam Zam. Konon sumber air tersebut tidak pernah kering sejak hari itu, terus menghasilkan air selama berabad-abad.
Banyak orang percaya menganggap Air Zam Zam sebagai sumber penyembuhan dan berkah. Umat Islam meminumnya sebagai bahan penyucian dan juga menggunakannya sebagai bahan dalam masakan mereka. Airnya dipercaya memiliki banyak khasiat penyembuhan dan dikatakan mampu menyembuhkan penyakit. Selain itu, air tersebut juga dianggap memiliki khasiat yang diberkahi. Diperkirakan bahwa meminum air Zam Zam selama haji dan ritual Islam lainnya membawa pertolongan bagi jiwa  dan melimpahkan berkah kepada mereka. Akibatnya, itu tetap menjadi elemen penting dari budaya Islam dan sangat dihormati dalam komunitas Islam hingga hari ini.