Muslim Menyembah Batu yang Bernama Ka'bah?

Mas-mas dan Mbak-mbak penghuni Kompasiana yang baik, saya mendapat pertanyaan dari teman: "Kenapa umat Islam harus menyembah Ka'bah 5 kali sehari?" Saya jawab: "Bukan menyembah, tapi menghadap Ka'bah. Karena Ka'bah sebagai kiblatnya Muslim."
Tapi dia menyanggah saya, "Ka'bah terbuat dari batu, anda menghadap atau menyembah sama saja. Itu juga hal yang sama dilakukan umat agama lain yang anda anggap menyembah berhala. Padahal Ka'bah itu terbuat dari batu, anda menghadap Ka'bah, berarti sama saj anda menyembah berhala???"
Pada pertanyaan ini saya kebingungan menjawabnya,  saya harus menghadap kemana? Tolong beri petunjuk...!