Hajar aswad sendiri menurut sebagian riwayat adalah batu yang dipercayai berasal dari surga. Beberapa sumber menyebutkan bahwa dulunya batu ini berwarna putih, karena sentuhan manusia yang penuh dosa sehingga menjadi hitam. Mulanya batu itu dapat memancarkan cahaya ke arah barat, timur, Syam dan Yaman hingga ke lembah-lembah tanah Haram.
Imam Thabari menceritakan dalam kitab tafsirnya berdasarkan riwayat yang disandarkan pada Ali Bin Abi Thalib dia berkata bahwa Nabi Ibrahim membangun pondasi Ka’bah kemudian meninggikannya bersama Nabi Ismail. Ketika hampir selesai, Ismail diminta untuk mencari batu sebagai penanda bagi manusia. Nabi Ismail kemudian datang membahwa sebuah batu, namun Nabi Ibrahim tidak menyukainya. lau, Ibrahim menyuruh anaknya itu untuk mencari batu yang lain.
Tapi ketika Ismail kembali, ia telah mendapati ayahnya itu telah meletakan sebuah batu ditempat itu. Lalu Ismail bertanya siapakah yang membawakan batu itu. Ibrahim menjawab bahwa yang membawanya adalah seseorang yang tidak ingin melihatku bersandar padamu (Jibril).
Hajar aswad mulai saat itu menjadi batu penanda yang dimuliakan. Para ulama berpendapat bahwa batu itu meski tidak memberi manfaat maupun mudharat, tetap dimuliakan karena sebagai tanda untuk mengenang Nabi Ibrahim yang telah bersusah payah membangun Ka’bah.
