Tanah Perkuburan Mekah terletak berhampiran Jannat al-Mu’alla dan kira-kira 2 km di utara Harem al-Shareef, di atas bukit memerintah yang menghadap ke bandar. Disebabkan tradisi zaman awal apabila pengawal malam yang bertanggungjawab menjaga keselamatan Mekah biasa berkumpul di atas bukit ini untuk menukar syif, ia juga dikenali sebagai “Masjid al-Hurras” yang bermaksud Masjid Pengawal. Kemudian, sebuah masjid dibina di atas tapak ini dan dinamakan Masjid Jin. Masjid pertama di tapak ini telah dibina pada tahun 1700 oleh seorang arkitek bernama Ibrahim Aga, yang telah tiba di Mekah. Bangunan yang dibina pada 1362 (1943) telah dirobohkan pada tahun 2000 dan dibina semula.
Nabi Muhammad (SAW) menunaikan solat subuh di atas tanah masjid ini ketika pulang dari Taif tiga tahun sebelum Hijrah. Semasa solat ini, beliau membaca al-Quran yang didengar dan diyakini oleh tujuh individu jin.
