Pada tahun 1662, semasa lawatannya ke Madinah, Abu Salim al-Ayyashi mendokumentasikan bahawa Nabi Muhammad (SAW) mengimami solat Eid di pelbagai tempat, dengan tiga daripadanya terkenal. Salah satunya ialah lokasi di mana solat hari raya diimamkan oleh Hz. Ali (RA) di tempat solat Madinah, di utara Masjid Abu Bakar. Peristiwa ini berlaku apabila Hz. Osman dikepung oleh pemberontak di rumahnya.
Pada mulanya dibina oleh Umar ibn Abd al-Aziz, Masjid Ali telah dibina semula pada tahun 1990 di atas kawasan seluas 882 meter persegi dalam gaya yang serupa dengan bentuk asalnya.
