伊斯兰教初兴时,未有专门礼拜的场所,只是选择一洁净之处供叩拜之用。622年9月,伊斯兰教先知 穆罕默德 迁徙 麦地那 时,在城东南3公里处的库巴,修建了第一座简易的 库巴清真寺 。到达麦地那后,才建造一座正式的清真寺,后称“ 先知寺 ”,营建时穆罕默德亲自参加劳动,随后率众在寺内礼拜。637年,第二任 哈里发 欧麦尔 下令远征将领,凡开拓一个新地区,首先要在该地兴建清真寺,作为宗教活动的中心。据此,欧太白·伊本·盖兹旺于637~638年在伊拉克 巴士拉 兴建了第一座营地清真寺,638~639年,赛尔德·伊本·艾比·瓦戛斯在库法城兴建了清真寺,642年 阿慕尔·本·阿斯 在埃及弗斯塔特(开罗)兴建了非洲大陆第一座清真寺;670~675年欧格白·本,纳菲尔在突尼斯 凯鲁万 兴建了欧格白清真寺。
清真寺世界上第一个穆斯林礼拜的地方是 麦地那 的先知穆罕默德的故居,当时穆罕默德领导穆斯林在这里做礼拜,一个相当大的院子,中间只有一座小房屋,是穆罕默德的住宅,院子一边树立着一排枣椰树干做的柱子,在柱子和墙之间,覆盖着用枣椰树叶做的凉棚,穆斯林们可以在凉棚荫影下做礼拜,防止曝晒的阳光,穆罕默德在站在房间的门廊里领导做礼拜。以后清真寺都是仿照这种方式,世界上第一座清真寺是麦加的库巴清真寺,据说是穆罕默德亲自率领人们用四天时间就建成的,《古兰经》中称这座寺是“从头一天起就以虔敬为基础而修建的清真寺”。 清真寺内不得供奉任何雕像、画像和供品,只有围绕的柱廊,中心一个大拱顶,主要的墙要向着麦加的方向,墙中间有一个凹下的龛,叫做米海拉布,是指示穆斯林礼拜方向的。龛中有一座带阶梯的高台,是在 主麻日 时,为 伊玛目 站在上面带领诵读《古兰经》用的,叫敏拜尔,诵读古兰经时不得有音乐和歌唱。底下一般铺有地毯,因为穆斯林需要赤脚礼拜。清真寺外面或一进门地方有自来水或喷泉,要求穆斯林净手脸后才能礼拜。有的清真寺有木隔壁或隔间,以前是为参加礼拜的领袖防止被暗杀,使他们能在其中礼拜,现在有时作为男女分隔用。以前清真寺不允许女性入内,现在比较开明的国家也允许女性参加礼拜,但一般所有的清真寺都不允许非穆斯林入内,认为他们是不洁净的。