耶路撒冷最开始是个小村庄，后来因为它极其重要的地理位置，而被当地的土著人建成一个小型要塞。根据希伯来圣经（旧约）记载：逃出埃及的犹太人在领袖大卫的带领下打下了这座土著建的要塞，并将犹太王国定都于此。大卫把犹太教最重要的宝物约柜运到了这里，并开始了城市建设，城市建好后，犹太教把它称之为圣殿。
大卫虽说是第一位修建圣殿的国王，但后人最终还是把修建圣殿的荣耀归到了他儿子所罗门的头上，而圣殿的兴建也奠定了耶路撒冷在犹太教徒心目中的地位。所罗门死了之后，犹太王国一分为二，兄弟国经常相互攻伐，最后耶路撒冷被新巴比伦王尼布甲尼撒二世攻破，圣殿被毁，一大帮子犹太精英被掳到了巴比伦，也就是著名的巴比伦之囚。
耶路撒冷的犹太人与罗马人矛盾很大，认为罗马人占了他们的地盘，还肆意传播基督教，想再弄一次马卡比起义，结果被罗马军团被横扫。更悲剧的是，犹太人的第二圣殿还是罗马士兵一把火给烧掉了。罗马帝国皇帝哈德良登基后，忍不了城中犹太人没完没了的反抗，干脆把耶路撒冷整个儿铲平了，犹太人也就开始大流散。
后来罗马帝国立基督教为国教，把耶路撒冷变成了一座基督教城市。后来拜占庭帝国（东罗马帝国）从上到下都是基督徒，对耶路撒冷的建设也比较上心，还特地修建了圣墓教堂。
公元7世纪，穆罕默德在阿拉伯半岛崛起并创立了伊斯兰教，并且在传教早期穆罕穆德规定了穆斯林的朝拜方向为耶路撒冷（后来才改成麦加）。《古兰经》古兰经记载：穆罕穆德去过耶路撒冷，还在城中遇见了众位先知，后来在登霄石上（在圣殿山上）一夜登上云霄然后回到麦加。所以耶路撒冷在穆斯林心目中的地位也是相当神圣，仅次于穆罕穆德常年生活战斗过的麦加与麦地那了。
公元638年倭马亚王朝（白衣大食）的哈里发欧麦尔攻占了耶路撒冷，并在圣殿山上新建了一座小型祷告室进行朝拜，用几滴清泪缅怀穆罕穆德。半个世纪之后，第五任哈里发阿卜杜勒·麦利克在圣殿山建造了圆顶清真寺和阿克萨清真寺。伊斯兰教在耶路撒冷一直得到了良好的发展。为了拉拢犹太人，倭马亚王朝一直允许犹太人返回耶路撒冷居住和朝拜。
公元750年，阿巴斯王朝（黑衣大食）取代倭马亚王朝，统治耶路撒冷，随后阿巴斯王朝分崩离析，来自埃及的法蒂玛王朝（绿衣大食）统治了这个区域。法蒂玛王朝第六任哈里发哈基姆为了争夺穆斯林世界的正统地位，开始放弃之前宗教宽容政策，残酷迫害犹太人和基督教徒。并于公元1033年把耶路撒冷城内的所有教堂拆得一干二净。
哈基姆干的缺德事，导致十字军第一次东征，公元1099年十字军攻破耶路撒冷之后进行的大屠杀，只要你是穆斯林或者犹太人，反抗，杀；投降，杀；并把清真寺，犹太教堂一烧而光，这就是所谓的因果循环，报应不爽吧。后来十字军很快建立了埃德萨伯国、安条克公国、耶路撒冷王国和黎波里伯国四个“十字军国家”。
正当十字军横行之时，一位穆斯林世界不世出的伟大英雄库尔德人萨拉丁登上了历史的舞台，公元1187年，萨拉丁在哈丁地区取得了决定性的胜利，不仅俘虏了耶路撒冷国王和圣殿骑士团团长，而且很快收复圣城耶路撒冷。但是萨拉丁也无法给耶路撒冷带来持久的和平，很快十字军卷土重来，狮心王理查和萨拉丁在耶路撒冷城外展开了连番会战，最后打了个平手，两人各自回家。
之后的三百来年，耶路撒冷不断易手，神圣罗马帝国、花剌子模、以及埃及奴隶骑兵集团马木鲁克，直到公元1517年，奥斯曼帝国攻占了耶路撒冷，这座城市才缓慢复兴起来。而东欧愈演愈烈的反犹主义，导致大量犹太人涌入耶路撒冷，慢慢地改变了这座城市的人口比例。
之后，随着犹太复国主义的诞生，越来越多年轻的东欧犹太人也来到了巴勒斯坦地区。第一次世界大战后，奥斯曼帝国被截肢，英法联军成功进入耶路撒冷。英国人两面三刀向所有人疯狂许诺，既点燃阿拉伯人与犹太人希望民族自决的火光，也点燃了20世纪阿以冲突的导火索。
那时的耶路撒冷老城内部的四大居民区正式成型：穆斯林靠着圣殿山和圆顶清真寺，犹太人靠着哭墙/西墙，大部分基督徒靠着圣墓教堂，亚美尼亚基督徒则靠着锡安门。尽管这时一波又一波的欧洲犹太人移居巴勒斯坦地区，大部分人也没有选择定居在耶路撒冷，但耶路撒冷在犹太移民中心里依然有着崇高的地位。
二战结束后，英国人彻底伤了筋骨，开始了全球范围内的大撤退。不过在匆忙跑路的同时，英国人还动了歪脑筋，心里盘算着将巴勒斯坦地区划分为三块，阿拉伯人和犹太人各占一块，而耶路撒冷交给联合国。这个方案的微修版最终被联合国通过了。
阿拉伯人和犹太人当然不会买账，于是英国人前脚刚走他们俩后脚就热火朝天开干了，第一次中东战争开始爆发了，直到1949年才开始正式停火，耶路撒冷在以色列和约旦手中分治的局面得以形成。接下来了20年，耶路撒冷的东西两边基本处于老死不相往来的状态之中。
1967年，第三次中东战争打破了这种状态，结果就是以色列吊打联军，耶路撒冷全城落入以色列手中，正式重新统一。统一后的耶路撒冷基本上保持了对各种宗教的开放。1980年以色列国会决定通过“耶路撒冷基本法”，宣告一个完整和统一的耶路撒冷将永远是以色列国的首都。此举又遭到阿拉伯国家的不满，争端又起！
