Йерусалим се намира на около 60 км източно от Средиземно море. В източна посока на около 35 км се намира Мъртво море, най-ниско разположеният воден басейн в света. Сред съседните градове са Витлеем и Бейт Джала на юг, Абу Дис и Маале Адумим на изток, Мевасарет Цион на запад, Рамала и Гиват Зеев на север
Първите данни за съществуването на Йерусалим се отнасят към средата на 2 хилядолетие пр. н. е. Влиза в състава на много древни и средновековни държави.
Твърде малко се знае за цитаделата, наричана Йевус, която Давид превзема през 1000 пр. н. е. и след като променя името ѝ, прави от нея средище на еврейския народ през 1004 пр. н. е. Неговият син Соломон построява храм, крепостни стени и дворец.
След смъртта на Соломон политическото и религиозното значение на Йерусалим запада. Разорен от вавилонския владетел Навуходоносор II, който опожарява Соломоновия храм през 587 пр. н. е., градът е изграден отново по нареждане на цар Кир Велики.
По-късно попада под владичеството на египетските Птолемеи и азиатските Селевкиди. Отвоюван от Макавеите на Ханука през 168 пр. н. е. Ирод Велики разширява, доиздига и доукрасява построения на мястото на някогашния Йерусалимски храм – Втори храм.
В 140 г. пр. н. е. Йерусалим става столица на династията на Макавеите. През 63 г. пр. н. е. Йерусалим е завладян от римляните начело с Помпей Велики, които поверяват управлението му на Ирод Антипа. Йерусалим става част от римската провинция Палестина.
Почти веднага след смъртта на Ирод Велики Юдея е присъединена към римската провинция Сирия и е управлявана от прокуратори, най-известен от които е Пилат Понтийски. По време на неговото управление е разпнат Исус Христос.
За да заличат следите на разпространяващото се християнство, владетелите на града изравят пръстта на местата, смятани от християните за свети, и я изнасят извън града.
След Първото еврейско въстание с последвалата го война през 70 г. Тит завладява отново града и го разрушава. На негово място в началото на II век император Адриан създава римската колония Елия Капитолина, което е сред причините за въстанието на Бар Кохба. Елия Капитолина остава официалното име на Йерусалим до превземането му от мюсюлманите през 638 година.
Константин Велики във връзка с налагането на християнството за официална религия в Римската империя след Миланския едикт, и последвалите го византийски императори издигат наново Йерусалим и го утвърждават като „свят град“, но упадъкът на Византийската империя спира неговото развитие.
Завладян от персите при Хозрой II през 614 г., отвоюван от Ираклий през 629 г. и завладян от арабите при халифа Омар през 638 г., Йерусалим е последователно под властта на Омаядите, Абасидите и Фатимидите.
През 1099 г. по време на Първия кръстоносен поход e превзет от кръстоносците, и те го владеят до 1187 г., когато Саладин го отвоюва. Между 1517 и 1917 г. Йерусалим е в границите на Османската империя. През декември 1917 г., в периода на Първата световна война, градът е превзет от британците.
От 1920 г. до 1947 г. е административен център на Палестина под британски мандат. По решение на ООН през 1947 г. е отделен като самостоятелна административна единица. В резултат на Арабско-израелската война между 1948 и 1949 г. градът е разделен между Израел (западна част) и Йордания (източна част). През 1950 г. правителството на Израел обявява западната част на Йерусалим за столица на страната, а през 1967 г. анексира и източната част на града.
С решение на ООН между 1967 и 1971 г. са отменени всички опити за анексия на Йерусалим.