Klub byl oficiálně založen v roce 1943, ale první zmínky o basketbalu v Jeruzalémě se datují již do roku 1935, kdy hráči ze Svatého města vyhráli místní soutěž čtyř týmů, když ve finále porazili Judu 8:4. V roce 1955 se Jeruzalém zúčastnil zápasů první divize, ale pouze s jedním vítězstvím z 22 zápasů skončil na posledním 8.místě. V dalších desítkách let se klub pohyboval chvíli v nejvyšší soutěži, chvíli o patro níž. Vzestup začal až na konci 80-tých let, kdy k týmu nastoupil první zahraniční trenér Colanović. Devadesátá léta byla zlatým obdobím minulého století. Hapoel se umisťoval pravidelně mezi prvním pěti týmy nejvyšší ligy a v roce 1990 také vstoupil v Koračově poháru také na evropskou scénu. Do týmu začali přicházet výborní hráči i trenéři jako Adi Gordon, Norris Coleman nebo Zvi Sherf. Nejvyššího umístění dosáhl klub v roce 1996, kdy byl druhý a v roce 1999, kdy základní skupinu vyhrál. Hapoel Jerusalem se ale nikdy nestal vítězem domácí ligy.

Nové století začal Hapoel druhým místem v roce 2001 a ve stejném roce se stal finalistou izraelského poháru. O dva roky později (2003) se Hapoelu moc nedařilo a skončil až na 8.místě. Ovšem o to pozoruhodnější byl výkon v další sezoně 2003/04. V domácím mistrovství sice skončil na 5.místě, ale skvěle načasoval formu na zápasy ULEB Cupu. Ve skupině D obsadil druhé místo (6-4) za bezkonkurenčním FMP (9-1) o skóre před DKV Joventut. Ve vyřazovacím osmifinále porazil Prokom Sopoty, ve čtvrtfinále Lietuvos Rytas a semifinále FMP Železnik. Ve finále, které se hrálo v Charleroi, na sebe narazily týmy Hapoelu a Realu Madrid. Izraelský tým nakonec zvítězil 82:73 a stal se vítězem ULEB Cupu. Jeruzalém byl teprve druhý izraelský tým, který se probojoval do finále této soutěže. Ve finále řádil Will Salomon, který dal 33 bodů, měl 7 doskoků, 7 asistencí a 4 získané míče. Pro zajímavost, ve stejný rok ovládl Euroligu Maccabi Tel Aviv.

V následující sezoně skončil Jeruzalém opět na 5.místě. V dalších dvou letech na tom byl Hapoel lépe a umístil se na 2.místě, když si ani jednou neporadil ve finále s Maccabi Tel Aviv. V prvním roce (2006) to bylo „o parník“ 66:96, ve druhém roce „o prsa“ 78:80. V sezoně 2006/07 skončil Hapoel až na 6.místě a v posledních dvou letech sice základní část absolvoval se stříbrnou září, ale semifinálové duely byly nad jeho síly. Poprvé prohrál s Haifou (93:98) ve druhém s Galil Gilboa (69:79).

Jak už jsme psali, v evropském poháru v posledních deseti letech, skončil Hapoel nejlépe v sezoně 2003/04 výhrou v ULEB Cupu. Jen pro zajímavost, byl to první start týmu v této soutěži. V následujících letech nehrál Jeruzalem Eurocup jen v sezoně 2008/09, kdy se neprobojoval přes kvalifikační kolo a v Eurochallenge skončil na 3.místě v základní skupině. Kromě vzpomínaného vítězství se Hapoel dostal nejdále v sezoně 2005/06, když prohrál v semifinále s Dynamem Moskva. V minulé sezoně se tým dostal z kvalifikace přes Roane a jeho cestu pohárem zastavila až Alba Berlín ve skupině Last 16.