Le nom de Holon vient du mot hébreu qui signifie "sable", en raison de la nature des terrains sur lesquels la ville s'est implantée.
Ces terrains furent achetées à partir des années 1930 par Shlomo Garin. Au cours de la décennie, cinq quartiers différents se développèrent indépendamment avant de s'unir en 1940 sous le nom de Holon.
Au cours de la Guerre israélo-arabe de 1948-1949, la cité fut une cible privilégiée pour les tirs arabes, implantés notamment sur la colline de Tel Arish.
Holon a été reconnue comme ville en 1950, avec Haim Kugel comme maire. C'est sous le long mandat de son successeur, Pinchas Eylon (1953-1987), que la ville connut sa plus forte croissance avec le développement de nouveaux quartiers et de zones industrielles. En 1954, un quartier samaritain fut « établi avec la coopération du défunt Président Yitzhak Ben-Zvi et du défunt Yefet B. Avraham Tsedaka, chef des Samaritains extérieurs à Naplouse». Il s'agissait en effet de permettre le regroupement des familles ayant quitté Naplouse au début des années 1950. C'est désormais la seconde communauté samaritaine après Naplouse en Cisjordanie).