Sharonin
sotilasura alkoi vuonna 1942, kun hän 14-vuotiaana liittyi juutalaisten maanalaisen taistelujärjestön Haganahin nuorisopataljoonaan.
Israelin itsenäisyyssodassa 1948–49 hän oli joukkueenjohtaja ja myöhemmin komppanianpäällikkö.
Vuonna 1953 Sharon määrättiin johtamaan Yksikkö 101:tä. Kommandojoukon
tehtävänä oli tehdä kostoiskuja palestiinalaishyökkäysten jälkeen. Sharon johti iskua Qibyan kylään Länsirannalle, joka tuolloin kuului Jordaniaan. Operaatiossa kuoli 69 palestiinalaista siviiliä.
Seuraavina vuosikymmeninä Sharon taisteli kaikissa Israelin sodissa arabinaapureita vastaan.
Sotia riitti: Suezin sota 1956, kuuden päivän sota 1967, Jom Kippur -sota 1973.
Jälkimmäinen nosti 45-vuotiaan kenraali Sharonin jo liki myyttisiin mittoihin. Egypti ja Syyria olivat ahdistaneet Israelin nurkkaan tekemällä yllätyshyökkäyksen juutalaisille pyhänä sovituspäivänä eli Jom Kippurina.
Kun Israel oli saanut vastahyökkäyksensä käyntiin, Sharon johti panssaridivisioonaa Siinain niemimaalla, aina Suezin kanavan yli – ja pysähtyi 101 kilometrin päähän Kairosta.
Pääsiteessä joukkojaan johtavasta kenraalimajuri Sharonista otettiin valokuvia, joihin israelilaisten mielissä kiteytyi heidän sotilaallinen voimansa.