Джозеф Уолтер Джексон родился 26 июля 1929 года в маленьком городке штата Арканзас. Когда Джо было 12, его родители развелись, он и его отец Сэмюэль Джексон переехали в Оклэнд. Сразу после окончания школы Джозеф перебрался в Калифорнию, где недолгое время был боксёром, однако в связи с болезнью матери был вынужден переехать в Западный Чикаго, Индиана, чтобы ухаживать за ней. Именно там он встретил Кэтрин Скруз. 5 ноября 1949 года они и переехали в двухкомнатный дом стоимостью 800$ в городе Гэри, Индиана. Именно здесь Джозеф основал группу The Falcons, исполнявшую музыку в стиле ритм-н-блюз. Однако спустя 2 года Джо устроился крановщиком на сталелитейном заводе.
До встречи с Кэтрин, у Джозефа был кратковременный бездетный брак с другой женщиной.
Джозеф женился на своей второй жене Кэтрин в 1949 году. В браке у них родилось 10 детей. Один из них, Брендон (близнец Марлона), умер вскоре после рождения. Все остальные стали профессиональными музыкантами:

Маурин Рейлит «Рэбби» Джексон (родилась 29 мая 1950)
Зигмунд Эско "Джеки" Джексон (родился 4 мая 1951)
Ториано Эдэрилл «Тито» Джексон (родился 15 октября 1953)
Жермен Ла Джон Джексон (родился 11 декабря 1954)
Ла Тойя Ивонна Джексон (родилась 29 мая 1956)
Марлон Дэвид Джексон (родился 12 марта 1957)
Брендон Джексон (умер при рождении 12 марта 1957)
Майкл Джозеф Джексон (29 августа 1958 — 25 июня 2009)
Стивен Рэнделл «Рэнди» Джексон (родился 31 октября 1961)
Джанет Дамита Джо Джексон (родилась 16 мая 1966)

Также у Джозефа есть внебрачная дочь от отношений с Шерилл Террел, не занимающаяся музыкальной деятельностью и далекая от шоу-бизнеса:

Джо Вонни Джексон (родилась 30 августа 1974)