Jej dziadkowie urodzili się niewolnikami. Pracowali na plantacji bawełny. Matka była praczką i służącą, zmarła, gdy Mahalia miła 5 lat.

Mahalia Jackson urodziła się w ubogiej rodzinie w Nowym Orleanie. Od czwartego roku życia śpiewała w kościele. Gdy miała 16 lat wyjechała do Chicago, aby zostać pielęgniarką. Zamiast tego otworzyła salon piękności. Śpiewała na ślubach i pogrzebach, aż w końcu trafiła do zawodowego zespołu wykonującego muzykę gospel.

W roku 1937 dokonała pierwszego solowego nagrania. Przez 10 lat współpracowała z muzykiem bluesowym i kompozytorem Thomasem Dorseyem.

W 1972 uhonorowano ją Nagrodą Grammy za całokształt. Zrewolucjonizowała muzykę gospel, wprowadzając do niej bluesowe frazowanie i inne elementy z muzyki świeckiej, zwłaszcza jazzu.
Jest inspiracją dla wielu śpiewaków, m.in. Little Richarda, Arethy Franklin, Etty James, Jamesa Clevelanda, Van Morrisona.

W 1997 r. przyjęto ją w poczet sław Rock and Roll Hall of Fame and Museum, znalazła się w Hollywood Walk of Fame a rok później jej portret ozdobił znaczek pocztowy USA. Jej głos zaliczany jest do najbardziej wyjątkowych XX wieku.