Fils d’un métayer, il commence à chanter à l'âge de neuf ans dans un quartette de Forrest City que lui et ses 3 frères avaient fondé, les "Greene Brothers". Ils partirent en tournée dans le sud au milieu des années 1950 jusqu'à ce que la famille déménage à Grand Rapids dans le Michigan, et chantèrent alors dans le Michigan. Son père le sortit du groupe après l'avoir surpris en train d'écouter Jackie Wilson.  Adolescent, Al Green forma un groupe appelé "Al Greene & the Creations" avec des amis du lycée. Deux d'entre eux, Curtis Rogers et Palmer James, créèrent un label indépendant appelé Hot Line Music Journal. Le groupe, bientôt rebaptisé "Al Greene and the Soul Mates", enregistra un single pour le jeune label, faisant de Back up train (1967) le premier tube du jeune prodige (5è des ventes R&B). Alors que le succès des Soul Mates s'essouflait, Greene rencontra Willie Mitchell, n°2 de Hi Records à Memphis. Le musicien l'embaucha comme chanteur pour son groupe lors d'un spectacle au Texas et, par la suite, fit signer Greene en solo.