Harry Connick Junior est né le 11 septembre 1967 à La Nouvelle-Orléans en Louisiane. Son père, Harry Connick Sr., était district attorney (procureur) à La Nouvelle-Orléans, et sa mère, Anita Connick, était juge. Ils possédaient aussi un magasin de disques, ce qui explique l'intérêt de Harry pour la musique dès son plus jeune âge. À trois ans, il commence à jouer du piano et il se produit publiquement pour la première fois à l'âge de six ans. À dix ans, il enregistre un disque avec un groupe de jazz professionnel. Il continue son éducation musicale au New Orleans Center For The Creative Arts, tout en se produisant dans des clubs et bars. Alors qu'il n'a que treize ans, sa mère décède d'un cancer, après plusieurs années de lutte contre la maladie.