Od najmłodszych Jean-Jacques uczył się gry na wielu instrumentach m.in. na skrzypcach, fortepianie czy gitarze.

Gdy ukończył 17 lat uległ fascynacji muzyką popularną, a zwłaszcza twórczością Arethy Franklin i zaczął próbować swych sił w przemyśle muzycznym, występując m.in. w grupie Red Mountain Gospellers. Coraz bardziej interesował się muzyką dlatego odpowiedział na ogłoszenie dwóch wietnamskich braci - Khanh Maya i Tai Sinha i wstąpił do grupy Tai Phong (Wietnamski Wicher). W roku 1975 wydali swój pierwszy album. Przygoda z zespołem trwała 4 lata, podczas których nagrano trzy albumy.

W 1981 producent Marc Lumbroso z wytwórni Epic Records pomógł Goldmanowi rozpocząć solową karierę, która zaczęła się bardzo prężnie rozwijać. Największym osiągniciem Goldmana z tego okresu był album Minoritaire z 1982 roku, który zapewnił mu miejsce w gronie klasyków francuskiego popu.

W 1990 roku zawiesił karierę solową i wspólnie z Michaelem Jonesem i Carole Fredericks założył trio Fredericks Goldman JonesWystępowali razem do 1996 roku. Po tym okresie Jean-Jacques powrócił do kariery solowej.

W latach 90. poświęcił się bardziej tworzeniu tekstów dla innych wykonawców. Jego utwory śpiewali m.in. Celine Dion, Garou, Marc Lavoine , Gérald De Palmas , Joe Cocker, Diane Warren, Patrick Fiori, Johnny Hallyday czy Patricia Kaas