Goudji est né en Géorgie en 1941.

Il étudie à l’Académie des Beaux-Arts de Tbilissi, en section sculpture, de 1958 à 1962 Parmi des professeurs de grand talent, Choukhaeiev, peintre russe de l’Ecole de Paris dans la France des années vingt-trente, lui enseigne le dessin. En 1964, Goudji s’établit à Moscou. Il y devient le plus jeune membre jamais admis de l’Union des Artistes de l’URSS à 23 ans.

En 1969, il épouse Katherine Barsacq, fille du célèbre metteur en scène et directeur du Théâtre de l’Atelier à Paris et petite nièce de Léon Bakst, décorateur de Diaghilev et de ses Ballets russes.
Dès lors, les autorités lui refusent tout travail.
Après cinq années de démarches incessantes et l’intervention personnelle du Président de la République Georges Pompidou, il parvient à quitter, pour la première fois de sa vie et à jamais, l’URSS en 1974. Il s’installe à Paris où il peut enfin réaliser son oeuvre.

C’est à Montmartre que notre sculpteur s’attaque aux métaux précieux – formellement interdits dans son pays d’origine – selon une technique très personnelle qu’il s’invente au fil des ans. Il forge ses outils lui-même au fur et à mesure de ses besoins et donne forme à ses créations  » au marteau, à partir d’une simple feuille de métal « . Car par la volonté farouche de Goudji, chacune de ses créations doit être unique, non reproduisible , et doit sortir de ses propres mains.

En 2018, Goudji crée et réalise l’autel de la chapelle du Saint-Sacrement, le tabernacle, l’ambon