Ulrich Walddörfer wurde 1951 in Göppingen geboren. Seinen ersten Klavierunterricht erhielt er im Alter von acht Jahren, ab 1965 bei Dyna Würzner-August. Ergänzt wurde seine musikalische Ausbildung ab 1963 durch Orgelunterricht.
Er begann 1970 an der Staatlichen Hochschule für Musik und darstellende Kunst in Stuttgart mit dem Schulmusikstudium unter anderem bei Wolfgang Gönnenwein, Hans Grischkat und Gerd Lohmeyer. Außerdem studierte er Kirchenmusik bei Werner Schrade in Esslingen und Musikwissenschaft an der Universität Tübingen.