Seine frühe Begeisterung für die Chormusik führte ihn zu einer insgesamt elfjährigen Ausbildung an den traditionsreichen Internatsschulen des Dresdner Kreuzchores und des Windsbacher Knabenchores. In dieser prägenden Zeit trat er bereits als Knabensolist hervor; darüber hinaus sammelte er früh praktische Erfahrungen im Anleiten und Dirigieren von Chören, was sein späteres Berufsbild entscheidend vorbereitete.
Seine professionelle Laufbahn begann Ulrich Kaiser im Jahr 2003 als Leiter des Neuen Knabenchores Hamburg, den er bis 2011 führte. In dieser Funktion verantwortete er sowohl die musikalische als auch die organisatorische Entwicklung des Ensembles und profilierte den Chor durch eine differenzierte Probenmethodik und ein breit gefächertes Repertoire.
Von 2018 bis 2025 wirkte Ulrich Kaiser als Kirchenmusiker an der Kirche Unser Lieben Frauen in Bremen und leitete in dieser Zeit den Knabenchor Bremen. Seine Arbeit war geprägt von der Verbindung hoher musikalisch-künstlerischer Ansprüche mit ausgeprägtem pädagogischem Verantwortungsbewusstsein. Besonderen Wert legte er auf eine kontinuierliche und strukturierte Probenarbeit, eine fundierte stimmliche Ausbildung sowie auf eine altersgerechte und nachhaltige Nachwuchsförderung.
Neben der regelmäßigen musikalischen Gestaltung der Gottesdienste prägte er maßgeblich das Konzertprofil des Chores, erweiterte und vertiefte dessen Repertoire und setzte sowohl geistliche als auch konzertante Akzente. Die künstlerische Tätigkeit führte den Knabenchor Bremen unter seiner Leitung zu Auftritten in zahlreichen Städten Deutschlands sowie auf Konzertreisen in mehrere europäische Länder.