Για την κρέμα: Ζεσταίνεται το γάλα με τη ζάχαρη ανακατεύοντας, και όταν διαλυθεί η ζάχαρη ρίχνετε το σιμιγδάλι και την βανίλια. Χτυπάτε τους κρόκους και τους ρίχνετε στην κρέμα. Προσθέτετε το βούτυρο και το ξύσμα πορτοκαλιού και ανακατεύετε. Αφήνετε την κρέμα σε μέτρια φωτιά μέχρι να πήξει, ανακατεύοντας κατά διαστήματα. Όταν αρχίσει να κοχλάζει, κατεβάζετε την κρέμα από τη φωτιά και την αφήνετε να κρυώσει για να την χρησιμοποιήσετε.