Προσθέτετε τη ζάχαρη, το ξύσμα του πορτοκαλιού και τα καρύδια και ανακατεύετε. Σε άλλο μπολ αναμειγνύετε το γάλα με το χυμό του πορτοκαλιού, το κονιάκ, το λιωμένο βούτυρο και το αυγό. Τα χτυπάτε ελαφρά με το πιρούνι. Προσθέτετε κατόπιν το υγρό μείγμα σιγά - σιγά στο μείγμα με το αλεύρι και τα καρύδια, χτυπώντας με το μίξερ σε χαμηλή ταχύτητα.