Χτυπάτε με το σύρμα τους κρόκους των αυγών και τη ζάχαρη μέχρι να αφρατέψουν. Βράζετε το γάλα μαζί με τη βανίλια 4’-5’ σε μέτρια φωτιά. Το αφήνετε να σταθεί 15’ για να τραβήξει το άρωμα της βανίλιας και κατόπιν το φιλτράρετε.
Ρίχνετε στο φιλτραρισμένο γάλα το μείγμα με τους κρόκους ανακατεύοντας με γρήγορες κινήσεις. Ενσωματώνετε τον πουρέ του κάστανου και τις ζελατίνες, τις οποίες έχετε μαλακώσει σε κρύο νερό.
Προσθέτετε το κονιάκ και τη λιωμένη σοκολάτα. Ανακατεύετε καλά ώστε να γίνει ομοιόμορφο το μείγμα και το αφήνετε να κρυώσει. Κατόπιν χτυπάτε την κρέμα γάλακτος μέχρι να αφρατέψει και την ενσωματώνετε κι αυτή στο μείγμα με τα κάστανα και τη σοκολάτα.