Προθερμάνετε τον φούρνο στους 180° C (στο 4 για φούρνους αερίου). Βουτυρώστε και στρώστε με λαδόχαρτο μια στρογγυλή φόρμα διαμέτρου 20 εκ. Αλέστε 175 γρ. από τα καρύδια. Χτυπήστε τα αυγά, το ελαιόλαδο και τη ζάχαρη στο μπολ του μίξερ, μέχρι το μείγμα να πάρει ένα απαλό κίτρινο χρώμα και να αφρατέψει.
Προσθέστε το γιαούρτι και συνεχίστε το ανακάτεμα σε χαμηλότερη ταχύτητα. Κοσκινίστε μέσα στο μείγμα το αλεύρι μαζί με το αλάτι και το τριμμένο γαρίφαλο, συνεχίζοντας το ανακάτεμα. Προσθέστε τα καρύδια ανακατεύοντας απαλά και μεταφέρετε το μείγμα στη φόρμα. Διακοσμήστε την καρυδόπιτα με τα υπόλοιπα καρύδια και ψήστε την για 40'.
Στο μεταξύ, φτιάξτε το σιρόπι. Βάλτε το μέλι σε ένα κατσαρολάκι με την κανέλα και τα γαρίφαλα. Αφαιρέστε τη φλούδα του πορτοκαλιού και προσθέστε την στο κατσαρολάκι. Αφήστε το να ζεσταθεί σε χαμηλή φωτιά και, ανακατεύοντας, προσθέστε το κονιάκ. Αφήστε να κρυώσει.
Βγάλτε την καρυδόπιτα από το φούρνο και τρυπήστε την παντού με μια οδοντογλυφίδα. Περιχύστε αργά με το σιρόπι και αφήστε την να τραβήξει. Όταν όλο το σιρόπι έχει απορροφηθεί, βγάλτε την καρυδόπιτα από τη φόρμα αναποδογυρίζοντάς την. Σερβίρετε με γιαούρτι.