Βράζετε τις πένες σύμφωνα με τις οδηγίες της συσκευασίας τους και τις σταργγίζετε.
Σε τηγάνι σοτάρετε στο λάδι την πιπεριά. Προσθέτετε τα κομματάκια του κοτόπουλου και συνεχίζετε το ψήσιμο μέχρι να ροδίσουν. Τα πασπαλίζετε με το δεντρολίβανο, την παρμεζάνα και το πιπέρι.
Προσθέτετε το τυρί κρέμα και το γάλα. Ανακατεύετε καλά μέχρι να λίωσει το τύρι και περιχύνετε με το μείγμα τις πένες. Σερβίρετε και γαρνίρετε με τις ελιές.