Βουτυρώνετε μακρόστενη φόρμα (20 Χ 13 εκ.) και προθερμαίνετε τον φούρνο στους 180 βαθμούς. Ρίχνετε τους παπαρουνόσπορους σε ταψί και ψήνετε για 5 λεπτά ή ώσπου να γίνουν τραγανοί. Βάζετε το ελαιόλαδο, το βούτυρο και τη ζάχαρη σε μπολ και χτυπάτε με μίξερ, να ενωθούν. Προσθέτετε τα αυγά ένα-ένα και το ασπράδι, ανακατεύοντας συνέχεια.
Ρίχνετε μέσα το ξύσμα λεμονιού και ανακατεύετε. Σε μπολ βάζετε τη σόδα και το γιαούρτι και ανακατεύετε. Σε βαθύ πιάτο ανακατεύετε το σιμιγδάλι με το αλεύρι. Ρίχνετε στο μίγμα των αυγών το μίγμα του γιαουρτιού και το μίγμα του αλευριού. Προσθέτετε τους σπόρους και ανακατεύετε καλά.
Αδειάζετε το μίγμα στη φόρμα, ισιώνετε την επιφάνεια και ψήνετε για 60 λεπτά ή ώσπου να πήξει ως το κέντρο του. Αφήνετε να κρυώσει ελαφρά μέσα στη φόρμα, το ξεφορμάρετε σε σχάρα και αφήνετε να κρυώσει εντελώς. Κόβετε σε κομμάτια και σερβίρετε.
