Jankovskis dzimis 1944. gadā, Saratovā, kur arī absolvēja teātra skolu. Pēc pieciem darba gadiem provinces teātrī talantīgo jaunekli ar inteliģenti smalkajiem sejas vaibstiem uzaicināja uz Maskavas Ļeņina komjaunatnes teātri, kuru pasaulē pazīst kā režisora Marka Zaharova radīto zīmolu Ļenkom. Oļegs Jankovskis bija šī teātra viena no spožākajām zvaigznēm. Pirms mēneša viņš savā teātrī piedalījās Gogoļa Precību izrādē, pēc izrādes, kā liecina viņa ilggadējā partnere teātrī un kino Inna Čurikova, sirsnīgi un neformāli atvadoties no teātra ar vārdiem; "jūtu, ka ir pienācis laiks pasapņot". Vēl nesen, aprīlī, Jankovski apciemoja Roberts de Niro savas vizītes laikā Maskavā un piedāvāja draugam jebkura veida palīdzību, ieskaitot ārstēšanu.
Jankovskis kino nospēlējis gandrīz 100 lomas. Pirmo – padomju laikos populārajā spiegu gabalā Šķēps un vairogs/Ščit i meč (1968), sekoja darbi tādās skatītāju iemīļotas filmās kā Dienēja divi biedri/Služiļi dva tovarišča (1968), Spogulis/Zerkalo (1975, režisors Andrejs Tarkovskis), Parastais brīnums/Obiknovennoje čudo (1978, rež. Marks Zaharovs), Tas pats Minhauzens/Tot samij Mjungauzen (1979, Zaharova režija), Lidojumi sapnī un īstenībā/Poļoti vo sņe i najavu (1983), Nostaļģija/Nostalgie (Tarkovska šedevrs, 1983), Kreizcera sonāte/Kreicerova sonata (1987), Nogalināt pūķi/Ubiķ drakona (1988, atkal Zaharova darbs), Pase/Pasport (1990), Cara slepkava/Careubivec (1991), Mīlnieks/Ļubovņik (2002) un daudzās daudzās citās. Filmējies arī Francijā, Ungārijā, Zviedrijā. Pērn Jankovskis pārsteidza ar ārkārtīgi neparastu "ļaunā Komarovska" tēla interpretāciju Nobela prēmijas laureāta Borisa Pasternaka romāna Doktors Živago televīzijas versijā.
Savas divas pēdējās kinolomas Jankovskis radīja 2008. gada vasarā/rudenī – Valērija Todorovska muzikālajā traģikomēdijā Stilīgie/Sķiļagi un burtiski aizvakar Kannu kinofestivālā pasaules premjeru piedzīvojušajā Pāvela Lungina vēsturiskajā drāmā Cars/Carj, kur Jankovskis, būdams jau smagi slims, ģeniāli notēloja Ivana Bargā idejisko pretni – mūku Filipu. Filips ir vārds arī Jankovska vienīgajam bērnam, - dēlam, kas arī nodarbojas ar režiju un pēc izskata ir tēva "kopija".