Genau, du steigst in Irkutsk aus. Möchtest du nach Olchon, nimmst du ein Taxi (mit Taximeter ca. 160 Rubel) oder die Strassenbahn zum Busbahnhof. Ich habe einen Minibus von hier aus nach Olchon genommen. Diese fahren bis in den Ort "Khuzhir". Hier findest du etliche Übernachtungsmöglichkeiten.
Auf Olchon selbst kannst du Minibustouren, Bootstouren, Quadtouren,... buchen, oder natürlich wandern gehen.
Von hier aus kannst du entweder zurück nach Irkutsk fahren (und von dort aus ggf. nach Listwjanka), oder auch direkt per Boot nach Listwjanka fahren.
Ich würde sagen dass du die 5 Tage, welche abzüglich An- und Abreise ja nur noch 3 volle Tage sind - komplett auf Olchon verbringen kannst. Möchtest du mehr sehen, ist es natürlich aber auch möglich Listwjanka noch mitzunehmen. Das solltest du am besten spontan vor Ort entscheiden.