Ólafur pái ákveður að fara til Noregs þótt Þorgerður kona hans sé því mótfallin. Hann hefur veturvist hjá Geirmundi gný, ódælum en vel efnuðum víkingi og hirðmanni Hákonar Hlaðajarls sem stjórnaði Noregi á þessum tíma. Um vorið fer Ólafur á fund jarlsins sem gefur honum öxi skreytta með gulli og leyfði honum auk þess að ferma skip sitt með timbri. En við brottförina frá Noregi þetta sama vor birtist Geirmundur gnýr skyndilega á skipi Ólafs og vill fara með honum til Íslands. Ólafur var tók því ekki vel en lét að lokum undan. Og saman sigldu þeir til Íslands.

Úr norska timbrinu lét Ólafur byggja mikinn skála, skreyttan myndum sem sýndu atvik úr norrænni goðafræði, m.a. af guðinum Þór að berjast við Miðgarðsorm. Nú gerðist það að Geirmundur varð ástfanginn af Þuríði, dóttur Ólafs og Þorgerðar; hann bað hennar en Ólafur hafnar bónorðinu. Þá ákvað Geirmundur að fá Þorgerði, móður Þuríðar, á sitt band með því að bjóða henni fé. Þetta heppnaðist, og nú fékk Þorgerður mann sinn til að samþykkja þennan ráðahag.

Mikil brúðkaupsveisla var haldin í hinum nýbyggða skála í Hjarðarholti. Skáldið Úlfur Uggason kom til veislunnar og hann orti kvæði um Ólaf páa og um goðamyndirnar sem skreyttu veggi skálans. Þetta kvæði er kallað Húsdrápa, og eru brot úr því enn til, meira en þúsund árum eftir að veislan var haldin! En myndirnar á þili skálans eru því miður glataðar!