Ben ik te ongevoelig tegenover mijn vriend?

Allereerst weet ik dat de discussie die ik hieronder opgeschreven heb echt nergens over gaat en dom kan klinken, maar dat is voor mij juist waar het probleem hem in zit.

Mijn vriend heeft er moeite mee dat ik na hem het toilet gebruik als hij klaar is met een nummer 2. ik heb hem al vaker gezegd dat ik daar geen probleem in zie en dan hebben we het erna ook niet meer over of zeg ik dat ik er geen last van had o.i.d.
Gisteren was hij heel stellig en moest ik naar een ander toilet lopen omdat hij niet wilde dat ik na hem ging. Ik dacht dat hij het grappig bedoelde, omdat hij dit dus wel vaker zegt, en zij dat ik gewoon ging. Hierop zei hij dat ik over zijn grenzen ging.
ik probeerde hem uit te leggen dat als we ooit zouden samenwonen en maar 1 toilet hebben dat ik dan ook niet zou wachten, en dat hij zich niet oncomfortabel hoeft te voelen over zoiets. ik ben verpleegkundige en ben wel wat gewend.
Toen ging het niet meer over het toilet, maar over het feit dat ik over zijn grens ging.
Voor mij voelt dit persoonlijk van een mug een olifant maken en kon ik niet achter een excuus staan omdat ik het probleem oprecht niet goed begrijp.
later die avond gingen we weg en hadden we het niet goed uitgepraat. ik trek me snel terug en wordt stil, wat dan ook niet helpt, dus dat is ook mijn aandeel. we zouden het weekend bij mij slapen nadat hij een feestje had gehad. gisteravond appte ik hem dus nog hoe laat hij bij mij zou zijn, aangezien ik voor hem wakker bleef. toen gaf hij aan dat hij geen slaapspullen had meegenomen want daar had hij geen zin meer in.
Dit schoot bij mij in het verkeerde keelgat, ook omdat we nu nog niks hadden uitgepraat en we dit normaal gezien altijd doen.

Ben ik te ongevoelig? Wat zouden jullie in deze situatie hebben gedaan/ gezegd?