四楼被称为富人房是因为在早期的社会中，楼层越高的房间往往享有更好的视野、隔音和安全性，这些优点只有财富较为富裕的人才能够享有。

因此，四楼被视为高档的居住空间，只有富人才能居住在这里。

此外，四楼通常会设计成大型的豪华套房或别墅式的住宅，面积较大，附带更多豪华的设施和服务，这些也都需要财富才能够支持。

因此，富人房的称呼也成为了一种社会语言和文化符号，代表了权贵和富裕阶层的地位和生活方式。