Da musst du für jedes Stockwerk ein building:part nehmen und mit der entsprechenden min_height und height versehen. Evt. noch die Anzahl der Stockwerke der entsprechenden parts mit building:levels/building:min_level. Siehe auch hier (Absatz Höhe):
http://wiki.openstreetmap.org/wiki/DE:Simple_3D_Buildings
Wenn die parts quadratisch bzw. rechteckig sind (wie ja meistens bei Reihenhäusern?), sollte die Darstellung richtig sein. Nur bei anderen Grundrissen kommen u.U. merkwürdige Formen raus. Man könnte dann jede Dachfläche als skillion taggen, um die einzelnen Flächen explizit festzulegen, aber das ist natürlich ein größerer Aufwand.
Ein link wäre hilfreich.