Das ist glaube ich ein Trugschluss, zum Suchen wird ja auch nur der Gebäudemittelpunkt verwendet und der kann bei großen, unförmigen Gebäuden auch zu weit entfernt, oder bei einer anderen Nummer liegen, also das halte ich für keinen sinnvollen Workaround, erst recht nicht bei verbundenen Gebäuden, aber das hast du eh schon selbst festgestellt.
Du kannst Thomas Konrad bitten die modifizierten Daten zu importieren, wo wieder die Gebäudepositionen bevorzugt werden, das sollte meistens die Position sein, wo auch basemap die Adresse anzeigt
https://github.com/thomaskonrad/convert-bev-address-data-python/pull/1#issuecomment-382995346