Ich denke, das sollte Dir weiterhelfen:
http://wiki.openstreetmap.org/wiki/Openlayers_POI_layer_example
Die Excel Tabelle als TExt Datei mit den geforderten Einträgen sollte kein Problem sein.