нашел такой кусок кода: http://www.ecse.rpi.edu/Homepages/wrf/Research/Short_Notes/pnpoly.html - метод луча в бесконечность

единственная возможная проблема - надо, чтоб на луч не попала ни одна вершина, а то могут быть проблемы. для этого, если работаем с координатами, можно точку из поиска подвинуть чуть-чуть вверх или вниз, на величину в половину точности координат вершин.

to wowik: это верно только для выпуклых многоугольников и частных случаев остальных