дамп России на osm.tesoro-shop.ru

Чота долго… У меня импорт свежей планеты под постгре, состоящий из скачки-распаковки-конвертации под постгре - импорта - построение геометрий - построения индексов занял меньше двух суток… И это вся планета целиком…

Долго и тенденция на снижение скорости- сейчас всего 500 точек/сек, начиналось около 1500 точек/сек.
upd:
Хм… Прикинул - осталось примерно 300 млн. точек (примерно половина) - если по 500 точек/сек то это еще на неделю. Не рад.

Вообще не айс… Ты полную планету импортируешь или обрезка по РФ? Полную я целиком заливал за неделю с перестроением индексов, но у меня комп не шибко мощный и оперативки маловато. И вот постгре куда быстрее получается - осмосис конвертит все в файл для импорта средствами постгре - скорость гораздо выше получается.

Спотыкнулось чуть больше чем на половине по непонятной причине, уже сутки как идет rollback.

Что-нибудь получилось?
Дамп сегодня вроде уже рабочий.

Ага! Спасибо Кексине.

И опять размер дампа 121 Мб :frowning: Как назло всё ломается в пятницу, когда нужен дамп.

Теперь всё ок. Спасибо!

Вроде одолел почти все проблемы, смотрим что будет дальше.

А можно сделать простой чек перед публикацией дампа, что новый дамп по размеру не меньше старого? Тогда в случае поломки будет доступен более старый дамп, сейчас же недоступно ничто.

веи возле границы опять потерялись :frowning:

Третья попытка залить планету в мускул опять закончилась фиаско - примерно на 270 млн. точек осмозис (или мускул) спотыкается и начинается rollback.
Пробовал просто заливать пробовл через bounding polygon от -180 до +180 градусов, результат один и тот же.
Сейчас качаю дамп от 20 января (все предыдущие попытки были с дампом от 13 января)
У кого есть какие мысли?
Кстати, если кто даст последнюю схему для осмозиса, полученную из миграций, буду очень благодарен.

Блин…

Схему попробую вечером сделать, но я сейчас руби снес, если поставлю с первой попытки - будет тебе схема. Может тебе на посгрес перейти? Он сожрал планету и не поперхнулся… Причем гораздо шустрее мускла…

+1
в mysql мне тоже Россию загрузить так и не удалось, а в постгре вливается за три с половиной часа. Не планета, но всё же.

ЗЫ: от схемы бы тоже не отказался. Та, что я нагуглил, требует validateSchemaVersion=no.

Буду пробовать, но не обещаю. Руби ставится не всегда успешно :slight_smile:

И по секрету - даже схема из-под руби иногда требует validateSchemaVersion=no :slight_smile:

Начал действовать по инструкции - http://wiki.openstreetmap.org/wiki/The_Rails_Port с учетом ньюансов windows - http://wiki.openstreetmap.org/wiki/Rails_on_Windows

  1. Поставил руби (если кто захочет повторить - то обязательно 1.8 а не 1.9, это принициально!
  2. Поставил SVN, загрузил rails порт
  3. Поставил нужные гемсы (LibXML качать руками с http://rubyforge.org/frs/?group_id=494 обязательно версию для windows)
    Затык на гемсе systemtimer - он под POSIX заточен как я понял.

Кто-нибудь до сюда докапывал?

Может имеет смысл всё это осуществить не под windows?

может, но не_с_виндовс я так и не смог подружиться

Можем объединить усилия :slight_smile:

Предположительно проблема обнаружена - в схеме базы не делалось различия между строчными и прописными буквами, (buliding:yes=Building:Yes) внес изменения, пробую залить дамп снова.