perl + .osm

liosha · 2010-10-23T18:56:56.000Z

open MYINPUTFILE, ‘<:utf8’, “ru_cs_towns.txt”;

Ilis · 2010-10-23T19:04:52.000Z

Нда… модуль заработал, обычные принты разломались.

С модулем википедии таких проблем не было. И вообще раньше с моим перлом таких проблем не было. Думаю, дело всё-таки в модуле.

Может какие-то тесты на эту тему подготовить и найти багу?

liosha · 2010-10-23T19:10:42.000Z

Нет там багов, есть недопонимание работы с кодировками.
Для начала почитать http://perldoc.perl.org/perlunicode.html

Ну а про то, что to_xml выдаёт готовый utf8 вместо внутренней кодировки, я уже говорил.

Ilis · 2010-10-23T19:16:00.000Z

Да что ж такое то! Теперь йосм не хочет файл открывать!

Ага, надо вместо обязательно

Ну и вот результат трудов: http://www.openstreetmap.org/browse/changeset/6150621

До сих пор не пойму, что меня торкнуло этим заняться!

Ilis · 2010-10-23T19:18:51.000Z

liosha:

Нет там багов, есть недопонимание работы с кодировками.
Для начала почитать http://perldoc.perl.org/perlunicode.html

Ну а про то, что to_xml выдаёт готовый utf8 вместо внутренней кодировки, я уже говорил.

Там много и не по-русски.

Можно как-то по-простому, как сделать чтобы и обычные принты работали, и модуль всё понимал?

liosha · 2010-10-23T19:22:49.000Z

Дык я ж говорил как: все промежуточные файлы писать и читать с фильтром :utf8, а результат to_xml писать БЕЗ фильтра.

Ilis · 2010-10-23T19:27:00.000Z

liosha:

Дык я ж говорил как: все промежуточные файлы писать и читать с фильтром :utf8, а результат to_xml писать БЕЗ фильтра.

У меня уже мозг засыпает, пойду и я посплю…

Хотелось бы верить, что все эти проблемы действительно объективные, и иначе как танцем с бубном над работающим в остальных 99 % случаев перлом нормально с этим модулем работать невозможно.

liosha · 2010-10-23T19:32:00.000Z

Объективные, объективные

Sergey_Astakhov · 2010-10-23T19:56:35.000Z

Кодировки - это примерно такая же вещь, как указатели в C/C++. Некоторые люди понимают концепцию сразу и без проблем, а до других доходит с большим трудом. Уж насколько в Java простая схема, и то постоянно вызывает проблемы у начинающих…

zverik1 · 2010-10-23T20:43:07.000Z

Я посмотрел changeset и хочу заметить (совершенно в отрыве от темы), что набор значений тэга принято разделять точками с запятой, а не запятыми

Upliner · 2010-10-23T20:45:27.000Z

Ilis:

Хотелось бы верить, что все эти проблемы действительно объективные

Не будь эти проблемы объективными, мы бы вообще не знали никаких проблем с кодировками

krysha · 2010-10-23T20:58:05.000Z

Кстати, никто не сравнивал вариант работы с xml через модули Perl с вариантом вызова из perl xmlstarlet ? Что быстрее?

liosha · 2010-10-24T04:54:39.000Z

zverik:

Я посмотрел changeset и хочу заметить (совершенно в отрыве от темы), что набор значений тэга принято разделять точками с запятой, а не запятыми

Если ты про source, то к этот конкретный ченжсет его не трогал.

Ilis · 2010-10-24T05:53:23.000Z

Скажите тогда как мне после чтения из файла через фильтр потом печатать можно было по-русски?

open MYINPUTFILE, ‘<:utf8’, “ru_cs_towns.txt”;
while() {
chomp;
($ru, $cs) = split /:/;
$hash{$cs} = $ru;
print “$cs → $hash{$cs}\n”;
}

liosha · 2010-10-24T05:57:34.000Z

Ну в четвёртом же посте написано

Ilis · 2010-10-24T06:52:36.000Z

Ещё пачку залил: http://www.openstreetmap.org/browse/changeset/6153635

Ilis · 2010-10-24T06:59:00.000Z

Ilis:

Скажите тогда как мне после чтения из файла через фильтр потом печатать можно было по-русски?

liosha:

Ну в четвёртом же посте написано

liosha:

установи выходную кодировку.
binmode STDOUT, ‘:utf8’;

Так ведь блин одновременно не работает всё равно!

Šumperk → Шумперк
Jaroměř → Яромерж

liosha · 2010-10-24T07:04:07.000Z

Чтобы одновременно работало - 23-й пост
http://forum.openstreetmap.org/viewtopic.php?pid=112812#p112812

Можно просто отключить фильтр перед выводом xml-а:
binmode STDOUT;

Ilis · 2010-10-24T07:12:35.000Z

liosha:

Можно просто отключить фильтр перед выводом xml-а:
binmode STDOUT;

О, ну вот, это самые крепкие костыли оказались! Заработало

GranD · 2010-10-25T05:48:00.000Z

Ilis:

liosha:

Можно просто отключить фильтр перед выводом xml-а:
binmode STDOUT;

О, ну вот, это самые крепкие костыли оказались! Заработало

Предлагаю тебе скопипейстить работающий скрипт на какую-нибудь свою подстраничку на Вики.