Preslovljavanje (Transliteration)

mpele · 2013-05-25T09:58:07.000Z

Имам техничких проблема са сервером који је до сада коришћен за освежавање фајлова на http://openstreetmap.iz.rs/ и http://openstreetmap.iz.rs/pumpe/ , па сада тражим алтернативу.

Досадашња пракса је била да се два-три пута недељно стартује скрипт који би скинуо 30-так MB са интернета, пар минута процесирао, и сличну количину послао на сервер. Идеално је да рачунар буде под linux-ом јер су за њега готове скрипте, мада су и други оперативни ситеми прихватљиви. Мени је проблем да то обављам на мом рачунару јер сам лимитиран приступом на интернет.

Пошто су масовна пресловљавања већ урађена и сада је остало само да се стање одржава можда више и нема потребе за већ полусажваканим издељеним фајловима. Можда је практичније да свако припреми фајлове сам за себе?

kmilos · 2013-05-25T13:34:52.000Z

@mpele
Jel neko sem tebe i mene uopšte koristio te izlaze?

Slažem se da ne bi bio problem da svako radi za sebe po potrebi, ali bi nam onda dobro došlo neko javno mesto za skripte. Baš niko nema github repo ili nešto slično?

mpele · 2013-05-25T17:11:08.000Z

Немам тачну евиденцију ко је све користио фајлове, али рекао бих да број корисника није велики. У сваком случају велики посао је одрађен и сада је много лакше када пресловљава само нове ствари.

Ја могу да направим/поставим svn repo (рецимо svn.openstreetmap.iz.rs) за скрипте, мада је можда лепше да се негде отвори бесплатан налог. На openstreetmap.iz.rs можемо поставити блог као потпору за wiki, скрипте и тренутне активности са разним специјализованим прегледима. Под прегледима сам мислио на прегледе и за оне који желе да допринесу ОСМ-у и за оне који желе да користе већ унете податке. Ако има још неког ко је заинтересован да уложи мало времена у овако нешто нек се јави да видимо врели ли труда.

mpele · 2013-05-28T20:00:45.000Z

Док се не организујемо боље боље ево да наведем како се припремају фајлови за пресловљавање. Ја ћу се и даље трудити да ажурирам openstreetmap.iz.rs…

Дакле генерисање фајла за пресловљавање се врши помоћу командне:

java -cp serbiantransliterator.jar OSMParser -ulaz=serbia.osm -lektura -azuriratiName -azuriratiNameSr -azuriratiNameSrLatn

Потребно је напоменути да је улазни фајл osm који се може преузети sa http://download.geofabrik.de/europe/serbia.html.
Да би се поделио на регионе ово је bash скрипт:


POLIGONI=`ls ../Regioni_poly/RS*.poly`

counter=0
# Glavna petlja, pretpostavlje da je 'osmosis' u PATH
for i in ${POLIGONI}; do
    o=Regioni/`basename $i .poly`.osm
    komanda=$komanda" --bounding-polygon file=$i --write-xml file=$o"
    counter=`expr $counter + 1`
done

../osmosis-0.41/bin/osmosis --read-pbf file=../serbia.osm.pbf --tf reject-relations --tee $counter $komanda

Наравно у директоријуму Regioni_poly су одговарајуће границе региона.
За генерисање прегледа назива:


for file in $( ls -1 Regioni/*.osm )
do
    echo "java -cp serbiantransliterator.jar PregledNaziva -ulaz=$file "
    java -cp serbiantransliterator.jar PregledNaziva -ulaz=$file 
done

Уколико желите да направите osm фајл са латиничним називима као подразумеваним:


#preslovljavanje
java -cp serbiantransliterator.jar OSMParser -ulaz=serbia.osm -name=latinica -azuriratiName -izlaz=zaOsmand/osmand.osm

#odstranjuje gde pravi problem
cat zaOsmand/osmand.osm | grep -v qуо > zaOsmand/osmand2.osm

Ово је корисно ако желите да сами генеришете мапе, а мало је незгодно ако немате ћириличну тастатуру на уређају (телефону). Конкретно ово корисним за генерисања мапа за osmand. Остало је да се уради и транслитерација и адреса у делу где је нумерација зграда, али отом потом…

magnumns · 2014-03-23T20:37:22.000Z

Да ли постоји могућност прављења/припремања датотека за пресловљавање за државе у окружењу?
У том случају не би мењали ознаку name већ само додавали name:sr и name:sr-Latn.

Да ли транслитератор може да се допуни алгоритмом за препознавање назива са римским бројевима тако да кад се припремају датотеке за пресловљавање игнорише називе типа “Краља Петра I” или да они буду посебно разврстани?

mpele · 2014-03-24T14:08:36.000Z

magnumns:

Да ли постоји могућност прављења/припремања датотека за пресловљавање за државе у окружењу?
У том случају не би мењали ознаку name већ само додавали name:sr и name:sr-Latn.

Нисам баш разумео питање па ћу одговори на обе варијанте.

Требало би да је могуће и сада припремити фајл за пресловљавање при чему би се игнорисао статус тага name. То би требало да се добије са избацивањем -azuriratiName из команде, односно са:

java -cp serbiantransliterator.jar OSMParser -ulaz=serbia.osm -lektura -azuriratiNameSr -azuriratiNameSrLatn

А ако је питање било да ли је могуће да на openstreetmap.iz.rs буду припремљени фајлови одговор би био да је могуће али да је питање да ли постоји реална потреба за тиме. Иначе, већ ми је најављено да од краја маја више нећу моћи да користим сервер тако да је питање да ли ће се уопште и генерисати и фајлови за пресловљавање за Србију (као и остали прегледи).

magnumns:

Да ли транслитератор може да се допуни алгоритмом за препознавање назива са римским бројевима тако да кад се припремају датотеке за пресловљавање игнорише називе типа “Краља Петра I” или да они буду посебно разврстани?

Наравно да је могуће, али, на жалост, ја нема времена за то. Целокупни код је јавнодоступан па свако ко има знања/воље/времена је добродошао.

SunCobalt · 2014-05-08T19:16:12.000Z

@Peđa
can your script run over buildings with addresses (i.e. addr:street & addr:city)?
http://tools.geofabrik.de/osmi/?view=addresses&lon=22.11353&lat=44.07360&zoom=13&opacity=1.00&overlays=buildings,buildings_with_addresses,postal_code,no_addr_street,street_not_found,nodes_with_addresses_defined,nodes_with_addresses_interpolated,interpolation,interpolation_errors,connection_lines,nearest_points,nearest_roads
The street name in the building addresses are in latin and the road names in cyrillic. Now the the routing engines don’t find the roads that belong to an address.

mpele · 2014-05-12T07:58:17.000Z

I am planning to make a transliteration tool for creating appropriate maps for routing software. I have everything prepared and it could be done very quickly, but, unfortunately, I do not have time for it.
That tool with osmosis could be used to solve mentioned tags, but it will work only in command line

mpele · 2014-06-05T06:42:03.000Z

Најновија верзија транслитератора се може преузети на https://dl.dropboxusercontent.com/u/77542347/serbiantransliterator.jar .

Нова је могућност пресловљавања фајла снимљеног из JOSM или екстракта из pbf-a.

Синтакса би требало да је интуитивна стим што на крају се наводе тагови који требају бити пресловљени у одговарајуће писмо. На пример, ако желимо у неком фајлу пресловимо све такове name и addr:street (прилагођавање за навигацију) команда би била:

java -cp serbiantransliterator.jar ProstoPreslovljavanjeFajla -ulaz=proba.osm -latinica addr:street name

или, за масовно пресловљавање само адреса у ћирилицу:

java -cp serbiantransliterator.jar ProstoPreslovljavanjeFajla -ulaz=proba.osm -cirilica addr:street

Овим командама ће се генерисати фајлови у којима су пресловљени наведени тагови.

У случају да је фајл proba.osm снимљен из JOSM, потребно је да додати и “-josm” (xml користи апостроф уместо наводника у својој структури).

На пример, да би се масовно пресловиле адресе са неког подручја потребно је са JOSM-ом преузети све податке за цељану област и снимити у фајл proba.osm .
Следећи корак је стартовање пресловљавања:

java -cp serbiantransliterator.jar ProstoPreslovljavanjeFajla -ulaz=proba.osm -cirilica -josm addr:street

Следећи корак је генерисање разлике између оригиналног и пресловљеног фајла. То може урадити са командом:

osmosis-latest\bin\osmosis --read-xml file="_proba.osm" --read-xml file="proba.osm" --derive-change --write-xml-change file="diff-1-2.osc"

Додатно у едитору проверити фајл diff-1-2.osc и, уколико има потребе, кориговати. Овде се операција find/replase показује врло корисном.
Слање на сервер је тривијално уз помоћ JOSM, односно учитати фајл diff-1-2.osc и урадити Upload changes. И то је то

magnumns · 2014-06-24T20:57:23.000Z

Похвала… и пар питања.

Да ли би ово требало да ради независно од оперативног система, тј. и на Виндовсима и на Линуксу?
Шта значи ProstoPreslovljavanjeFajla?

Што се тиче адреса, мислим да би требало да се подудара са name:sr.
То је једина ознака која је “обавезна” и увек може програмски да се преслови за потребе навигација које не подржавају ћирилицу.
Као што су почели да користе и рендерују називе на ћирилици и латиници за потребе странаца, када се среде адресе, почеће и масовније коришћење у ауто-навигацијама

mpele · 2014-06-28T08:28:48.000Z

Програм је рађен у Јави, тако да ради и на линуксу и виндовсу.

Него, да ли ико ико користи ове алате? Мени завршавају посао, па ме интересује да ли их ико користи?
Већ неко време се више не припремају фајлови за пресловљавање, па плагин за ЈОСМ има тачкасту употребу…

mpele · 2016-04-28T06:15:43.000Z

Ево, проћоше скоро две године од последњих постова и видим да је од тада доста тога ураћено на OSM - pbf фајл је сада дупло већи.

Покушао сам да пронађем онај додатак за пресловљавање на интернету, али нисам успео. Па, за све који га желе могу га преузети са линка https://github.com/mpele/JOSM_transliterator/releases/download/v1.0/serbiantransliterator.jar , односно цео код са https://github.com/mpele/JOSM_transliterator .
Припремљени фајлови за пресловљавање су за сада постављени на http://54.149.254.108/osm/ .

Javor89 · 2017-02-17T13:43:13.000Z

Pozz,
Uspeo sam da instaliram plugin ali kad izabrem celu mapu [(ctrl+a)(mapa je skinuta kao .osm sa openstreetmap)] izaberem edit>edit nazivi>latinica(posto je mapa u cirilici) izbaci mi error(bug). Moze neka pomoc? Hvala.

mpele · 2017-04-11T07:34:39.000Z

Здраво Javor89,
Извини за закаснели одговор - нисам приметио питање до сада.

Ако није проблем решен, пошаљи ми коју си грешку добио.

Овако на слепо морам да те питам шта покушаваш да добијеш? Када пресловиш цео osm фајл за Србију шта би радио са њим? Иначе, у посту имаш опис команде да пресловиш цео фајл без графичког интерфејса.

Уколико желиш да допринесеш уређивању назива (ћирилица/латиница) припремљени фајлови се тренутно налазе на http://52.43.53.160/osm/ .

Stereo · 2018-10-24T14:21:07.000Z

Hello everyone,

I recently ran https://gist.github.com/grischard/b90f57a898fdae3c788764b88803d850 in Kosovo to add missing Serbian transliterations to place=* objects

Downloads places with a name:sr but no name:sr-Latn in Kosovo from the overpass api
Transliterates missing values using the cyrtranslit library
Writes enriched data to enriched_place.osm, which is then manually checked with JOSM before upload

Running https://overpass-turbo.eu/s/D4Y shows about 240 place objects in Serbia that similarly have a name:sr but no name:sr-Latn.

Would it be interesting to run the same mechanical edit in Serbia?

Greetings from Luxembourg, and apologies for not speaking Serbian

Pedja · 2018-10-24T16:08:55.000Z

Stereo:

Hello everyone,
I recently ran https://gist.github.com/grischard/b90f57a898fdae3c788764b88803d850 in Kosovo to add missing Serbian transliterations to place=* objects

Correct name is Kosovo i Metohija not Kosovo.

Stereo:

Downloads places with a name:sr but no name:sr-Latn in Kosovo from the overpass api

Transliterates missing values using the cyrtranslit library

Writes enriched data to enriched_place.osm, which is then manually checked with JOSM before upload

We intentionally did not provide latinized version of Serbian toponymes on Kosovo i Metohija.

What you did is direct support for further albanization of toponymes in Kosovo i Metohija, thus further destroying of Serbian cultural and historical heritage by Albanians. Albanians now can use latinized version of Serbian names, which they did not have until now, to further albanize them.

Stereo · 2018-10-31T17:08:48.000Z

I’m sorry if anything I said offended you; it certainly wasn’t intended. There’s enough conflict in the region without us adding fuel to the fire.

I understand history, and maybe you were even personally affected by the war, but the python script has only friendly linguistic interest from a traveler from far away who has no horse in this race. This is about transliteration: translation or politics are off-topic. The script doesn’t even know that any language other than Serbian exists. The name is simply the commonly used English one, and the one I’ve heard and seen Serbs use when talking about the place, not only in English but also in Serbian on this forum.

It was my impression from my travels that, in Gračanica just like in Belgrade, both scripts get used by Serbian people interchangeably. I mean, even in this 11-page thread about transliteration (see!), people have used both scripts. It makes your language richer and more interesting, not poorer.

I also understand that transliterating Serbian from Latin to Cyrillic isn’t always obvious and therefore not scriptable. If you want to help in that direction, there are a few objects here in Gračanica: https://overpass-turbo.eu/s/Dgt

Wishing you happy and peaceful mapping

Pedja · 2018-11-01T05:40:48.000Z

There’s enough conflict in the region without us adding fuel to the fire.

I am sure you have good intentions but acting on good intentions may do more harm than good in such sensitive situations.

Well, OSM, with its two-faced politics just adds that fuel and helps a lot in destroying Serbian historical an cultural heritage in Kosovo i Metohija. It actually openly supports ethnic cleansing that occurred against non Albanian people there and still is in progress. Vandalization and destruction that happens in real life is transferred to OSM and openly supported by OSM which allows albanization of everything in Kosovo and Metohija.

We are trying to avoid conflicts. What we do on OSM is mapping our cultural and historical heritage and preserving our language. We do not touch anything Albanians do. We do not even touch name tags that are obviously falsified and albanized.

And all we do is constantly vandalized. Serban language is erased, removed, altered and hidden in every possible way even if it is in name:sr tags where it should be safe.

There are number of entries on the map that do not have albanized names yet. Now, after what you did those entries will be albanized too. Because that is their policy: even if they cannot albanize them on the ground, they will do it on the map.

mpele · 2019-08-20T15:21:05.000Z

Направио сам минималне измене на додатку за пресловљавање тако да он сада ради са новим верзијама JOSM.

Додатак се може преузети са https://github.com/mpele/JOSM_transliterator/releases/tag/1.1.1

Pedja · 2019-08-20T15:27:07.000Z

Mašala!