Новогоднее обновление scanaerial

Communities Россия (Russia)
1

Всем привет.

Встретился мне недавно объект с тегами scanaerial.
Понравились качество его контура, захотелось самому попробовать потрассировать.
Скачал и настроил scanaerial, пробую им пользоваться - и понимаю что обводить почти нечего:
Все источники снимков для программы или недоступны или ужасного качества.

Программа на тот момент умела грузить тайлы только через протокол WMS.
Решил я исправить этот недочёт - в итоге в scanaerial теперь есть поддержка TMS и Bing.
Сделать поддержку TMS оказалось несложно - она уместилась в пару десятков строк.
Поддержка Bing уже была реализована, но в отдельной ветке, оставалось только всё соединить.

Я проверил работу этих протоколов на тысячах озёр на севере России:
http://www.openstreetmap.org/#map=8/71.148/137.249
Но что-то мог и упустить из виду.

Предлагаю участникам этого форума проверить новую версию.
Ну и, заодно, добавить некоторое количество озёр на карту :).

Ссылка на скачку (старая версия):
https://github.com/Vort/scanaerial/archive/bing.zip
Пулл реквест на GitHub:
https://github.com/jonasstein/scanaerial/pull/15

upd.
Ссылка на скачку последней версии:
https://github.com/Vort/scanaerial/archive/tms_switch.zip

2

Инструкция по установке и настройке предыдущей версии есть на вики:
http://wiki.openstreetmap.org/wiki/JOSM/Plugins/Scanaerial

В новой версии формат файла конфигурации немного отличается.
Но общий принцип работы программы остался тем же.

Опишу свой опыт настройки и использования.

Для себя я сделал два инструмента:
1.
Scanaerial (fixed zoom)
C:\python27\python.exe e:_Projects\scanaerial\scanaerial.py {lat} {lon}
Назначил кнопку T
2.
Scanaerial (dynamic zoom)
C:\python27\python.exe e:_Projects\scanaerial\scanaerial.py {lat} {lon} {TZoom}
Назначил кнопку Y

Первым рисую большую часть времени.
Второй нужен когда хочется сделать контур чётче или, наоборот, более размытым.

Теперь по поводу источников.
Я пробовал использовать снимки MapQuest и Bing.
И для того и для другого варианта подходит настройка fixedzoomlevel = 11.
С настройкой colour_str ситуация отличается: MapQuest я обводил с colour_str = 30, Bing - с colour_str = 50.

Особенностью scanaerial является то, что она работает до тех пор, пока не найдёт контур.
В итоге, если клацнуть мимо - программа пойдёт заливать весь земной шар.
На этот случай я добавил настройку timeout.
У меня она установлена в 2 секунды.
Если тайловые сервера отвечают быстро - этого хватает.
Для сложных объектов таймаут приходится повышать.

3

это есть карошо, протрезвею - обязательно затестю.

4

Хочу внести существенное замечание по этому поводу.
“11й зум” - это снимки среднего разрешения Landsat. При том - претерпевшие очень сильные искажения в процессе подгонки под относительно естественные цвета. А потом - побитые артефактами весьма сильного сжатия.
Для повышения результативности такого автоматического распознавания, очень имеет смысл работать отдельными сценами Landsat. Плюсы следующие:

  • в соответствии с тем, что именно вы обводите, композит можно собрать из каналов, которые обеспечивают наилучшее разделение объектов по цветам
  • картинка не побита JPEG-ом
  • можно работать с изображением в его нативном разрешении (это если грузить через ImportImagePlugin ) без подгонки под стандартные уровни Slippy map (а ландсатовское 15 м/пиксель попадает между уровнями, что плохо влияет на качество)
  • Landsat доступен бесплатно, на разные даты, хоть зимой, хоть летом (в разумных пределах, с учетом погоды).
    Минус - надо его найти, скачать и собрать композит (это пяток шагов, например - в ImageJ).

Простое сравнение:
вот Landsat 7 после издевательств в Bing http://openstreetmap.ru/#map=13/55.9702/37.4152&layer=B
а вот свежий самодельный Landsat 8 на ту же территорию https://farm9.staticflickr.com/8656/15889445967_d121427a8a_o.jpg
Найдите, например, Перепечинское кладбище (чуть к северу от Шереметьево, в форме треугольника). Легко видеть, что на самодельном композите дорожки там различить легче легкого, у Bing там мутное грязное пятно.
Вот и думайте.

5

Спасибо за замечание.
Качественные контуры это хорошо.
Но это нужно тогда, когда основная масса объектов уже отмечена.
То есть, отметить озеро важнее, чем стараться сделать ему идеальный контур.

6

Не согласен.
Зачем довольствоваться худшим из возможного, если приложив сравнительно небольшие усилия, можно добиться лучшего? Пример выше с тем, что отдельные достаточно мелкие объекты на снимках у Bing просто неразличимы, я выше добавил в предыдущее сообщение.

7

Попробую пояснить на примере.

Что даст наличие высококачественных снимков вот в этом месте:
http://binged.it/1ES3R9h
?

8

Я, пожалуй, могу придумать еще более искусственный пример, но не буду. (Если вы уперлись и аргументация для вас все равно ничего не значит - скажите сразу, я не буду терять дальше время.)

Вот здесь http://binged.it/1BpTsLP гарантирую лучшую возможность отличить просто овраг или небольшую расщелину от таковых с речкой/ручьем.

Вы в курсе, что этим снимкам - 15 лет? Это же GeoCover 2000 исходно. Те же реки с “подвижным” руслом вроде такой http://binged.it/1CXwkbH за это время могли измениться до неузнаваемости.

Ну и стоит иметь в виду, что это вы вот решили на северах потренироваться, а остальные полезут с этим в куда более населенные области.

9

Вобще-то я об этом и говорю.
Для разных случаев нужна разная детализация.
Скажу больше - обводя озеро вручную, можно получить результат намного лучший, чем при использовании трассировщика.
Но если задача - обвести 10000 озёр, то сделать это вручную времени не хватит.

10

BushmanK, Vort,

Есть предложение вам объединить усилия для небольшого теста.
BushmanK соберёт композит для нужного района из свежего Landsat-а, обеспечивающий наилучшее выделение нужных объектов по цветам, а Vort этот композит трассирует.

11

присоединяюсь к предложению OverQuantum, это действительно - будет интересно
а если BushmanK напишет сам или даст ссылку на руководство - как подготовить снимки Landsat’a, с упором на ОСМ - будет совсем отлично

12

Если б бушманк большую часть своих грожений довел бы до продукта было бы весьма интересно

13

Достопочтенная публика, впервые на арене, смертельный номер: человек, который не знает слово “угроз”, но вместо него выдумал слово “грожений”, призывает меня “отвечать за базар”.
Ну и какие, по-вашему, угрозы я не выполнил?

Смею напомнить один чудесный принцип OSM: хочешь, чтобы что-то было сделано - сделай это сам, не требуй этого от других. Особенно в этом контексте забавно требовать от других то, что никому, как показывает практика, не нужно.

Что касается того, как делать композиты, тут это обсуждалось уже сто раз, и не только с моей подачи:
http://forum.openstreetmap.org/viewtopic.php?pid=75047 - 4 года назад, например.
http://forum.openstreetmap.org/viewtopic.php?pid=346236#p346236 - полтора года назад
http://forum.openstreetmap.org/viewtopic.php?pid=287499#p287499 - три года назад, тут есть еще ссылка на FTP с готовыми композитами GLS2005, которые достаточно только скачать (хотя комбинации каналов не всегда оптимальны, но это точно лучше, чем трижды пережатый Bing)
https://www.mapbox.com/blog/putting-landsat-8-bands-to-work/ - вот эту статью полгода назад тут все радостно встретили, но потом забили

Вот чудесный tutorial по Landsat 8 (последний Landsat - особенный, у него 16-битные данные) с использованием GDAL http://scientiaplusconscientia.wordpress.com/2014/11/18/working-with-landsat-8-a-tutorial-2-creating-simple-composites/

http://gis-lab.info/qa/landsat-bandcomb.html - о смысле комбинаций каналов (на примере ETM+)
http://landsat.usgs.gov/band_designations_landsat_satellites.php - полный список сенсоров и каналов

http://www.uzh.ch/blog/gcb-siberia/2013/07/11/colordiversity-nasausgs-landsat-8-to-map-kytalyk-on-july-5/ - как раз те самые сибирские болота

Как видите, все “новое” - это старое, на которое все благополучно забивают сразу после его упоминания. Вон, сделал я недавно композит из свежего ландсата на М11 около Москвы и выложил готовые тайлы. Что, кто-то воспользовался?

14

спасибо за ссылки, надо найти время и почитать… я далек от ГИС и половины терминов не знаю, но некоторые вещи интересно попробовать, если есть туторал (знаний не хватает, а руки чешутся).
А для таких любителей (не спецов в ГИС) как я - еще и перевод необходим… и комментарии к скриптам

но вопрос остался - на счет проверки, предложенной OverQuantum… но тут видимо теперь слово за Vort

…можно ссылку? возможно эта информация была подана не там и не тем людям?
Если есть собственные наработки - почему не публиковать информацию (и ссылки) о них в “дневниках” или на своей странице wiki OSM? Да хоть одной строкой… пусть висит - есть не просит, а кому-то пригодится.

вопрос о поиске - если искать на http://earthexplorer.usgs.gov/ (пока санкции не добрались и туда)
в каком Data Set(s) их искать?

0_11abf8_74ea567d_orig.png411×607 29.5 KB

Кстати, статью с Mapbox’а о Landsat8 перевели и опубликовали на хабре
а потом перенесли на http://geektimes.ru/post/183416/

Гугл еше пару ссылок подсказал
http://www.webrian.ch/2012/02/armchair-mapping-using-grass-gis.html
осталось по учебнику с Gis-lab установить GRASS :slight_smile: но как я понял - это страшный зверь

15

Возможно, порог вхождения велик.
Поставить питон, плагины, настроить - даже это не всем под силу.

Ну или действительно мало кому интересно.

Если наберутся люди, которым захочется прорисовать водные объекты России, тогда можно будет и о TMS сервере с данными подумать и детальные инструкции подготовить.
Иначе смысла мало.

(Я сам всю Россию не обклацаю)

16

Xmypblu данные по М11 были в московской теме, как ответ на вопрос “свежих снимков нет, что там творится?” - вот: http://forum.openstreetmap.org/viewtopic.php?pid=472806#p472806
Для нужд OSM, на самом деле, вообще не нужны никакие питоны, GRASS и скрипты. Часть ссылок выше я привел, как иллюстрации того, что здесь это уже многократно обсуждалось и никто кроме пары человек, которые это и так знали, не почесался изучить вопрос.

Если вы умеете пользоваться любым графическим редактором, в котором можно собрать RGB-изображение из отдельных каналов, вы это можете сделать там. Можете сделать в ImageJ, GIMP, Photoshop, в командной строке через ImageMagick - где угодно. Тут если разобраться в базовых вопросах самой технологии, вопрос об инструментах сам отпадет. А разобраться - нужно, потому что по пошаговой инструкции, как дрессированная мартышка, ничего хорошего не наделаешь (например, потому что для каждой миссии Landsat есть свои маленькие тонкости, а снимки, которые сделаны в разные сезоны, тоже надо уметь анализировать, чтобы понять, что на них вообще, более-менее однозначна только вода и суша, да и то - не всегда). Потому я и не хочу принципиально писать никаких пошаговых инструкций - от людей, которые только по ним способны работать, больше проблем, чем пользы.

Кто хочет разобраться - на вопросы обязательно отвечу в меру собственных знаний.

Тут http://earthexplorer.usgs.gov/ выбирайте Landsat archive, а дальше - либо ETM+ SLC On (тот который off - с дефектами), либо любой из OLI/TIRS. Во втором случае данные будут 16-битными, что требует при работе с ними дополнительного шага выравнивания гистограммы и перевода в 8 бит.
Выравнивать гистограмму лично мне нравится либо в ImageMagick, либо в ImageJ.
Для сохранения информации о привязке после манипуляций можно использовать это http://www.remotesensing.org/geotiff/listgeo.html вместе с этим http://www.remotesensing.org/geotiff/geotifcp.html

Улучшение разрешения неплохо работает вот через этот плагин к ImageJ http://ij.ms3d.de/plugins/ihs_image_fusion.php (правда, с Landsat8 есть тонкость - там размер панхроматического канала и удвоенный размер отдельных диапазонов отличается на одну линию - надо обрезать или добавлять ее, ну и не забыть сначала гистограмму поправить и в 8 бит перевести, а то никакой памяти не хватит).

Что касается дневников - их все равно никто не читает, кроме того, я не вижу смысла повторять то, что вдоль и поперек уже изучено. Проблема-то не в том, что люди об этом не знают, проблема в том, что они “не хотят заморачиваться”.

17

ок, позиция понятная и не нова - на этом форуме
и хоть я ее не разделяю - некоторые моменты понять могу

Я вижу это так - проект и так с высоким порогом вхождения, а если еще учесть, что до форума самостоятельно добирается от силы 10-20% зарегистрировавшихся и из этого числа - меньше половины интересны разборки с питоном и прочими программами, то остаются единицы

это те кто с ГИС раньше не пересекался и чтобы их заинтересовать “разобраться в деталях” - нужно показать “быстро и просто” на примерах, чего можно дробится. Вопросы обязательно потом возникнут - как в любом деле.

И как в любой области - есть уровень знаний, после которого все другие действуют “как дрессированная мартышка”… только это не частная компания - других людей тут нет. Прогнать - можно, а вот привлечь… что-то никак. Несмотря на толпу из мира ГИС - проект тянут неофиты

Вот появился в свое время OrbView-3 - установил QGIS, долго мучился… но потом даже стал другим помогать разобраться или что-то сделать - привязать или гистограмму поправить. Многие кто с QGIS был знаком - тупо отказались отвечать на простейшие вопросы, на прояснение которых ушло море времени. Не уверен, что в следующий раз у меня хватит времени и терпения на подобные разборки с программами. Хорошо, что было руководство по обработке снимков с помощью GDAL - с помощь которого собственно и обрабатывал снимки Курил

хм… показательный пример “нежелания заморачиваться”? пчёлы против мёда? :wink:
преград и так дофига - зачем сознательно еще возводить?

ну а пока нет пошаговой инструкции по правильной обработке Landsat’a, будут использовать scanaerial

18

тема о правильной обработке Landsat’a тут уже была, почитайте в архиве:
и про примитивность scanaerial, и про использование NDVI для воды и про Brovey/IHS transform и даже частично про
unsupervised/supervised classification.
имхо очень полезное чтение, почему не стоит с этим связываться в текущем “краудсорсном” контексте,

19

Xmypblu я поясню свою позицию, как отношусь к проекту целиком. OSM, на мой взгляд, это такой дзен-буддизм: каждый может заниматься самосовершенствованием, но никто никого ни к чему не принуждает и никуда не тянет насильно. Потому я не вижу смысла ни в том, чтобы мериться, кто круче, или в том, чтобы за уши тащить тех, для кого на нынешнем этапе что-то выглядит слишком сложно, к “светлому будущему”. То, что я сейчас поднял вопрос про Landsat - это всего лишь нечто вроде пробного камня: вдруг кому-то на волне этой темы станет интересно и человек увлечется этим. Я сам не профессионал в области ГИС, начинал самостоятельно копаться еще в конце девяностых, когда не было никаких Google Maps и прочего, а единственный доступный источник бесплатных данных был тогда американский военный сайт NIMA Raster Roam с мозаиками снимков Corona. Потом в 2000-м появился http://www.terrainmap.com/ и я его читал “от корки до корки”, потому что было ужасно интересно. Форумов тогда не было по этой теме или я о них не знал. Так что по себе прекрасно знаю, что разобраться - можно, главное, чтобы желание было сильнее страха непонятного. А в этом вопросе никакие пошаговые инструкции не помогают.

Что же касается дневников - нет, дело не в том, что я не хочу заморачиваться (это забавно слышать, потому что я вообще-то пишу статьи на тему электронной картографии и т.п., но для аудитории, которая в большей степени готова к восприятию этой информации, а еще совершенно безвозмездно помогаю людям в решении конкретных прикладных задач в этой области). Просто я считаю, что любые усилия должны быть оправданы отдачей. А дневники OSM - место, куда люди заглядывают с еще меньшей вероятностью, чем на форум, так что не вижу смысла писать в пустоту. Вики, к слову, я правлю именно по следам часто встречающихся ошибок, стараясь причесать и конкретизировать формулировки так, чтобы только идиот их мог не понять. И делаю это потому, что вики хоть кто-то читает. А кому придет в голову смотреть в чужой дневник ни с того, ни с сего?

И нет никаких преград - есть множество информации в сети на практически любую тему, только вбей в поиск, что тебя интересует. И есть относительно профессиональные форумы типа Гислаба, где не возникает ситуации, когда человек предлагает обсудить нечто с точки зрения научного подхода, а тут же находится пара олигофренов, которые отвечают в духе “нахрена это нужно, все и так замечательно, я лучше порисую по трекам”. Все преграды - только в голове у тех, кто хочет все сразу и на блюдечке.

20

Вот тоже еще была тема http://forum.openstreetmap.org/viewtopic.php?pid=304219#p304219 - несколько человек отписались в духе “о, прикольно”, но доподлинно о реальных случаях использования никто не упомянул, кроме chnav (который в OSM из этого ничего не вносил, судя по его словам). Я - использовал, в районе Богородского, Метрогородка, Сокольников дофига что отрисовано. Хотя опять же, на гислабе есть полная информация по этим данным.
Вот тут http://habrahabr.ru/post/240681/ в комментариях видно, как народ, которому интересны эти технологии, самостоятельно нащупал нужный инструментарий для этого и критикует автора за изобретение велика с квадратными колесами. Есть люди, которым это интересно, и им отсутствие пресловутых “пошаговых инструкций” на каждый случай не мешает.