Encontro OSM Brasil - agosto 2024

Raquel_Dezidério_Souto · 2024-07-30T03:26:53.265Z

Prezados(as),

Segue uma enquete para identificar melhor data para a reunião de agosto da comunidade OSM Brasil, solicitamos, por gentileza, que marquem TODAS as datas possíveis, para encontrarmos a melhor data para a maioria:

doodle.com

Doodle

Doodle is the simplest way to schedule meetings with clients, colleagues, or friends. Find the best time for one-to-ones and team meetings with our user-friendly calendar tool. Get started today!

São oferecidos três horários, 10h, 11h e 12h (UTC-03), em todos os dias da semana que vem (05 a 09/08).

A reunião será de 1h e a pauta inclui o processo de importação dos registros do CNEFE 2022 e o andamento da campanha de mapeamento humanitário do Rio Grande do Sul, além de algum assunto que considerem importante.

Para aqueles impossibilitados de participar, tentaremos gravar a sessão e organizar um encontro “extra” apenas para importação, no horário da noite (como estava sendo realizado).

Atenciosamente,

Raquel_Dezidério_Souto · 2024-08-02T01:58:30.874Z

Olá,

Ficou definida a data de 07/08/24, 11h (UTC-3), para a reunião de agosto da comunidade OSM Brasil.

Você encontra os detalhes aqui: [on-line] Encontro OSM Brasil - agosto/24 | OpenStreetMap Calendar

Link da sala virtual:
OSM Brasil - Reunião Mensal

Raquel_Dezidério_Souto · 2024-08-05T23:19:50.178Z

Página da Wiki OSM com o rascunho do processo do projeto piloto da importação dos dado do CNEFE 2022.

Pedimos o favor de indicar seu município e nome na respectiva tabela do teste dos GeoJSONs iniciais, incluindo também os primeiros resultados que encontrou no seu teste.

Pedimos que aqueles que pegaram arquivos realizem o teste em ao menos um município, para que tenhamos elementos para discussão na reunião.

https://wiki.openstreetmap.org/wiki/Importação_dos_Dados_do_Censo_2022_-_IBGE

Lembrando da reunião geral, on-line, de 7/8/2024, 11h (UTC-3).

matheusgomesms · 2024-08-08T09:27:32.090Z

REUNIÃO OSM BRASIL - 07/08/2024

PARTICIPANTES

Anderson (@santamariense)
Fidelis Assis (@Fidelis_Assis)
Gustavo
Gustavo Soares (@Gustavo22Soares)
Julio Vilela (@sjtopografia)
Kauê (@kauevestena)
Laura Possani
Letícia Borges
Matheus Gomes (@matheusgomesms)
Neto Siqueira
Pedro Esmerilho
Raquel Dezidério Souto (@Raquel_Dezidério_Souto)
Rodrigo Smarzaro (@smarzaro)
Tomio (@tomio)

LINKS DA REUNIÃO

https://wiki.openstreetmap.org/wiki/Importação_dos_Dados_do_Censo_2022_-_IBGE

https://www.ibge.gov.br/estatisticas/sociais/populacao/38734-cadastro-nacional-de-enderecos-para-fins-estatisticos.html

PAUTA

1 - Campanha de mapeamento humanitário do Rio Grande do Sul

2 - Processo de importação dos endereços CNEFE 2022

RELATORIA

Matheus Gomes (presidiu a reunião)
Raquel Dezidério Souto

PARTE 1 - CAMPANHA DO RS

Laura Possani, do capítulo YouthMappers UERGS, disse que na sexta-feira, 09-08-2024, 19h-20h30 (UTC-3), haverá uma mapatona, em comemoração aos 20 anos do OSM. Fez o convite a todos, e também compartilhou nos grupos OSM Brasil no Telegram e no WhatsApp;

Ela pediu para ser criado um projeto no Tasking Manager, para poder trabalhar com a comunidade da UERGS e outros.

Raquel informou que quem está centralizando a criação destes projetos é o Everton Bortolini (HOT). Kauê e Matheus se ofereceram para criar projetos. Rodrigo se ofereceu para o seu capítulo (UFV) realizar mapatonas em conjunto com o grupo de Laura.

Raquel lembrou que está ainda está sendo realizada a campanha de mapeamento humanitário do Rio Grande do Sul 2024 e que os detalhes podem ser encontrados em: Importação dos Dados do Censo 2022 - IBGE - OpenStreetMap Wiki. Fica o convite a todos(as) os(as) mapeadores(as) colaborarem!
Raquel informa que grupo da Unicamp fez um convite ao Instituto IVIDES.org, para coordenar um evento ainda em setembro de 2024, para apresentação de questões relacionadas ao mapeamento aberto, que está sendo realizado no Rio Grande do Sul, e que ela vai coordenar a organização, junto ao grupo do OSM RS e pessoas envolvidas no esforço de mapeamento.

PARTE 2 - PROCESSO DE IMPORTAÇÃO DOS DADOS DO IBGE

------ Apresentação da importação

Fidelis relatou as atividades de tratamento inicial dos dados brutos do CNEFE 2022;
Considera-se que há um ponto onde o código vai ser bom o suficiente e então, a correção terá que ser realizada manualmente;
Fidelis vai abrir o seu código para todos ajudarem também;
Anderson já abriu seu código e enviou os links para o algoritmo e para o script:

ibgecnefe2022toosm/documentacao_e_caminho_executado.txt at main · santamariense/ibgecnefe2022toosm · GitHub

github.com

GitHub - santamariense/ibgecnefe2022toosm

Contribute to santamariense/ibgecnefe2022toosm development by creating an account on GitHub.

Kauê sugeriu o uso do GitHub, para hospedagem do código, como também tracker de issues (lançamento das questões relacionadas à programação em si). O fórum (Community OSM - comunidade Brasil) pode ser usado para discussões mais amplas, enquanto o GitHub para assuntos mais técnicos.

------ Município piloto

Anderson sugere que seja escolhido um município piloto, para os(as) mapeadores(as) trabalharem somente nessa cidade, fazer suas observações, e ir melhorando o código iterativamente;
Matheus lembra que este município deve ter características variadas, para que, no teste do processo de tratamento dos dados e importação, possam ser testadas as diferentes situações que ocorrem no mundo real;
Raquel lembra que, para não haver conflito de interesses, seria importante escolher um município sem vínculos com trabalhos anteriores (ou atuais) de empresas ou ONGs (e outras entidades sem fins lucrativos);
Não houve resistência à ideia de um município piloto, nem nas falas, nem nas mensagens de chat;
Raquel sugeriu que seja criado um tópico no fórum para que os(as) mapeadores(as) sugiram municípios e que a comunidade possa então votar.

------- Metodologia de importação - algoritmo de tratamento dos dados

Matheus trouxe as considerações gerais do BladeTC para a conversa:

1 - Primeira dificuldade foi corrigir a posição dos endereços para a respectivas edificações;
2 - Tarefa não automatizada, sendo assim tendo que “copiar e colar” de forma manual, gasto com tempo maior, baixa produtividade;
3 - Bairros residenciais mais densos, maior dificuldade em definir qual a residência correta, já que o GPS do recenseador não apresentava precisão relevante, tempo maior sendo gasto para definir qual a numeração correta ali;
4 - Bairros com edificações mais espaçadas, boa definição dos endereços, sendo gasto pouco tempo para ajustes;
5 - Dos endereços rurais, fazendas, chácaras e sítios: em geral muito bons na identificação dos nomes destas propriedades, ajuda na definição dos bairros rurais e nomes das estradas em alguns casos. Problema é que grande maioria das propriedades rurais não possuem numeração definida.

Uso com o MapWithAi (RapiD e plugin JOSM)

1 - Não é possível adicionar a camada do IBGE de forma manual e fazer uso da ferramenta de conflação automatizada;
2 - Verificar a viabilidade de adicionar a camada do IBGE nos servidores deles, trazendo como benefício o uso dessa conflação além da disponibilidade dos dados quando solicitado a qualquer tempo.

Anderson trouxe diversos pontos para discussão da comunidade, havendo divergências de etiquetas, será feita votação no fórum, e cada ponto seria discutido por vez.
Raquel sugere que as questões sejam publicadas em tópicos individuais e numeradas, para facilitar referenciá-las.
Considerações de Anderson:

1 - Offset contendo a distância do alinhamento original das faces para dentro da quadra:
2 - opções: 0 a x metros;
3 - Numeração em ruas com nomes como “Sem Nome”, “Sem Denominação”, “S/N”. Opções:
Importar normalmente (Ficando para serem corrigidas quando se conhecer o nome ou quando a rua receber nome). É relativamente fácil detectá-las.
Não importar, ficando como possibilidade de revisão para os próximos anos ou mesmo para o próximo censo.
4 - addr:street x addr:place
5 - Apresenta-se as opções prontas (tabela preenchida pela comunidade). Havendo discordância, se vota cada discordância em separado
6 - Como cada complemento deve ser minerado para extração de complementos dentro de complementos?
7 - Qual o procedimento a ser adotado para extração da tag addr:milestone (o “KM” existente em alguns endereços atrelados a rodovias)?
8 - Qual intervalo de numeração será aceito para ser addr:housenumber?
9 - Quais palavras do “dicionário” serão usadas para fazer a acentuação, ou mesmo correção de palavras, quer seja em nomes de ruas ou mesmo em outros campos.
10 - É preciso atentar para não contaminar os dados com uso de dicionário que venha a causar qualquer problema de incompatibilidade com Open Database License, usada pelo OSM.
11 - Quais pontos de interesse serão importados? Todos? Se não todos, quais?
12 - Existe a possibilidade de confirmar alguns dados usando dados do Censo de 2010. Como faríamos para diferenciar por exemplo, um número de porta (ou CEP, …) que consta no CNEFE 2022, mas não no de 2010? Usaríamos tag source para isso?
13 - Um endereço pode conter vários blocos, vamos importar cada um deles de forma separada? Qual o procedimento a ser adotado para serarar um do outro?
14 - Nome do prédio:
Como deve ser extraído? De qual campo? Quais os prefixos de nomes que podem ser considerados? (Edifício? Prédio?)
Qual a chave da tag a ser usada: addr:housename=? building= + name=? building:name=?
15 - COD_UNICO contém número identificador de domicílio. O código é permanente? Se sim, vale a penas importar? Com qual tag? IBGE:COD_UNICO?
16 - O que vai na name=*, quando nome do estabelecimento?
17 - Uma opção apresentada foi o valor vai para description. Se tiver menos de 10 ocorrências, vai para name.
18 - Quais valores vão para o addr:flats? Apartamento, Quitinete, Sala…
19 - O que fazer com addr:street que não se interligam com o name=* da rua, mas sim com o ref=*? Exemplo: endereço Rodovia BR-123. No OSM não costumamos repetir o ref=* no nome da rua. Para compatibilizar, vamos passar a repetir? Ou será que neste caso, a compatibilização se dá pelo ref?

Fidelis comentou alguns dos pontos levantados por Anderson e a discussão geral será realizada no fórum.
Matheus mostra no JOSM a grande diferença entre os dados brutos e aqueles já processados, inicialmente, por Fidelis Assis. Mostra que os pontos estão mais alinhados e que já incluem as etiquetas apropriadas (correspondência dos dados da tabela publicada pelo IBGE e nomenclatura do OSM).
Matheus levantou três questões principais sobre esta etapa:

A. Adicionar também a etiqueta addr:city=* em todos os pontos

B. Pontos separados por andar, aparecem como pontos separados também nos dados tratados.

Anderson comentou que isso ainda precisa ser decidido… quais dos 73(?) complementos do IBGE, levaríamos em conta, na transferência dos dados para o modelo do OSM.

C. Problema em associar o número do endereço e a etiqueta building ao mesmo ponto, sem conseguir desenhar a building ou saber ao certo onde está o ponto.

Discutiu-se que não seria incluída a etiqueta building=* em todos os pontos, mas alguns participantes discordaram no chat.
Raquel levanta que podem ser avaliados os casos de exceção, no caso de POIs, p.ex. Fidelis argumenta outra exceção, de ter que incluir também a etiqueta building, no caso dos dados de complementos que exigem (como os levels);
Raquel enviou a pergunta: como tratar as vias com “Rua sem denominação”. Seria mesmo incluído no addr:street?

Sugeriram incluir como nohousenumber=yes, mas Fidelis sugeriu deixar sem a informação, pois a etiqueta nohousenumber não diz respeito à falta da informação, mas sim, aos casos em que a via realmente não tem nome (casos especiais).

Anderson lembra que temos que minimizar os casos, para que os(as) mapeadores(as) tenham que decidir o mínimo possível, no momento do ajuste manual dos dados, que será realizado posteriormente;

Fidelis comenta sobre os casos em que não foi possível arrumar os pontos que estavam sobrepostos (especialmente em esquinas e outras configurações). Que isso ainda precisa ser aperfeiçoado ou deixados para ajuste manual (tendo que resolver como seria realizado).
Fidelis lembra que as pessoas podem verificar os GeoJSONs enviados e informar no grupo de Importação no Telegram, para que possa ser verificado e ajudar a melhorar o código;

Matheus encaminha para o final da reunião, perguntando se restam comentários ou dúvidas. Não havia mais comentários.

Agradecimentos finais e próximos passos:

Continuar a testar os GeoJSONs, enviando o feedback no sub-grupo Importação no Telegram OSM Brasil.
As perguntas de pesquisa serão incluídas no fórum, individualizadas e numeradas, para facilitar o debate e promover as votações.
Será publicada uma enquete no fórum para sugerirem e decidirem sobre o município piloto.

matheusgomesms · 2024-08-08T12:34:06.733Z

Fidelis_Assis · 2024-08-22T21:43:31.002Z

matheusgomesms:

Uso com o MapWithAi (RapiD e plugin JOSM)

2 - Verificar a viabilidade de adicionar a camada do IBGE nos servidores deles, trazendo como benefício o uso dessa conflação além da disponibilidade dos dados quando solicitado a qualquer tempo.

Poderia ficar como os buildings detetados por IA para incluir com um click? Essa é uma ideia muito interessante.

matheusgomesms · 2024-08-23T07:49:02.560Z

Teoricamente sim, mas teria de conversar com eles, e aparentemente os dados ficam hospedados na ESRI, então não tenho muita certeza de que eles aceitariam esses dados modificados (trabalham mais com dados originais). Não custa tentar, obviamente.