IBGE / CNEFE 2022: Variáveis de importação

santamariense · 2024-07-02T18:08:13.429Z

Criei este tópico para decidirmos e votarmos a respeito das variáveis que precisam ser decididas pela comunidade no nosso planejamento e execução de uma possível importação desses dados.

Há pontos a serem decididos desde a metodologia de mineração dos dados, passando pela forma como cada dado é obtido, quais tags usar, como realinhar a localização dos pontos de endereço, chegando até a consolidação dos dados e importação de fato. Além de outras variáveis que forem surgindo.

Sugiro que a decisão da votação se dê por maioria simples (50% + 1), e que os usuários possam mudar seus votos ao longo da discussão a qualquer momento, se julgarem necessário.

Leia e entenda todas as opções apresentadas em cada uma das variáveis a serem decididas. Vote consciente.

fititnt · 2024-07-02T20:45:36.841Z

Pergunta muito importante: na etapa de adicionar os dados na OpenStreetMap, os dados vão ter verificação manual por humano um a um?

Isso é relevante porque se a abordagem em um segundo momento é jogar os pontos nas cidades com número muito significativo de fixme=*, isso seria bem problemático.

(E sim, eu cheguei a comparar dados do CNEFE 2022 em campo. A precisão espacial é variável.).

santamariense · 2024-07-02T21:01:54.515Z

Estamos na fase de análise e preparação dos dados, como forma de extrair os dados e formatar. Para fins de discussão a respeito dos dados já prontos, a ideia é abrir tópico específico.

Raquel_Dezidério_Souto · 2024-07-04T01:18:01.863Z

Concordo. Tentar documentar na Wiki OSM Brasil o que ficar decidido, pra facilitar…

EvertonBortolini · 2024-07-15T21:19:16.138Z

Insumos sobre a discussão deste tópico também podem ser encontrado no tópico da reunião de Junho. Também estão acontecendo no tópico “Importações” do grupo de telegram da comunidade brasileira.

@santamariense Não sei se tem mais algum link ou recurso importante sobre o tópico? Consegue botar um resumo de como anda a discussão no momento?

Raquel_Dezidério_Souto · 2024-07-15T22:58:42.372Z

Tem uma wiki page , mas a discussão ainda está aqui e no Telegram.

matheusgomesms · 2024-08-13T10:23:07.519Z

Vamos começar a discutir alguns pontos? Vou colocar algumas questões levantadas, somente sobre os dados ainda (a parte da metodologia de importação em si fazemos posteriormente) mas deixo a votação fechada ainda. Quando tivermos as questões prontas, deixamos por uns dias para discussão e então abrimos a votação, pode ser?

Vamos lá:

RASCUNHO: FAVOR NÃO VOTAR

Qual offset dos dados para dentro da quadra (em metros)?

4
5
6
7
8
9
10
11
12

0 voters

Importar endereços sem nome de rua (Rua SD etc)?

Sim
Não

0 voters

Todos os POIs (pontos de interesse) devem ser importados?

Sim
Não

0 voters

Deve-se agrupar vários pontos com endereços iguais em um único nó?

Sim
Não

0 voters

Deve-se adicionar as etiquetas building=* (e derivados, como building=level) em todos os nós?

Sim
Não

0 voters

Essas são as questões que vi que podem ser votadas. @santamariense há vários outros tópicos que devem ser discutidos, mas não consigo encaixar numa enquete. Sugestões?

fititnt · 2024-08-14T01:27:46.466Z

Qual página da Wiki para esse import?

Procurando por IBGE, aparece Pt:IBGE Import - OpenStreetMap Wiki, https://wiki.openstreetmap.org/wiki/Pt:IBGE_Import_(2008) e CNEFE data, IBGE, Brasil import - OpenStreetMap Wiki . Nelas, embora houvesse dados do Brasil inteiro, a importação não saiu de testes pontuais , e mesmo assim (como esse changeset https://www.openstreetmap.org/changeset/19769153 “Replace bad IBGE data by remapping from Bing”) pessoa refez. Outra coisa é que, das pessoas que se envolveram com import listados na Wiki, é raro ver alguém ativo nos anos seguintes.

Eu não sei quem vai querer fazer import, mas mesmo quando (diferente do CNEFE 2022 hoje) dados estão com posicionamento muito bom (como import de edificações que algumas prefeituras disponibilizaram feitas já desenhadas baseadas ortofoto de alta precisão) isso costuma ser feito apenas por quem já tem experiência, e ainda assim é bem, bem trabalhoso.

Por isso tem que documentar muito bem. Por exemplo, se uma limitação (que nem a automação para converter os dados originais em algo mais próximo para importar na OSM conseguem resolver) ainda requerem revisão manual, que isso esteja explícito na Wiki que documenta importação.

Sobre o rascunho de perguntas, tem algo estranho aqui, por exemplo, como quer já decidir se algo deve ou não ser importado (como as POIs) se nem tem testes menores de tentativas de importação documentadas? E para quem vai ler no futuro, o que significado “Qual offset dos dados para dentro da quadra”? Sim, entendo que é rascunho, mas é preciso contextualizar.

matheusgomesms · 2024-08-14T11:11:16.497Z

fititnt:

Qual página da Wiki para esse import?

https://wiki.openstreetmap.org/wiki/Importação_dos_Dados_do_Censo_2022_-_IBGE

É um rascunho, aliás é tudo rascunho porque estamos conversando bastante antes de tomar qualquer decisão. Não tem nada definido, por isso as votações.

fititnt:

Sobre o rascunho de perguntas, tem algo estranho aqui, por exemplo, como quer já decidir se algo deve ou não ser importado (como as POIs) se nem tem testes menores de tentativas de importação documentadas?

Tudo é iterativo. Testa-se nos dados até ficar razoavelmente bom, faz-se experimentos nos dados reais, ajusta o código, testa nos dados reais etc, até chegarmos num processo que seja bom tanto para os mapeadores quanto para o OSM.

Para ficar claro, nesta atual importação há vários mapeadores com larga experiência com importações. Todo o rito de importação será seguido (Pt:Import/Guidelines - OpenStreetMap Wiki), como obriga o OSM, correndo o risco da importação ser revertida caso as diretrizes não sejam seguidas.