planet dump + daily diffs = бред...

Ezhick · 2010-09-02T12:46:52.000Z

Да что же за хрень… На свежую планету 0825 накатываю суточный дифф - 0824-0825, чтобы влить в нее возможно отсутствующие данные конца дня, когда она уже генерилась. И размер файла уменьшается на 3 ГИГА, со 160 до 157… ЧЯДНТ???

zverik1 · 2010-09-02T13:03:24.000Z

может, в планете при применении диффа чистятся все линии без точек и отношения без участников — и их там скопилось дофига?

gps-Max · 2010-09-02T17:03:59.000Z

Как это - линии без точек? Звучит как дырка от бублика.

zverik1 · 2010-09-02T17:04:37.000Z

именно

Ezhick · 2010-09-02T18:48:41.000Z

zverik:

может, в планете при применении диффа чистятся все линии без точек и отношения без участников — и их там скопилось дофига?

На два ГИГА???

AMDmi3 · 2010-09-02T19:12:28.000Z

Сделайте diff и посмотрите, что изменилось.

Ezhick · 2010-09-02T19:15:09.000Z

Дифф 160 гб файла? И как я потом отловлю какие 200 метров изменение от диффа, а какие левые?

AMDmi3 · 2010-09-02T19:37:08.000Z

Ezhick:

Дифф 160 гб файла?

В чем проблема?

Ezhick:

И как я потом отловлю какие 200 метров изменение от диффа, а какие левые?

Если там 3GB минус 200MB изменений не от диффа, это тривиально.

zverik1 · 2010-09-02T19:40:09.000Z

Ezhick, попробуй вручную сделать дифф на 100 байт (ну, или как получится — добавить одну точку, например).

Ezhick · 2010-09-02T19:40:41.000Z

Ну попробую оставить на ночь сравниваться…

UPD: diff отказывается сравнивать, говорит память исчерпана, это при 8 гб оперативки.

Ezhick · 2010-09-02T20:04:58.000Z

Посмотрел глазками начала файлов - сравнивать бесполезно - вообще другое расположение данных, совпадает только первая строка.

AMDmi3 · 2010-09-02T20:30:34.000Z

osmosis сортировать умеет - думается, отсортированные planet и результат применения диффа будут совпадать с точностью до диффа + тех 3GB которые исчезли.

Sergey_Astakhov · 2010-09-02T20:32:27.000Z

Может там просто форматирование разное? Типа там кол-во пробелов, табуляций, \r\n и т.п.

zverik1 · 2010-09-02T20:42:57.000Z

кстати да.
может, были виндовые переводы строк, а стали юниксовые.

AMDmi3 · 2010-09-02T22:33:29.000Z

Вполне может быть, в июньской планете было как раз 2G строк.

Ezhick · 2010-09-03T04:06:24.000Z

zverik:

кстати да.
может, были виндовые переводы строк, а стали юниксовые.

Виндовые? Откуда???

Ezhick · 2010-09-03T04:10:57.000Z

AMDmi3:

Вполне может быть, в июньской планете было как раз 2G строк.

Запустил osmosis --sort потом диффну, посмотрим.

AMDmi3 · 2010-09-03T13:25:23.000Z

Ну или, к примеру вот - в планете в перез закрывающим слешом стоит пробел, в выхлопе осмозиса - нет. Тэгов, правда, всего полмиллиарда.

zgremlin · 2010-09-03T14:59:03.000Z

Ezhick:

Дифф 160 гб файла? И как я потом отловлю какие 200 метров изменение от диффа, а какие левые?

Это уже чрезмерный оптимизм. Если файлы отличаются на 3 гига, то дифф будет не меньше этих 3 гиг. А скорее все 10, при условии идентичности форматирования и сохранения порядка. В данном случае более вероятно около 300 гиг

AMDmi3:

Ну или, к примеру вот - в планете в перез закрывающим слешом стоит пробел, в выхлопе осмозиса - нет. Тэгов, правда, всего полмиллиарда.

Заочно можно очень долго гадать.
Идентичные по сути xml могут отличаться форматированием кардинально.
Вот только несколько моментов:
Незначащие пробелы и переводы кареток:


<tag1><tag2></tag2></tag1>

идентично


   <tag1>
         <tag2>
         </tag2>
   </tag1>

Более того - это же идентично

<tag1><tag2/></tag1>

Можно использовать разные кодировки, можно использовать коды символов (“&32;” вместо простого пробела).
Ну и так далее…

Как вариант, стоит запостить по десятку первых строчек от исходного и получившегося файлов, тогда можно будет оценить хотя бы разницу в форматировании.

P.S. Даже разница в концах строк (2 символа под DOS/Windows и 1 под UNIX/Mac) даст больше, чем замеченные два процента, если средняя длина строки меньше 50 символов.

AMDmi3 · 2010-09-03T15:04:53.000Z

zgremlin, это все и так понятно