subject: Сообщения не в том порядке
04.11.2024 00:28
hugeping (ping,1)
Это сообщение ii://fiTy34vIAoqowA6GTpxX
пришло после этого ii://d9fGfA6s7AVhMIQb0we9
Хотя хронологически они написаны в обратном порядке.
Я сфетчил их с ноды shaos. Там они тоже в обратном порядке. Хорошо бы разобраться, как такое происходит.
P.S. Edited: 2024-11-03 21:28:42
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 00:36
btimofeev (ping,6) => WoTTLNRqqMShBAEl3SU9
А почему они выводятся в обратном порядке? Я помню, давно, в клиенте для андроида часто такое было, и там специально делали, что бы они выводились в порядке "времени написания".
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 00:39
hugeping (ping,1) => kUfMyHRBm5krKQQHgxOw
btimofeev> А почему они выводятся в обратном порядке? Я помню, давно, в клиенте для андроида часто такое было, и там специально делали, что бы они выводились в порядке "времени написания".
Ну, я так понимаю выводятся в порядке в каком приняла её станция. Иначе возникают приколы, типа через 12 часов пришло сообщение и оно сразу затерялось -- его никто не увидит. Моя станция показывает так, как приняла. Станция shaos видимо тоже.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 00:49
hugeping (ping,1) => Fw0C1n6xPjbx2gGPLoLt
Дело не в том, что порядок другой. А в трм что сообщения информационно зависимы друг от друга. То есть на станцию shaos попал ответ на сообщение, которого не было на shaos. И видимо, не было на станции ahamai. А потом пришел сам ответ. Как это возможно?
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 00:51
hugeping (ping,1) => rZckJNTOr0lALPgXE0dV
hugeping> Как это возможно?
Вероятно, кто то отдает по фетчу не в том порядке..
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 00:51
ahamai (blackcat, 2) => WoTTLNRqqMShBAEl3SU9
revoltech просто опрашивает все ноды своим клиентом, поэтому у него они появляются раньше, чем у shaos. потом он пишет ответ на станцию shaos, когда тот ещё меня не опросил. происходит потому что у shaos поллинг медленный, а у revoltech руки быстрые :)
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:12
iiii (ping,48) => rZckJNTOr0lALPgXE0dV
жди моего ответа, когда хаос его польнет :)
ps. поэтому я и не люблю, когда все всех фетчат. по мне пойнты фетчат только свои станции, а у фетчинга узлов есть топология
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:05
ahamai (blackcat, 2) => Fw0C1n6xPjbx2gGPLoLt
> Ну, я так понимаю выводятся в порядке в каком приняла её станция. Иначе возникают приколы, типа через 12 часов пришло сообщение и оно сразу затерялось -- его никто не увидит. Моя станция показывает так, как приняла. Станция shaos видимо тоже.
по идее, все так сейчас делают.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:30
hugeping (ping,1) => haPPGSuVNSHR6TEmVxAg
hugeping>> Как это возможно?
hugeping> Вероятно, кто то отдает по фетчу не в том порядке..
Поясню ещё раз по другому.
Есть сообщение от ahamai ii://fiTy34vIAoqowA6GTpxX (написано на станции blcat) 20:43:39
Есть сообщение-ответ ii://d9fGfA6s7AVhMIQb0we9 от revoltech (написано на станции spnet) 20:51:24
Очевидно, что чтобы ответить на сообщение, сообщение ahamai сначала должно было быть получено станцией spnet. (Иначе, reply будет указывать на несуществующее сообщение.)
После этого, revoltech фетчит его и пишет ответ. Отправляет его на станцию spnet. И этот ответ НЕ МОЖЕТ встать РАНЬШЕ сообщения от ahamai. Но в индексе shaos он стоит РАНЬШЕ. Где-то есть проблема.
Надо разбираться.
Повторяю, меня не смущает сам факт нарушения порядка, но конкретно эта ситуация выглядит как невозможная. Кто то может меня разубедить?
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:35
iiii (ping,48) => E1ck7LOtYZchfa6uqXzR
я уже полдня назад ответ написал, только шаос медленный :)
http://ii.blcat.ru/rCu2q7hJ6T7vqKWjikjW
когда rt пишет свой ответ на shaos, моего сообщения там нет, физически
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:36
hugeping (ping,1) => E1ck7LOtYZchfa6uqXzR
У меня появилась ГИПОТЕЗА.
1) revoltech фетчит себе куда-то локально эхи из разных мест
2) revoltech сфетчил сообщение ahamai с ноды blcat
3) revoltech формирует в своём клиенте ответ на сообщение и отправляет его spnet. reply указывает на сообщение с blcat
4) spnet НЕ ПРОВЕРЯЕТ reply вообще и берет это сообщение (считаю, должен был отбросить)
5) ЗАТЕМ spnet забирает сообщение на которое был ответ с blcat
Это всё объясняет. revoltech? shaos? я прав?
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:38
hugeping (ping,1) => wtkizWmnq7sC8ArumzM0
iiii> я уже полдня назад ответ написал, только шаос медленный :)
iiii> http://ii.blcat.ru/rCu2q7hJ6T7vqKWjikjW
iiii> когда rt пишет свой ответ на shaos, моего сообщения там нет, физически
Ага, я эту гипотезу и выдвинул тоже (см ii://5R0bd1lXAfHAJH9bFWvs )
Но spnet не должен был принимать сообщение с битым reply! В этом проблема. Это надо фиксить.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:38
iiii (ping,48) => 5R0bd1lXAfHAJH9bFWvs
> 4) spnet НЕ ПРОВЕРЯЕТ reply вообще и берет это сообщение (считаю, должен был отбросить)
почему он должен его отбросить-то? это абсолютно нормальная ситуация для распределённой сети, штатная, в фидо тоже такое было сплошь и рядом
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:39
iiii (ping,48) => bFA2NCBtYpWtkgP3prLb
почему оно битое-то? это абсолютно штатная ситуация и так было всегда
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:42
hugeping (ping,1) => NifuvhpvKUbHw5Blc15Z
iiii> почему оно битое-то? это абсолютно штатная ситуация и так было всегда
Поинт шлет ноде сообщение с reply на несуществующее сообщение и это ок? Я не согласен. Я рублю и буду дальше это делать. Ну, главное что причина понятна.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:44
iiii (ping,48) => 3uQUrdiqt734HC9AK19o
> Поинт шлет ноде сообщение с reply на несуществующее сообщение и это ок?
Естественно. Что значит несуществующее, у тебя на ноде его нет не значит, что оно не существующее. В этапе фетчинга может сбойнуть фетчер или сервер, и у тебя сразу 40 сообщений могут вылететь из базы, и прийти только следующим фетчингом.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:47
hugeping (ping,1) => NnYJRL7Rp0SfoHiwUZku
>> Поинт шлет ноде сообщение с reply на несуществующее сообщение и это ок?
iiii> Естественно. Что значит несуществующее, у тебя на ноде его нет не значит, что оно не существующее.
Если у меня его нет, то у поинта его тоже нет и ответить он на него не может. Если поинт одновременно питается у нескольких нод - это ненормальная ситуация. Ну я так это воспринимаю. Пусть пушит свое сообщение на ту ноду с которой взял оригинальное.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 01:51
iiii (ping,48) => LD94LRKhcMiRSozYI3vS
> Если поинт одновременно питается у нескольких нод - это ненормальная ситуация.
тут я согласен :) но в рамках распределённой сети ситуация вообще штатная
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 02:09
iiii (ping,48) => OnoYxfx5uUZPnVkit55m
по мне так тут shaos-у надо почаще фетчить других :)
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 02:12
hugeping (ping,1) => OnoYxfx5uUZPnVkit55m
iiii> тут я согласен :) но в рамках распределённой сети ситуация вообще штатная
Я устал объяснять, почему эта ситуация не штатная. Конкретно эта, а не вообще некоторые абстрактные перемешивания. Выше все детально описано. Кому надо, разберутся.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 02:13
hugeping (ping,1) => SMLs5FKRcjZj4kepu9zA
iiii> по мне так тут shaos-у надо почаще фетчить других :)
Это не спасло бы от конкретно этой ситуации.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 02:15
hugeping (ping,1) => Mqzp0ZfRHRlC3qlfxdKI
iiii>> по мне так тут shaos-у надо почаще фетчить других :)
hugeping> Это не спасло бы от конкретно этой ситуации.
Ладно, я реально устал. Пока перестаю читать idec.talks, а то напрягаюсь слишком.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 02:23
iiii (ping,48) => iF8TP1F5aW1ijObKZlL4
> Я устал объяснять, почему эта ситуация не штатная.
я тоже говорю, что даже выпадение целых сегментов, по любым причинам, ситуация тоже абсолютно предполагаемая при проектировании сети. ну, в рамках распределённости. тут нельзя ничего гарантировать.
и ровно то же самое было в фидо. в том числе пропадание целых сегментов с концами :) у нас то можно хоть что-то выфетчить, а в фидо аутбаунд.
и я про то и говорил, что не люблю, когда все всех выфетчивают, а потом ищут кто где на ком лежал. лучше поллинг чаще, но только одной станции, и схема рутинга. так было в 2014, всё работало, никто никуда раньше паровоза не бежал. что не застрахавывает всё равно от различных выпадений.
иначе это уже не распределённая сеть. вообще, базовое сообщение могут вообще удалить, прежде чем оно распространится, а ответы будут и дальше жить своей жизнью. может быть, что угодно.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 02:24
iiii (ping,48) => Mqzp0ZfRHRlC3qlfxdKI
> Это не спасло бы от конкретно этой ситуации.
это спасло бы от медленно ходящих сообщений по сети :) как будто реально голубями из США :)
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 02:43
iiii (ping,48) => LD94LRKhcMiRSozYI3vS
> Если у меня его нет, то у поинта его тоже нет и ответить он на него не может
какая вообще разница, исходное оно или нет? какая вообще разница, перемешанное оно или нет. в самой базе каждое сообщение самодостаточное, и приклеплено к конкретной эхе, repto вообще просто для формального удобства. и вся основа это именно конкретное сообщение, какой бы repto там не стоял, если на него отвечают, то дальше ответы уже идут от этого сообщения
вообще, у кого база неполная, repto вообще может ссылаться на сообщение, которое было написано 5 лет назад, у одного нода оно есть, у другого нет. консистентность эх же не гарантируется.
или у одного удалено, а у другого нет.
куча способов потери исходного сообщения, а обсуждение от ответа может пересылаться дальше.
в аликорновских архивах почему-то для некоторых тем нет исходных сообщений.
есть только два объекта, эха и сообщение. сообщение должно быть только формально валидным, а куда оно ссылается это вообще только личное дело этого сообщения. ровно так же, как в fido - в фидо вообще, когда ты подключаешься к эхе, тебе приходят только новые сообщения, и это почти всё будут ответы - то есть, ты подключаешься к дискуссии, вообще никогда в жизни не увидев исходного сообщения.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 02:48
iiii (ping,48) => V7xkT7R99h1J65sec0eo
я вот даже не вспомню, в фидо вообще хоть какой-то аналог repto был?
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 03:29
ahamai (blackcat, 2) => HdrTMAtqXstWnLMmmzeT
repto я прикрутил уже вообще в последний момент, поэтому он таким кривым видом прописывается, сначала его вообще не было как такового
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 05:41
shaos (spnet, 2) => 5R0bd1lXAfHAJH9bFWvs
Ну я ж вчера ещё объяснил сей феномен - всё так, но при приёме сообщений никто не отбрасывает сообщения по несуществующему repto, т.к. оно может прийти позже (и приходит в некоторых случаях) или вообще может быть уже удалено - так всё норм. А фетчить всех со всех это надёжно. Вот сделаю себе адаптивный фетч и буду опрашивать всех чаще, чем раз в полчаса (кстати если бы с ноды blcat фетчил не только я, а и другие ноды, то сообщение на которой отвечал revoltech могло бы всплыть в сети и пораньше).
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 05:55
shaos (spnet, 2) => TZ1IAPUMCnThIQxVxUQf
> жди моего ответа, когда хаос его польнет :)
шаос :)
это мой неизменный интернетовский ник с 1998 года...
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 06:32
ahamai (blackcat, 2) => Y6IYlbwveLxi48NRWfmE
Всё равно все фетчат все ведёт к перемешке, хотя, конечно, если пойнт отвечает на той же станции, что и забирает, то кроме случаев сбоев и удалений там по определению есть сообщение, на которую отвечает.
Для подобных вещей в elp и bosfor был тэг topicid
http://blcat.ru:15555/m/53NZLKKTR2OS6NVZZP5W
.. который содержал исходный msgid и наследовался при каждом ответе. То есть, даже при выпадении сегмента, включая исходное сообщение, цепочку можно было восстановить. Я ОЧЕНЬ жалею, что не догадался вставить topicid в изначальный ii. Вообще, я очень долго думал и решал, и решил окончательно - в 0.7 я буду вставлять topicid в сообщения. Хоть это и будет касаться только сообщений, созданных на моей станции, ну хоть в чём-то археологи будущего будут мне благодарны. :)
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 06:34
ahamai (blackcat, 2) => jjgg8vBjKUPLmZHYlefQ
да я заметил, когда отправил. но что написано в ii, не вырубишь топором :) я не на своей станции это писал :)
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 06:35
ahamai (blackcat, 2) => cRwwMMemqoDKO6Aho7rW
фишка в том что возможность неполных эх и обязательности стартового сообщения невозможны в одной сети, это противоположные понятия.
--------------------------------------------------------------------------------
subject: Re: Сообщения не в том порядке
04.11.2024 09:05
revoltech (spnet, 4) => 5R0bd1lXAfHAJH9bFWvs
hugeping> У меня появилась ГИПОТЕЗА.
hugeping>
hugeping> 1) revoltech фетчит себе куда-то локально эхи из разных мест
hugeping> 2) revoltech сфетчил сообщение ahamai с ноды blcat
hugeping> 3) revoltech формирует в своём клиенте ответ на сообщение и отправляет его spnet. reply указывает на сообщение с blcat
hugeping> 4) spnet НЕ ПРОВЕРЯЕТ reply вообще и берет это сообщение (считаю, должен был отбросить)
hugeping> 5) ЗАТЕМ spnet забирает сообщение на которое был ответ с blcat
hugeping>
hugeping> Это всё объясняет. revoltech? shaos? я прав?
Да, всё так. Но это не должно быть проблемой вообще, как по мне. Там же AL объяснял уже: как прилетают в базу, так и прилетают, а упорядочивать — это уже задача клиента. Так что я в своей ноде такую проверку тоже делать не буду.
--------------------------------------------------------------------------------