From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: Received: from [87.239.111.99] (localhost [127.0.0.1]) by dev.tarantool.org (Postfix) with ESMTP id 893836EC56; Tue, 13 Jul 2021 00:20:21 +0300 (MSK) DKIM-Filter: OpenDKIM Filter v2.11.0 dev.tarantool.org 893836EC56 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/simple; d=tarantool.org; s=dev; t=1626124821; bh=nnD/Ass/JipFho7ExkU4OdP63bDByh52wueDTEflLDs=; h=To:Cc:References:Date:In-Reply-To:Subject:List-Id: List-Unsubscribe:List-Archive:List-Post:List-Help:List-Subscribe: From:Reply-To:From; b=jr7N0aCl3so2cwe2USw+VNVkEnSA5Mp9nD92isjI24bbQizhL9+Ro/pHQdCWanSy9 HbaPPBKsfcs6C8RxHL4I6DA2zREtTyJ1posSCkFt+NBAYNGwjll+WSr1XW1ToFqZ2o OumSXnCM66R2VNWkOxF7o4srX8q7ihXH5T5wu/AU= Received: from smtpng3.i.mail.ru (smtpng3.i.mail.ru [94.100.177.149]) (using TLSv1.2 with cipher ECDHE-RSA-AES256-GCM-SHA384 (256/256 bits)) (No client certificate requested) by dev.tarantool.org (Postfix) with ESMTPS id B6BE76EC55 for ; Tue, 13 Jul 2021 00:20:18 +0300 (MSK) DKIM-Filter: OpenDKIM Filter v2.11.0 dev.tarantool.org B6BE76EC55 Received: by smtpng3.m.smailru.net with esmtpa (envelope-from ) id 1m33Le-0001Br-3I; Tue, 13 Jul 2021 00:20:18 +0300 To: Cyrill Gorcunov Cc: tml References: <20210710222803.253251-1-gorcunov@gmail.com> <4965b115-dd42-0129-0086-a0ff711fa648@tarantool.org> Message-ID: <51e97609-c593-0693-1133-ae09dfbc78cc@tarantool.org> Date: Mon, 12 Jul 2021 23:20:17 +0200 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:78.0) Gecko/20100101 Thunderbird/78.11.0 MIME-Version: 1.0 In-Reply-To: Content-Type: text/plain; charset=utf-8 Content-Language: en-US Content-Transfer-Encoding: 8bit X-7564579A: 646B95376F6C166E X-77F55803: 4F1203BC0FB41BD97BB0EF39AD2B33D5CFD6F66580F08A9E8DA110284E1A7113182A05F5380850400DC24BDABDFDCFCC23A14A1099A03F41ECC3450F04266A3C55066224656B3C41 X-7FA49CB5: FF5795518A3D127A4AD6D5ED66289B5278DA827A17800CE74BE895B46187343CEA1F7E6F0F101C67BD4B6F7A4D31EC0BCC500DACC3FED6E28638F802B75D45FF8AA50765F79006375769C641B9D7B8878638F802B75D45FF36EB9D2243A4F8B5A6FCA7DBDB1FC311F39EFFDF887939037866D6147AF826D8CFD10DB826A2024B5CB73F3BBF914E53117882F4460429724CE54428C33FAD305F5C1EE8F4F765FCE96A3A8AAADC8934A471835C12D1D9774AD6D5ED66289B52BA9C0B312567BB23117882F44604297287769387670735209647ADFADE5905B16FD1C55BDD38FC3FD2E47CDBA5A96583BA9C0B312567BB231DD303D21008E29813377AFFFEAFD269A417C69337E82CC2E827F84554CEF50127C277FBC8AE2E8BA83251EDC214901ED5E8D9A59859A8B6A45692FFBBD75A6A089D37D7C0E48F6C5571747095F342E88FB05168BE4CE3AF X-C1DE0DAB: 0D63561A33F958A503590C91144D07A2F04A8727191964E9F2413FA9035DD760D59269BC5F550898D99A6476B3ADF6B47008B74DF8BB9EF7333BD3B22AA88B938A852937E12ACA759DD14948C6BCD3BA410CA545F18667F91A7EA1CDA0B5A7A0 X-C8649E89: 4E36BF7865823D7055A7F0CF078B5EC49A30900B95165D34B8CF715B894FC711C07EACC705DF28DE374EDA11B73F25B99C6DC12FA3D7FC6CB3A31A19294C73951D7E09C32AA3244CE3C7FA1D2877325AD0462164AF3238D881560E2432555DBB729B2BEF169E0186 X-D57D3AED: 3ZO7eAau8CL7WIMRKs4sN3D3tLDjz0dLbV79QFUyzQ2Ujvy7cMT6pYYqY16iZVKkSc3dCLJ7zSJH7+u4VD18S7Vl4ZUrpaVfd2+vE6kuoey4m4VkSEu530nj6fImhcD4MUrOEAnl0W826KZ9Q+tr5ycPtXkTV4k65bRjmOUUP8cvGozZ33TWg5HZplvhhXbhDGzqmQDTd6OAevLeAnq3Ra9uf7zvY2zzsIhlcp/Y7m53TZgf2aB4JOg4gkr2biojAZDAgpmGsvYY0JQJfxaskQ== X-Mailru-Sender: 689FA8AB762F7393C37E3C1AEC41BA5D745066D1AE4639791E221AD5449CEB393841015FED1DE5223CC9A89AB576DD93FB559BB5D741EB963CF37A108A312F5C27E8A8C3839CE0E267EA787935ED9F1B X-Mras: Ok Subject: Re: [Tarantool-patches] [PATCH] limbo: introduce request processing hooks X-BeenThere: tarantool-patches@dev.tarantool.org X-Mailman-Version: 2.1.34 Precedence: list List-Id: Tarantool development patches List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , From: Vladislav Shpilevoy via Tarantool-patches Reply-To: Vladislav Shpilevoy Errors-To: tarantool-patches-bounces@dev.tarantool.org Sender: "Tarantool-patches" On 12.07.2021 10:09, Cyrill Gorcunov via Tarantool-patches wrote: > On Mon, Jul 12, 2021 at 10:03:32AM +0200, Vladislav Shpilevoy wrote: >>> >>> Now imagine the following: we validated the incoming packet and >>> remember its term in promote_term_map, then we start writting >>> this packet into our WAL and write procedure failed. >> >> That is the core problem of your entire approach - why do you imagine >> we update promote_term_map before writing to WAL? We do not do that. > > We don't do that now, and this is all this patch about - we must not > write the PROMOTE from split-brained node into our wal file at all, > for exactly this reason I splitted processing into phases: "filter" and > "application". Я вижу, я не могу на английском объяснить. Да, мы не делаем этого сейчас. Зачем ты начинаешь это делать в своем патче? Ничего не должно меняться до записи в WAL. Ни vclock с термами, ни что-либо еще. Лимб должен быть const пока запись в WAL не кончена. Я вижу, что ты split processing, но ты на самом деле сделал не filter и application. Ты сделал apply part 1 и apply part 2. У тебя обе стадии меняют лимб. Зачем? Filter не должен менять вообще ничего. Только проверять и отсеивать с ошибкой, если что не так. >> And you should not do that. Before WAL write there should no be any >> changes. **Zero changes before WAL write**. Before you write to WAL, >> you can only validate requests. Using `const struct txn_limbo *`. With >> zero changes. > > If we write screwed PROMOTEs request into our WAL then this patch is not > needed at all. Я не говорил, что надо писать плохие PROMOTE. Я говорю, что ты можешь их отсеивать с ошибкой не делая никаких изменений состояния лимба до записи в WAL. Я так понимаю, ты пытаешься как-то защититься от того, что одновременно пришло несколько PROMOTE, и пока один пишется, надо остальные сразу отлупить? Так делает для обычных данных аплаер - он двигает vclock кластера до записи в WAL, и копирует его в replicaset.vclock если запись удалась. При этом если во время записи придут еще такие же транзакции от других инстансов, то они сразу отфильтруются. Но в лимбе нет такой проблемы, что все надо делать параллельно. При любых "паралеллельных" промоутах, конфирмах и прочих изменениях состояния лимба лучше просто брать на него лок и все. Эти вещи параллельно от разных инстансов приходить не должны во время нормальной работы, так что это по перфу самого частого случая не ударит нисколько, а код упростит значительно.