[Tarantool-patches] [PATCH] vinyl: rotate mem during index build on demand

[Nikita Pettik]

On 09 Jun 22:34, Nikita Pettik wrote:
> On 07 Jun 17:51, Vladislav Shpilevoy wrote:
> 
> > I checked all the other similar places and propose you to take
> > a look at some of them too:
> > 
> > - vy_build_recover_stmt() calls vy_build_insert_stmt() without
> >   checking mem generation and rotation;
> 
> Во время рекавери ротации памяти не могут происходить..
> vy_point_lookup() может, конечно, илдить, но дампов быть не может.
> Вот коммент в vinyl_engine_begin_initial_recovery() подтверждающий это:
> 
> 		 * We can't schedule any background tasks until
> 		 * local recovery is complete, because they would
> 		 * disrupt yet to be recovered data stored on disk.
> 		 * So we don't start the scheduler fiber or enable
> 		 * memory limit until then.
> 		 *
> 		 * This is OK, because during recovery an instance
> 		 * can't consume more memory than it used before
> 		 * restart and hence memory dumps are not necessary.
> 
> > - vy_squash_process() calls vy_lsm_set() without these actions;
> 
> В теории потенциально тут такая ситуация может произойти (так как сквош
> происходит в отдельном файбере), но там выделяется память всего под один
> тапл (в отличие от построения вторичного индекса, где lsregion_alloc
> зовется для каждого тапла) и поймать такую ситуацию на практике,
> наверное, очень маловероятно.
> 
> > - vy_lsm_commit_upsert() calls vy_lsm_set, ditto.
> 
> Тут тоже в принципе реально: между engine_prepare() и engine_commit()
> есть илд. При этом дамп может стригериться в конце vinyl_engine_prepare()
> (хотя и в vy_tx_prepare() есть ротация). Для этого случая сценарий
> придумать будет проще.
> 
> В любом случае, это я уже отдельными патчами пошлю.
>

По мотивам открыл тикет: https://github.com/tarantool/tarantool/issues/5080