EVALUATION OF VIRUS-NEUTRALIZING ANTIBODY LEVEL AFTER NOVEL CORONAVIRUS INFECTION COVID-19: DEVELOPMENT OF AN INSTANT ASSAY ASSESSING PROTECTIVE ANTIBODIES USING A PSEUDOVIRUS-BASED REACTION

Abstract

The continued emergence of SARS-CoV-2 variants with immune evasion properties of concern, such as Delta (B.1.617.2) and Omicron (B.1.1.529), calls into question the extent of the antibody-mediated immune response from the virus. The presence of virus-neutralizing antibodies against SARS-CoV-2 in the blood serum of recovered and immunized volunteers is the most accurate indicator of the level of protective activity. Methods for reliable, sensitive and rapid detection of anti-SARS-CoV-2 nAbs are needed for preclinical and clinical vaccine research. In addition, quantification of virus-neutralizing antibodies in recovered COVID-19 subjects may be useful in identifying potential donors for passive immunization and therapeutic use of class G immunoglobulins.

The article discusses a technique that allows to determine the presence of virus-specific neutralizing antibodies to the SARS-CoV-2 antigen in the blood serum of volunteers who have had a new coronavirus infection COVID-19 and / or immunized with specific prophylaxis drugs, healthy volunteers in a neutralization reaction on a HEK 293-T cell culture -hAce2 using pseudotyped viral constructs based on human immunodeficiency virus.

Full Text

Оценка уровня вируснейтрализующих антител, индуцированных новой коронавирусной инфекцией COVID-19: разработка анализа быстрой оценки протективных антител с использованием реакции на основе псевдовируса.

Evaluation of the level of virus-neutralizing antibodies induced by the novel coronavirus infection COVID-19: development of a rapid assay for the evaluation of protective antibodies using a pseudovirus-based reaction.

Фунтиков А.А.

Литвинова Н. А.

Зуев Е.В.

Кулемзин С.В.

Шукуров Р.Р.

Введение (Abstract)

Постоянное появление вызывающих озабоченность вариантов SARS-CoV-2 со свойствами ускользания от иммунного ответа, таких как Delta (B.1.617.2) и Omicron (B.1.1.529), ставит под сомнение степень опосредованного антителами иммунного ответа от вируса. Наличие вируснейтрализующих антител против SARS-CoV-2 в сыворотке крови переболевших и иммунизированных добровольцев является наиболее точным показателем уровня протективной активности. Для доклинических и клинических исследований вакцин необходимы методы надежного, чувствительного и быстрого обнаружения nAb против SARS-CoV-2. Кроме того, количественная оценка вируснейтрализующих антител у переболевших COVID-19 субъектов может быть полезна для выявления потенциальных доноров для пассивной иммунизации и терапевтического применения иммуноглобулинов класса G.

В статье рассматривается методика, позволяющая определить наличие вирусспецифических к антигену SARS-CoV-2 вируснейтрализующих антител в сыворотке крови добровольцев, переболевших новой коронавирусной инфекцией COVID-19 и/или иммунизированных препаратами специфической профилактики, здоровых добровольцев в реакции нейтрализации на культуре клеток НЕК 293-T-hAce2 с применением псевдотипированных вирусных конструкций на основе вируса иммунодефицита человека.

Ключевые слова: реакция нейтрализации, псевдовирусные частицы, вируснейтрализующие антитела, COVID-19, SARS-CoV-2.

 

The continued emergence of SARS-CoV-2 variants with immune evasion properties of concern, such as Delta (B.1.617.2) and Omicron (B.1.1.529), calls into question the extent of the antibody-mediated immune response from the virus. The presence of virus-neutralizing antibodies against SARS-CoV-2 in the blood serum of recovered and immunized volunteers is the most accurate indicator of the level of protective activity. Methods for reliable, sensitive and rapid detection of anti-SARS-CoV-2 nAbs are needed for preclinical and clinical vaccine research. In addition, quantification of virus-neutralizing antibodies in recovered COVID-19 subjects may be useful in identifying potential donors for passive immunization and therapeutic use of class G immunoglobulins.

The article discusses a technique that allows to determine the presence of virus-specific neutralizing antibodies to the SARS-CoV-2 antigen in the blood serum of volunteers who have had a new coronavirus infection COVID-19 and / or immunized with specific prophylaxis drugs, healthy volunteers in a neutralization reaction on a HEK 293-T cell culture -hAce2 using pseudotyped viral constructs based on human immunodeficiency virus.

Keywords: virus neutralization reaction, pseudotyped viral constructs, neutralizing antibodies, COVID-19, SARS-CoV-2.

 

Литературный обзор (Reference Information)

Коронавирусное заболевание COVID-19 было вызвано ранее неизвестным бетакоронавирусом (SARS-CoV-2), который был обнаружен в образцах бронхиального лаважа, взятого из лёгких в группе пациентов с пневмонией в китайском городе Ухань в декабре 2019 года. SARS-CoV-2 относится к роду Coronaviridae подроду Sarbecovirus и является седьмым по счёту известным коронавирусом, способным заражать человека [10].

SARS-CoV-2 является РНК-содержащим вирусом с оболочкой. На основании исследований, проведенных Xiaolu Tang установлено, что вирус является результатом рекомбинации коронавируса летучих мышей со штаммом SARS-CoV-2. Предполагается, что человеку вирус передался от панголина. Функциональные сайты белка пепломера вируса SARS-CoV-2 практически идентичны таковому у вируса, обнаруженного у панголинов [12].

По мере своей эволюции у вируса происходят генетические мутации и формируются генетические линии, вместе составляющие дерево генетических поколений. Некоторые мутации могут сказываться на скорости распространения вируса, на тяжести вызываемого им заболевания или на эффективности тех или иных методов лечения. По состоянию на сентябрь 2022 года выделяют штаммы: Alpha (B.1.1.7), Beta (B.1.351), Delta (B.1.617.2), Gamma (B.1.1.248), Omicron (B.1.1.529) [6] и вызывающая интерес линия Lambda (C.37) также известная под названиями VUI-202102/03 или UK1188, частично похожа на штамм 501.V2, но отличающаяся наличием как мутации E484K, так и новой мутации F888L (замещение фенилаланина (F) на лейцин (L) в домене S2 белка-шипа).

Достижение коллективного иммунитета против SARS-CoV-2 естественным путем или путем вакцинации является конечной долгосрочной целью, которая позволит отменить применяемые в настоящее время меры социального контроля [6].

Скрининг на наличие nAb так же необходим для оценки коллективного иммунитета против SARS-CoV-2 и для оценки эффективности программ вакцинации, развернутых во многих странах с конца 2020 года.

Вакцины значительно сокращают количество госпитализаций и смертей от COVID-19. Те препараты, которые были разработаны в начале пандемии, продолжают обеспечивать защиту от тяжелых форм заболевания, вызванного новыми вариантами SARS-CoV-2.

Пока не известно, можно ли считать уровни вируснейтрализующих антител единственной мерой защитного иммунитета против COVID-19, но недавнее успешное лечение тяжелобольных пациентов плазмой от переболевших добровольцев и препаратами моноклональных антител, содержащими высокие уровни nAb, предполагает важную роль для этих антител [2, 6, 9, 11, 13].

Наличие вируснейтрализующих антител против SARS-CoV-2 в крови является важным показателем защитного иммунитета, формируемого вакциной. Следовательно, для доклинических и клинических исследований вакцин необходимы методы надежного, чувствительного и быстрого обнаружения nAb против SARS-CoV-2. Кроме того, количественная оценка вируснейтрализующих антител у переболевших COVID-19 добровольцев может быть полезна для выявления потенциальных доноров для пассивной иммунизации и терапевтического применения иммуноглобулинов класса G.

Первым разработанным методом, позволяющим определить nAb, являлась реакция нейтрализации уменьшения бляшек (plaque reduction neutralization test / PRNT) или реакция нейтрализации макрометодом, которая определяет уровень nAb путем нейтрализации вируса in vitro. Постановка реакции осуществлялась непосредственно в 6; 12 или 24-луночных культуральных планшетах. Некоторые модификации реакции нейтрализации макрометодом подразумевают постановку в медицинских флаконах по типу ФО-10-НС. PRNT считается золотым стандартом для оценки вируснейтрализующих антител (иммуноглобулинов класса G) от многих вирусных заболеваний [1, 4, 7].

Однако, метод PRNT имеет несколько ограничений, которые делают его непригодным для крупномасштабных исследований образцов сыворотки, таких как клинические исследования вакцины с участием добровольцев в период II–III фаз и позднее. PRNT технически сложен, имеет очень низкую пропускную способность, сложен для автоматизации и, в случае SARS-CoV-2, требует длительного времени обработки из-за времени, которое требуется вирусу для образования видимых бляшек (около 72–96 час). Кроме того, анализ данных подсчета обычно выполняется с использованием расчетов в электронной таблице Excel для определения титров нейтрализации (визуальный учет, например, формула Спирмена – Кербера [3]) или с помощью бесплатных статистических пакетов, таких как «Statistica» для выполнения пробит-регрессии. Визуальный учет реакции является субъективным и зависит от оценки отдельных операторов эффекта бляшкообразования, что в значительной степени может повлиять на корреляцию результатов исследования.

Чтобы нивелировать технические недостатки метода PRNT, был разработан альтернативный тест, известный как реакция нейтрализации микрометодом (microneutralization assay/MNA). Реакция нейтрализации микрометодом с использованием сывороток крови, содержащих специфические антитела, in vitro является более объективным тестом для их определения [3, 8].

Этот анализ проводится на 96-луночных планшетах и использует иммуноокрашивание для визуализации инфицированных очагов, которые могут быть подсчитаны с помощью компьютерных программ анализа изображений, что существенно увеличивает производительность анализа по сравнению с подсчетом, выполняемым в PRNT.

Дальнейшее развитие MNA заключается в замене вируса II группы патогенности по классификации патогенности, действующей на территории Российской Федерации (СанПиН 3.3686–21 «Санитарно-эпидемиологические требования по профилактике инфекционных болезней») на псевдовирусные частицы. В связи с тем, что псевдовирусные частицы потенциально не являются возбудителем заболеваний человека или животных, они не относятся к определенной группе патогенов. Но, несмотря на отсутствие риска для персонала, населения, домашнего скота или окружающей среды, использование псевдовирусных конструкций необходимо ограничивать применением в лабораториях III–IV групп патогенности.

Псевдовирусы активно применяются в качестве альтернативы инфекционным вирусным изолятам I–II групп патогенности в серологических исследованиях для определения титров нейтрализующих антител, образующихся у вакцинированных или инфицированных добровольцев. Кроме того, используя несколько псевдотипов с различными репортерными генами, возможно одновременное выявление антител к различным типам вирусов в одном биологическом образце.

Псевдотипированные вирусы состоят из нереплицирующихся генетически модифицированных вирионов, которые составляют структурное и ферментативное ядро одного вируса, такого как вирус везикулярного стоматита (VSV) или лентивируса (HIV), но несут поверхностные белки другого вируса, такого как шип SARS-CoV-2, и кодируют поддающийся количественной оценке репортерный ген, такой как люцифераза светлячка (FLUC).

В настоящее время широко используется псевдолентивирусная система, в которой псевдовирусные частицы получаются методом трансфекции клеток-продуцентов векторами мультиплазмидной системы из 4–5 плазмид: одна для векторного генома, вторая для Gag-Pol, третья для Rev, еще одна или две для белка(ов) оболочки, или для коэкспрессии меченного вирусного белка, как GAG-GFP или VPR-GFP, основным преимуществом которой является безопасность, благодаря минимальном риску образования репликационно-компетентного вируса.

Инфекционность таких частиц - псевдовирусов определяется уже поверхностными белками гетерологичного вируса, и ограничивается лишь одним циклом инфекции, что обеспечивает биологическую безопасность этой системы.

Можно считать, что использование псевдовирусов возможно и безопасно в лабораториях, имеющих разрешение на работу с микроорганизмами III–IV групп патогенности, особенно при использовании псевдовирусов на основе лентивирусов, поскольку псевдо-лентивирусная система ограничивается лишь одним поколением псевдовирусов, так как в инфицированных ими клетках отсутствуют вирусные белки, необходимые для образования вирусного потомства.

Исходя из вышесказанного необходимо упомянуть, что именно реакция нейтрализации патогенного агента вируснейтрализующими антителами, содержащимися в образцах сыворотки крови с применением чувствительных клеточных культур, является «золотым» стандартом определения протективной активности. В виду использования нативного или псевдотипированного возбудителя, метод РМН позволяет максимально корректно моделировать биологический процесс, протекающий непосредственно в организме субъектов, не подвергая их какой-либо опасности, что позволяет в полной мере оценивать их иммунный статус.

 

Материалы и методы (Materials and methods).

Все процедуры проводились в асептических условиях в боксе биологической безопасности с использованием стерильных пробирок и наконечников с фильтрами для автоматических пипеток.

Все манипуляции с сывороткой крови, псевдовирусными частицами и клетками (за исключением центрифугирования) проводились в асептических условиях в боксе биологической безопасности с использованием стерильных пробирок и наконечников для автоматических пипеток с фильтрами

Получение псевдовирусных конструкций

Рекомбинантные псевдовирусы получали котрансфекцией плазмид PLV, psPAX2 и Sd19 в клетки-продуценты линии HEK-293T. Котрансфекцию плазмид проводили PLV, psPAX2 и Sd19 в клетки-продуценты линии HEK-293T кальций-фосфатным методом при конфлюэнтности монослоя 50–70%. Для трансфекции клеток на одной чашке использовали 70 мкг смеси плазмид в соотношении PLV : psPAX2 : Sd19 = 3 : 2 : 2.

Через 7–8 час после трансфекции с культуральных чашек удаляли среду с ДНК-преципитатом с помощью аспирации, однократно промывали чашки 10 мл стерильного PBS. Через 68-72 час после трансфекции культуральную среду, содержащую псевдовирусные частицы, собирали в 50-мл конические пробирки, центрифугировали 10 мин при 4000 об/мин для удаления клеток и крупного клеточного дебриса и фильтровали с помощью системы для вакуумной фильтрации 0,45 µм. Затем полученную среду объемом около 900 мл концентрировали на модуле системы Vivaflow 50 (Sartorius) до объема 90 мл. Для осаждения вируса 90 мл сконцентрированной среды наслаивали на 20% раствор сахарозы и центрифугировали на ультрацентрифуге Avanti J-301 (Beckman Coulter) при 24000g в течение 90 мин с использованием ротора JS-24. Осадок псевдовируса ресуспендировали в 8 мл среды Opti-MEM, содержащей 2,5 % инактивированной нагреванием эмбриональной сыворотки телят, аликвотировали и замораживают в жидком азоте. 

После получения вирусного препарата проводили его титрование на клетках HEK 293T-hAce2. Методом проточной цитометрии находили процент трансдуцированных клеток, далее строили график уровня трансдукции от объема внесенного вирусного препарата и по его линейному участку вычисляли титр вируса в трансдукционных единицах.

Подготовка испытуемых образцов сыворотки.

Первая часть биообразцов была получена от добровольцев в 2020 году во время распространения новой коронавирусной инфекции COVID-19 в России, вторая часть биообразцов была получена от добровольцев в рамках протокола клинического исследования VCI-COV-III (разрешение МЗ РФ РКИ №869 от 20.12.2021).

После заполнения криопробирок биоматериалом они незамедлительно были помещены в боксы со штативами и заморожены крышками вверх при температуре –70ºС или ниже. Хранение биообразцов проводили при температуре –70°С или ниже.

Все исследуемые образцы хранились при температуре –70°С, их замораживание было проведено однократно для целей хранения и транспортировки.

Перед началом анализа испытуемые образцы сывороток инактивировали на водяной бане при температуре (56 оС ±2) оС в течение 30 мин с целью разрушения компонентов системы комплемента.

Для постановки реакции нейтрализации на панелях необходимо использовались сыворотки без признаков хилеза, гемолиза, контаминации патогенными агентами бактериальной, грибной этиологии. В исследовании использовались 403 образцов сыворотки крови по определению вируснейтрализующих антител, отобранных у 137 добровольцев.

Принцип постановки метода

В лунки белого 96-луночного планшета Corning-3916 либо ThermoFisher 136101 вносили по 100 мкл суспензии клеток HEK-293T-hAce2 из расчета 15 000 кл/лунку. Для заполнения одного 96-луночного планшета использовали около 10 мл суспензии клеток.

Все тестируемые образцы сыворотки перед анализом термически инактивировали при 56 оС в течение 30 мин. Далее перед внесением в U-образный планшет сыворотки разводили 1:5 (200 мкл. сыворотки + 800 мкл. среды) средой Opti-MEM 2.5% FBS.

В качестве положительного контроля применялась контрольная положительная сыворотка либо коммерческий положительный контроль препарата нейтрализующих антител производства ФГБУН ИМКБ Со РАН. Образец использовался, как положительный контроль в фиксированной концентрации 1 мкг/мл, при которой достигалась полная нейтрализация вирусных частиц.

Во все лунки предварительно вносились 80 мкл среды разведения, после этого добавлялись 80 мкл испытуемой сыворотки, и с помощью многоканальной пипетки, установленной на 80 мкл, оператором выполнялись двукратные разведения сыворотки (перемешивая содержимое лунок минимум 6-8 раз в каждом ряду) следуя вниз по планшету, выбрасывая в контейнер для обеззараживания отходов последние 100 мкл после смешивания в последнем ряду.

Референтная сыворотка или коммерческий положительный контроль всегда титровались до последней лунки и использовались при любой схеме постановки. Далее во все лунки кроме первого ряда вносили раствор вирусных частиц в среде Opti-MEM 2.5% FBS, из расчета 10 000 TU на лунку в 80 мкл среды. После этого содержимое лунок перемешивали многоканальной пипеткой, начиная с ряда с наибольшим разведением сыворотки к ряду с наименьшим разведением. Далее планшет инкубировали 30 мин в инкубаторе при 37 ºС.

После этого содержимое лунок U-образных планшетов переносили по 160 мкл из лунки в белые культуральные планшеты, содержащие суспензию культуры клеток HEK-293T-hAce2. Процедура проводилась крайне аккуратно, чтобы избежать перекрестной контаминации и перепутывания образцов. Предварительно из белых планшетов удаляли ростовую среду, отбирая ее многоканальными пипетками в слив, таким образом, чтобы не откреплялись клетки HEK-293T-hAce2.

Закрытые белые планшеты перемещают в СО2-инкубатор и инкубируют в течение 36–48 час при стандартных условиях (37 °C и 5% CO2).

По окончанию культивирования из лунок планшета отбирали многоканальными пипетками ростовую среду и вносили во все лунки 40 мкл/лунку раствор PBS температуры 20-25°C. Далее во все лунки планшета добавляли 40 мкл/лунку предварительно подготовленный и нагретый до температуры 20-25°C реагент OneGlo Luciferase assay KIT (Promega). Планшеты инкубировали в течение 60–75 минут при комнатной температуре (20–25 °C), после чего осуществляли детекцию люминесценции.

Данные значений RLU контроля вируса и контроля клеток переводили в среднее значение, полученные усредненные данные RLU переводили в процентное отношение. Протокол принимал за положительное значение (100%) данные, полученные в ряду с вирусным материалом, а за отрицательное значение (0%) данные, полученные в ряду с контролем клеток.

Данные значений RLU подсчитываются по следующей формуле:

 

Где:

А – среднее значение RLU образца в определенном разведении, переводимое в %;

B – среднее значение RLU отрицательного контроля, соответствующее разведению определяемого значения A.

С – среднее значение RLU положительного контроля (контроль вируса), соответствующее разведению определяемого значения A.

Данные обрабатывали в программном обеспечении GraphPad Prism 8.0 посредством построения кривой уровня полумаксимального ингибирования (ID50). Кривые уровня полумаксимального ингибирования определяются четырьмя параметрами: Top (верх), Bottom (низ), HillSlope (наклон сигмоидальной кривой) и ID50. Параметры Top и Bottom описывают значения, при которых кривая выходит на плато — приближаясь бесконечно близко, но никогда не достигая этих значений. HillSlope описывает наклон сигмоидальной кривой между этими двумя плато. ID50 относится к концентрации агониста (или антагониста), необходимой для увеличения (или уменьшения) измеренного ответа до половины или 50% от его максимального значения.

В отношении реакции pMNA определяется абсолютное значение ID50. Оно представлено концентрацией, вызывающей ответ на полпути между контролем (отсутствие антагониста, контроль клеток) и положительным контролем (контроль вируса).

 

Результаты (Results).

 На первом этапе работ было необходимо подобрать условия и соотношения всех компонентов реакционной смеси (объем вирусного материала, исследуемой сыворотки).  В результате исследований были определены:

- оптимальный сигнальный репортер, используемый при анализе протективной активности исследуемых сывороток;

- время инкубации планшетов при использовании реагента OneGlo;

- схема разведения исследуемых сывороток и схема постановки метода в планшете.

- титр псевдовирусных частиц (подбор рабочей дозы псевдотипированной вирусной конструкции варьировали от разведения 1*10-4 до 1*10-6;

Предварительный скрининг сывороток крови для сравнительного анализа был проведен в 2020 году в начале пандемии, вызванной распространением коронавируса SARS-CoV-2 с использованием диагностической тест – системы на основе ИФА, а также был известен статус вакцинирован/переболел путем опроса добровольцев. Таким образом были определены положительные и отрицательные образцы сывороток, используемый для разработки методики.

Используя образцы отрицательных и положительных сывороток определили сигнальный репортер люциферазы светлячка FLUC (псевдотипированная вирусная конструкция включает данный репортер) виду значительно более низкой дельты в сигнале флуоресценции (25 000–45 000 fluorescence units) между исследуемыми образцами, чем при детекции люминесценции (20 000 – 2 500 000 luminescence units) Рисунки 1-2. 

На начальных этапах разработки методики для установления характеристик, как вспомогательный, контрольный метод, определяющий правильность постановки реакции- считали сигнал флуоресценции (гена GFP, как репортера).

Рисунок 1. Детекция флуоресценции - данным цветом на графике обозначен контроль псевдотипированной конструкции;  и - данным цветом на графике обозначены положительный контроль №1 и №2; и - обозначены отрицательные контроли.

При наличии сигнала флуоресценции в планшетах (пример представлен на рисунке 1) допускалось применение реагента OneGlo и детекция люминесценции.

Наибольшие различия возможные в различных сериях экспериментов, проведенных с использованием настоящего подхода могут быть связаны с разными партиями псведовирусных частиц. Так как этот компонент характеризуется сложным составом и может незначительно менять свои свойства в зависимости от серии, мы проверили робастность методики с разными сериями вирусных частиц и с репортерами Fluc и Nluc.

Таблица 1. Оценка робастности методики при постановке реакции с использованием разных репортеров Nluc и Fluc в исследовании серопозитивных сывороток

Рисунок 2. График зависимости сигнала RLU от логарифма разведения с использованием репортера Nluc (левый график) и Fluc (правый график).  - образец сыворотки крови №33; - образец сыворотки крови №73; - образец сыворотки крови №71; - образец сыворотки крови №72; - образец сыворотки крови №76; - образец сыворотки крови №75; - образец сыворотки крови №67; - образец сыворотки крови №114; - образец сыворотки крови №121.

Из таблицы 1 и рисунка 2 видно, что использование разных репортеров Nluc и Fluc не приводит к снижению специфичности метода. Образцы, в которых в первом разведении сыворотки полнота нейтрализации достигает 100 - 50% расцениваются, как серопозитивные, CV вируснейтрализующих антител в значении ID50 не превышает 55%, полученные на двух разных репортерах данные сопоставимы.

Параллельно с выбором репортера проходило определение оптимального времени инкубации с реагентом (от 30 до 150 мин).

При инкубации в течение 30 минут сигнал люминесценции был значительно интенсивнее, но данные, преобразованные из относительных единиц люминесценции были менее корректны и не поддавались интерпретации. Время 60-75 минут было оптимальным по интенсивности RLU, последующее время инкубации снижало сигнал Данное подтверждение продемонстрировано на рисунке 3.

Рисунок 3. Инкубация образца с реагентом OneGlo при времени инкубации в 60 минут, на графике отражено - ; 90 минут, на графике отражено - ; 120 минут, на графике отражено - ; 150 минут, на графике отражено - .

Следующей задачей являлось определение схемы разведения исследуемых образцов сывороток, анализируемых в методе. При незначительном разведении исследуемых образцов образовывалось своеобразное плато, которое представляло собой на графиках практически прямую линию.

При шаге разведений до 1:32 исследуемая сыворотка практически во всех разведениях проявляет протективную активность и определение титра ВНА невозможно. Данные разведения показаны на графике синим.

При шаге разведений до 1:2048 протективная активность сыворотки практически сразу теряется и определение уровня ВНА так жен не представляется возможным. Данные разведения показаны на графике зеленым.

Оптимальной схемой разведения являются разведения от 1:16 до 1:256, при их использовании на графике демонстрируется оптимальная сигмоидальная кривая, поддающаяся интерпретации и корректному определению титра ВНА

Полученные результаты были обработаны с помощью построения кривой уровня полумаксимального ингибирования (ID50), Полученные данные на рисунке 4 подтверждают выводы, полученные в ходе постановки реакции при использовании разных разведений.

 

Рисунок 4. Итоговые значения исследуемых образцов сыворотки с детекцией через 60 минут. - данным цветом на графике изображена схема титрования исследуемой положительной сыворотки с шагом до разведения 1:32; - данным цветом на графике изображена схема титрования исследуемой положительной сыворотки с шагом до разведения 1:2048; - данным цветом на графике изображена схема титрования исследуемой положительной сыворотки с шагом до разведения 1:256.

Используемое разведение псевдовирусных частиц применяемое в статусе рабочей дозы так же влияет на взаимодействие с антителами. При внесении большего объема вирусного материала даже значительное количество антител в образце не смогут заблокировать все участки спайкового белка на поверхности вируса, однако, при внесении меньшего объема псевдовируса наблюдается обратный эффект. При подборе оптимальной рабочей дозы псевдовирусной конструкции мы ориентировались на титр активности частиц, определенный в компетентных к вирусу клетках и использовали разведения от 1*10-3 до 1*10-6.

В два ряда планшета последовательно вносились по 24 мкл псевдовируса в каждую лунку восьмиканальным дозатором (рабочее разведение вируса 1*10-3 или 100 000 вирусных частиц на лунку, рабочее разведение вируса 1*10-4 или 10 000 вирусных частиц на лунку, рабочее разведение вируса 1*10-5 или 1000 вирусных частиц на лунку и рабочее разведение вируса 1*10-6 или 100 вирусных частиц на лунку) предварительно разведя псевдовирус средой разведения DMEM F12 D8900 + 2% FBS в 4, 8 и 16 раза соответственно.

Применение рабочей дозы псевдовирусных частиц 1*10-4 (рисунок 5) наиболее оптимально при постановке реакции, так как именно с применением этого разведения получаются наиболее четкие данные с минимальным количеством выбитых точек, при увеличении разведения рабочей дозы наблюдается значительное снижение точности метода и полученные данные не поддаются дальнейшей интерпретации.

Рисунок 5. Результаты интерпретации титра nAb в сыворотке крови с применением рабочей дозы псевдовирусных частиц. - рабочее разведение вируса 1*10-3 или 100 000 вирусных частиц на лунку; - рабочее разведение вируса 1*10-4 или 10 000 вирусных частиц на лунку;  - рабочее разведение вируса 1*10-5 или 1000 вирусных частиц на лунку; - рабочее разведение вируса 1*10-6 или 100 вирусных частиц на лунку.

Значения исследуемых образцов сыворотки (стандартная схема постановки), используемые в дальнейшем для сравнения метода ИФАБест с детекцией через 60 минут представлены на рисунке 6.

Рисунок 6. Результаты интерпретации титра вируснейтрализующих антител в сыворотке с применением рабочей дозы псевдовирусных частиц 1*10-4. На графике изображены следующие образцы сыворотки крови: - 001-А; - 002-Б; - 003-В; - 004-Г; - 005-Д; - 006-Е; - 007-Ж; - КОЛ.

Сравнение результатов, полученных при постановке образцов в реакции нейтрализации и результатов, полученных методом иммуноферментного анализа (SARS-CoV-2 IgG (количественный) «ИФА Бест», кат №D5505, Lot №3, годен до 25.06.2022) представлены в таблице 2.

Таблица 2 – Результаты, полученные при постановке образцов в реакции нейтрализации и методом иммуноферментного анализа

  • < 10,0 BAU /мл — отрицательный (антител нет)
  • ≥ 10,0 BAU /мл — положительный (антитела есть)
  • при 11-79 BAU/мл = вируснейтрализующий эффект низкий (принятие решения по вакцинации)
  • при 80-149,9 BAU/мл = вируснейтрализующий эффект действует только в 50% случаев (контроль в динамике)
  • при >150 BAU/мл = вируснейтрализующая активность ярко выражена в 100% случаев (достаточный уровень для защиты, вакцинация не требуется);
  • при 500 и выше = выработан максимальный уровень антител (вакцинация не требуется).

Из таблицы 2 видно, что результаты, полученные при постановке образцов в реакции нейтрализации и методом иммуноферментного анализа, имеют лишь умеренную корреляцию в образцах переболевших субъектов.

Это связано с тем, что метод иммуноферментного анализа направлен на определение пула антител в сыворотке крови добровольцев, сформированных на все составные части SARS-CoV-2 (пептиды S-; M-; N-; белков вириона), поэтому даже значительное значение BAU/ml не гарантирует надлежащей защиты субъекта от инфицирования [5].

Метод pMNA направлен на взаимодействие nAb непосредственно со спайковым белком SARS-CoV-2, так, как только этот участок встроен в оболочке псевдотипированных вирусных частиц, используемых при постановке, и является составной частью рекомбинантных векторных вакцин.

Поэтому именно метод pMNA является наиболее предпочтительным при оценке протективной защиты вакцин, применяемых в профилактике COVID-19.

На втором этапе по результатам разработки метода определения вируснейтрализующих антител было проведено лабораторное исследование, оценивающее пригодность методики, позволяющей определить наличие специфических к антигену SARS-CoV-2 вируснейтрализующих (ВНА) антител в сыворотке крови добровольцев, переболевших новой коронавирусной инфекцией COVID-19 и/или иммунизированных препаратами специфической профилактики COVID-19, здоровых добровольцев в реакции нейтрализации на культуре клеток НЕК 293-T-hAce2 с применением псевдовирусных частиц.

Полнота нейтрализации представляет собой показатель, обратный процентному отношению сигнала люминесценции (RLU). При полноте инактивации в 100% значение RLU соответствует 0% и наоборот.

Образцы, в которых в первом разведении сыворотки полнота нейтрализации не достигала 50% расценивались, как серонегативные. Образцы, в которых в первом разведении сыворотки полнота нейтрализации достигала 100 - 50% расценивались, как серопозитивные, так как в результате вакцинации, равно как и в процессе естественной инфекции вырабатываются вируснейтрализующие антитела к вирусу SARS-CoV-2, сыворотки вакцинированных и переболевших людей обладают вируснейтрализующей активностью. Необходимо отметить, что под вакцинированными в настоящем исследовании понимаются люди, получавшие дозу векторной назальной вакцины, кодирующией S-белок вируса SARS-CoV-2. В случае нулевой или низкой концентрации нейтрализующих антител в исследуемом разведении анализируемой сыворотки, значения нейтрализации могут быть более 100%, что является следствием стабилизации вирусных частиц сывороточными белками и приводит к более эффективной трансдукции клеток, чем в отрицательном контроле без сывороток.

Специфичность

Специфичность – это способность аналитической методики однозначно оценивать определяемое вещество в присутствии сопутствующих компонентов. Доказательство специфичности валидируемой методики обычно основывается на рассмотрении полученных с ее использованием данных анализа модельных смесей известного состава. Образцы, в которых в первом разведении сыворотки полнота нейтрализации не достигает 50% расцениваются, как серонегативные. Образцы, в которых в первом разведении сыворотки полнота нейтрализации достигает 100 - 50% расцениваются, как серопозитивные. В настоящем исследовании в качестве критерия специфичности принималась способность методики различать образцы, характеризующиеся способностью/ неспособностью нейтрализовать SARS-CoV-2 и образцы от доноров, заведомо наивных по инфекции SARS-CoV-2.

Таблица 3. Оценка специфичности методики при постановке реакции в исследовании серопозитивных сывороток

Рисунок 7. График зависимости сигнала RLU от логарифма разведения. На графике изображены следующие образцы сыворотки крови: - 33 образец; - 73 образец; - 72 образец;  - 71 образец;  - 76 образец;  - 75 образец; - 67 образец; - 114 образец; - 121 образец.

Из таблицы 3 и рисунка 7 видно, что образцы, в которых в первом разведении сыворотки полнота нейтрализации достигает 100 - 50%, обладают значением ID50 более 50 единиц, и расцениваются, как серопозитивные.

Образцы, содержащие вируснейтрализующие антитела к вирусу SARS-CoV-2 от добровольцев после вакцинации, равно как и в процессе естественной инфекции, обладают вируснейтрализующей активностью. Необходимо отметить, что под вакцинированными в настоящем исследовании понимаются добровольцы, получавшие препараты специфической профилактики COVID-19.

Таблица 4. Оценка специфичности методики при постановке реакции в исследовании серонегативных сывороток

Из таблицы 4 видно, что образцы, в которых в первом разведении сыворотки полнота нейтрализации не более 50%, и обладают значением ID50 менее 50 единиц, расцениваются, как серонегативные.  Специфичность методики была подтверждена.

Повторяемость (сходимость)

Повторяемость аналитической методики оценивают по независимым результатам, полученным в одинаковых регламентированных условиях (при использовании одной серии псевдовирусных частиц с одним репортером FLUC, один оператор) в пределах короткого промежутка времени.

Таблица 5. Оценка повторяемости (сходимости) методики при постановке реакции одним оператором

Рисунок 8. График зависимости сигнала RLU от логарифма разведения (технические повторы, выполненные одним оператором). На графике изображены следующие образцы сыворотки крови:  - 22 образец; - 33 образец; - 52 образец; - 71 образец; - 73 образец; - 74 образец; - 112 образец; - 121 образец; - 123 образец.

Данные, представленные в таблице 5 и на рисунке 8 свидетельствуют о соответствии полученных результатов критериям приемлемости методики. Повторяемость аналитической методики исходя из полученных в одинаковых условиях данных (при использовании одной серии псевдовирусных частиц с одним репортером FLUC, один оператор) проанализирована по критериям- стандартное отклонение (SD), относительное стандартное отклонение RSD. Для одного образца у одного оператора в трех повторах коэффициент вариации для значений вируснейтрализующих антител ID50 не превышает 55%. Повторяемость методики была подтверждена.

Промежуточная (внутрилабораторная) прецизионность

Внутрилабораторная (промежуточная) прецизионность валидируемой методики оценивается в условиях работы одной лаборатории (при использовании одного батча псевдовирусных частиц с одним репортером FLUC, три оператора).

Таблица 6. Оценка промежуточной (внутрилабораторной) прецизионности методики при постановке реакции тремя операторами

Рисунок 9. График зависимости сигнала RLU от логарифма разведения. На графике изображены следующие образцы сыворотки крови: - 80 образец; - 82 образец; - 83 образец;  - 84 образец.

Из таблицы 6 и рисунка 9 видно, что внутрилабораторная (промежуточная) прецизионность валидируемой методики исходя из полученных в одинаковых регламентированных условиях в одной лаборатории (три оператора) соответствует критериям приемлемости методики, CV вируснейтрализующих антител в значении ID50 не превышает 55%. Прецизионность методики была подтверждена.

 

Таблица 7. Оценка специфичности методики при постановке реакции с использованием репортера Nluc разных серий, используемых при сборке псевдотипированной конструкции

Рисунок 10. График зависимости сигнала RLU от логарифма разведения с использованием репортера Nluc (Партии 1 – 2). На графике изображены следующие образцы сыворотки крови: - 71 образец; - 72 образец; - 73 образец; - 74 образец; - 76 образец; - 75 образец; - 116 образец;  - 122 образец; - 123 образец; - 124 образец.

Таблица 7 и рисунок 10 демонстрируют, что использование одного репортера разных серий, используемых при сборке псевдотипированной конструкции, не приводит к снижению устойчивости метода, CV вируснейтрализующих антител в значении ID50 не превышает 55%, что соответствует критериям приемлемости методики. Робастность методики была подтверждена.

Линейность

Линейность методики – это наличие линейной зависимости аналитического сигнала от концентрации или количества определяемого вещества в анализируемой пробе в пределах аналитической области методики. В диапазоне детекции должна наблюдаться линейность при сопоставлении расчетного ID50 и измеренного ID50. Меру линейности определяют, откладывая на графике точки log2 (ID50) от log2 (кратность разведения), и находя R2 при линейной регрессии (функция y=kx+c). Допустимый уровень линейности принят за такой, при котором R2>0.9

Рисунок 11. Первичные данные полученные для обработки линейности. График зависимости сигнала RLU от логарифма разведения. На графике изображены следующие разведения образца сыворотки крови №81: - разведение 1/10; - разведение 1/20; - разведение 1/40; - разведение 1/80; - разведение 1/160; - разведение 1/320.

Рисунок 12. Графики точки log2 (ID50) от log2 (кратность разведения) - повтор №1; - повтор №2;  - повтор №3.

Рисунки 11 и 12 показывают, наличие линейной зависимости аналитического сигнала от концентрации ВНА в анализируемых сыворотках крови добровольцев в пределах аналитической области методики, что подтверждает значение R2, которое не превышало 0,9 и составило 0,9987 для первой постановки, 0,9997 для второй постановки и 0,9587 для третьей постановки. Линейность методики подтверждена при значении R2>0.9

Обсуждение (Discussion).

По результатам первой постановки было показано, что вируснейтрализующие антитела, содержащиеся в исследуемых положительных сыворотках, способны к нейтрализации спайкового белка на поверхности применяемых псевдовирусных частиц. Тем самым, инсерции псевдовируса в клетку за счет взаимодействия фермента ACE2 c S-белком на клетках HEK-293T-hAce2 не проводится и ген люциферазы FLUC не встраивается. При снижении уровня вируснейтрализующих антител в образцах повышается уровень люминесценции исследуемых образцов – сигнал более 2 500 000 RLU.

В последующих постановках применялся только репортер люциферазы FLUC в виду значительно более низкой стоимости реагентов, применяемых при детекции сигнала люминесценции.

Было установлено, что оптимальным временем инкубации планшета после внесения реагента OneGlo Promega (определяющего наличие люциферазы FLUC) является 60–75 мин. При этом сроке инкубации определялось максимальное количество люциферазы в лунке. Краситель распределялся равномерно, что препятствует гетерогенности результатов. При этом, в течение указанного времени определялось значительное для детекции количество люциферазы в лунке (1,5-2 млн единиц люминисценции).

При схеме постановки, использующей высокие разведения (до разведения 1:2048) исследуемые образцы практически сразу теряли протективную активность в виду значительного снижения антитиел в первых разведениях, интерпретация результатов так же не поддавалась анализу.

Наиболее применимыми в интерпретации результатов исследования сывороток являлись двукратные разведения образца до разведения 1:256. На рисунке 4 показано, что исследуемый образец оптимально титруется именно при данной схеме разведений, образуя оптимальную сигмоидальную кривую и демонстрирует наличие в исследуемой сыворотке nAb. При использовании схемы разведения до 1:32 показано, что исследуемый образец титруется некорректно, что демонстрирует характерная сигмоидальная кривая. При использовании схемы разведения до 1:2048 сигмоидальная кривая была выставлена более корректно, но пороговое значение, определялось менее точно в виду больших шагов разведения.

По результатам определения объемов реакционной смеси и подбора всех условий постановки была разработана стандартная схема постановки метода.

По результатам исследования образцов сыворотки крови от добровольцев были сформированы следующие условия интерпретации метода:

Вируснейтрализующие антитела, содержащиеся в исследуемых положительных сыворотках, способны к нейтрализации спайкового белка на поверхности применяемых псевдовирусных частиц. Тем самым, инсерции псевдовируса в клетку за счет взаимодействия фермента ACE2 c S-белком на клетках HEK-293T-hAce2 не проводится и ген люциферазы FLUC не встраивается при снижении уровня вируснейтрализующих антител в образцах повышается уровень люминесценции исследуемых образцов.

Хорошей практикой является отслеживание критических параметров с использованием таблиц тенденций и сводных таблиц анализа результатов, которые могут указать, где произошли изменения в характеристиках анализа, и обеспечить уверенность в том, что анализы находятся под контролем и работают последовательно.

Пример не нейтрализующей и сильно нейтрализующей сыворотки приведен на рисунке 13.

Рисунок 13. Типичные кривые нейтрализации, ожидаемые от pMNA. На графике изображены - положительный образец; - отрицательный образец.

Исходя из полученных данных было сделано заключение, что вируснейтрализующие антитела, содержащиеся в исследуемых положительных сыворотках, способны к нейтрализации спайкового белка на поверхности применяемых псевдовирусных частиц. Тем самым, инсерции псевдовируса в клетку за счет взаимодействия фермента ACE2 c S-белком на клетках HEK293ThAce2 не проводится и ген люциферазы FLUC не встраивается. При снижении уровня вируснейтрализующих антител в образцах повышается уровень люминесценции исследуемых образцов.

Было определено, что схема разведения в диапазоне 1:2 – 1:256 и схема разведения в диапазоне 1:16 – 1:2048 применимы к постановке, так как позволяют определить титр вируснейтрализующих антител в образце. Выбор диапазона титрования определяется оператором на основании анамнеза доноров. При отсутствии каких-либо сведений о добровольце, либо при исследовании гипериммунных сывороток применимо использовать увеличенную раститровку (1:16 – 1:2048) в 8 дубликатах. При исследовании сывороток с заведомо низким уровнем nAb либо при первичном скрининге применимо использовать схему разведения (1:32 – 1:128) в 2 повторах для каждого. Сокращенная раститровка позволяет сократить финансовые затраты на постановку метода.

Определен оптимальный титр рабочей дозы псевдовирусных частиц, равный 1*10-4. Представленная рабочая доза позволяет наиболее корректно определять наличие nAb в образцах сыворотки крови.

Заключение (Conclusions).

Нейтрализующая реактивность, вызванная естественной инфекцией с последующей вакцинацией, все больше ослабляется недавним появлением новых вирусных штаммов SARS-CoV-2 (Eta (lineage B.1.525), Kappa (lineage B.1.617.1), Mu (lineage B.1.621)). Хотя иммунная защита, обеспеченная препаратами специфической профилактики SARS-CoV-2 в популяции, в целом обеспечивает надлежащую протективную защиту, в дальнейшем может потребоваться изменение разработки новых вакцинных препаратов для создания перекрестного иммунитета к штаммам у населения.

Данные уровня протективной активности исследуемых сывороток, полученные с помощью разработанной методики, подтверждают индукцию специфических антител у большинства добровольцев, при том иммунный ответ у иммунизированных субъектов иногда зачастую более сильный, чем у ранее инфицированных добровольцев, что, как следствие, подтверждает необходимость вакцинации.

Вируснейтрализующие антитела, содержащиеся в исследуемых положительных сыворотках в разведениях с 1:16 до 1:64, способны к нейтрализации спайкового белка на поверхности применяемых псевдовирусных частиц, в результате чего инсерции псевдовируса в клетку за счет взаимодействия фермента ACE2 c S-белком на клетках HEK293ThAce2 не проводится и ген люциферазы FLUC не встраивается. При снижении уровня вируснейтрализующих антител в образцах в разведениях от 1:128 повышается уровень люминесценции исследуемых образцов.

Следует учитывать, что метод оценки вируснейтрализующих антител с использованием реакции на основе псевдовируса, принимая во внимание дороговизну и трудоемкость, больше используется для поисковых, научных целей и периодического подтверждения результатов других скрининговых методов (ELISA - enzyme-linked immunosorbent assay, IGRA - Interferon-γ release assays).

Разработанная нами методика позволяет определять наличие вирусспецифических к антигену SARS-CoV-2 вируснейтрализующих антител в сыворотке крови добровольцев, переболевших новой коронавирусной инфекцией COVID-19 и/или иммунизированных препаратами специфической профилактики, здоровых добровольцев в реакции нейтрализации с применением псевдотипированных вирусных конструкций на основе вируса иммунодефицита человека.

Литература (Bibliography).

  1. Campi-Azevedo, A. C. et al. 17DD yellow fever revaccination and heightened long-term immunity in populations of disease-endemic areas, Brazil. Infect. Dis. 25, 1511–1521 (2019).
  2. Chi, X. et al. A neutralizing human antibody binds to the N-terminal domain of the Spike protein of SARSCoV-2. Science 369, 650–655 (2020).
  3. Cohen, B. J., Audet, S., Andrews, N., Beeler, J. & WHO Working Group on Measles Plaque Reduction Neutralization Test. Plaque reduction neutralization test for measles antibodies: description of a standardised laboratory method for use in immunogenicity studies of aerosol vaccination. Vaccine 26, 59–66 (2007).
  4. Cohen, B. J., Doblas, D. & Andrews, N. Comparison of plaque reduction neutralisation test (PRNT) and measles virus-specific IgG ELISA for assessing immunogenicity of measles vaccination. Vaccine 26, 6392–6397 (2008)
  5. Comparison of SARS-CoV-2 Antibody Responses and Seroconversion in COVID-19 Patients Using Twelve Commercial Immunoassays Sojeong Yun, B.S.,1 Ji Hyeong Ryu, M.S.,2 Joo Hee Jang, B.S.,1 Hyunjoo Bae, M.S.,1 Seung-Hyo Yoo, M.T.,2 Ae-Ran Choi, M.T.,2 Sung Jin Jo, M.D.,3 Jihyang Lim, M.D.,3 Jehoon Lee, M.D.,3 Hyejin Ryu, M.D.,4 Sung-Yeon Cho, M.D.,5,6 Dong-Gun Lee, M.D.,5,6 Jongmin Lee, M.D.,7 Seok Chan Kim, M.D.,7 Yeon-Joon Park, M.D.,2 Hyeyoung Lee, M.D.,8 and Eun-Jee Oh, M.D.2 Ann Lab Med. 2021 Nov 1; 41(6): 577–587. Published online 2021 Nov 1. doi: 10.3343/alm.2021.41.6.577
  6. Diana Duong. Alpha, Beta, Delta, Gamma: What’s important to know about SARS-CoV-2 variants of concern? (англ.) // CMAJ: Canadian Medical Association Journal. — 2021. — 12 July (vol. 193, iss. 27). — P. E1059–E1060. — ISSN 0820-3946. — doi:10.1503/cmaj.1095949.
  7. Eyal, O. et al. Development of a tissue-culture-based enzyme-immunoassay method for the quantitation of anti-vaccinia-neutralizing antibodies in human sera. J. Virol. Methods 130, 15–21 (2005).
  8. He, W. et al. Isolation of potent SARS-CoV-2 neutralizing antibodies and protection from disease in a small animal model. Science 369, 956–963 (2020).
  9. Liu, L. et al. Potent neutralizing antibodies against multiple epitopes on SARS-CoV-2 spike. Nature 584, 450–456 (2020).
  10. Nicholas J. Beeching, Tom E. Fletcher, Robert Fowler. COVID-19. BMJ Best Practices. BMJ Publishing Group
  11. Quantification of SARS-CoV-2 neutralizing antibody by a pseudotyped virus-based assay Jianhui Nie, Qianqian Li, Jiajing Wu, Chenyan Zhao, Huan Hao, Huan Liu, Li Zhang, Lingling Nie, Haiyang Qin, Meng Wang, Qiong Lu, Xiaoyu Li, Qiyu Sun, Junkai Liu, Changfa Fan, Weijin Huang, Miao Xu & Youchun лWang Nature Protocols volume 15, pages3699–3715 (2020)
  12. Xiaolu Tang, Changcheng Wu, Xiang Li, Yuhe Song, Xinmin Yao. On the origin and continuing evolution of SARS-CoV-2 (англ.) // National Science Review. — 2020. — 3 March. — doi:10.1093/nsr/nwaa036
  13. Zhao, H. et al. Tocilizumab combined with favipiravir in the treatment of COVID-19: a multicenter trial in a small sample size. Biomed. Pharmacother. 133, 110825 (2021).
×

About the authors

Andrey Aleksandrovich Funtikov

JSC "GENERIUM"

Author for correspondence.
Email: aafuntikov@generium.ru

Научный сотрудник

Russian Federation, 601125, Vladimir region, Petushinsky district, Volginsky settlement, Vladimirskaya street, building 14

Наталия Litvinova

JSC "GENERIUM"

Email: litvinova@ibcgenerium.ru

Руководитель Отдела

601125, Vladimir region, Petushinsky district, Volginsky settlement, Vladimirskaya street, building 14

Evgenii Vasilevich Zuev

Email: evzuev@generium.ru

Sergey Vladimirovich Kulemzin

Email: skulemzin@mcb.nsc.ru

Rachim Rachmankulievich Shukurov

Email: Shukurov@ibcgenerium.ru

Supplementary files

There are no supplementary files to display.


Copyright (c) Funtikov A.A., Litvinova Н., Zuev E.V., Kulemzin S.V., Shukurov R.R.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 64788 от 02.02.2016.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies