Intra-laboratory validated “TigraTest® SARS-CoV-2” — test assessing release of interferon gamma in vitro to identify peripheral blood T-lymphocytes specifically responding against SARS-CoV-2 virus antigens

Cover Page


Cite item

Full Text

Abstract

SARS-CoV-2 (Severe acute respiratory syndrome coronavirus 2), also known as 2019-nCoV (2019-Novel Coronavirus) is a strain of coronavirus from the genus Betacoronavirus, discovered in China at the end of 2019 in patients with pneumonia. “Coronavirus infection COVID-19” (COrona VIrus Disease 2019) caused by coronavirus 2019 (COVID-19) has spread around the world at a very fast pace, with death toll exceeding more than 5.2 million people worldwide. Limited success in developing new drugs as well as use of existing drugs for the treatment of COVID-19 resulted in situation when the main prevention measures for a long time were based on testing and isolation of sick subjects, which started to reverse due to vaccination. Monitoring the formation of humoral and T-cell population immunity against the SARS-CoV-2 virus during the COVID-19 pandemic is a necessary element for epidemiological surveillance. ELISA-based methods are widely used to assess humoral immunity, and various test systems including ELISPOT (Enzyme-Linked ImmunoSpot) are used to analyze cellular immunity. The ELISPOT assay is a highly sensitive and specific method for quantifying individual cytokine-secreting T cells after being stimulated with a specific antigen. “TigraTest® SARS-CoV-2” Test assessing release of interferon gamma in vitro to detect peripheral blood T-lymphocytes that specifically respond to the SARS-CoV-2 virus antigens manufactured by GENERIUM JSC, is created on the ELISPOT platform. This study describes the procedure for laboratory validation of this test system to analyze the following parameters: specificity of antibody pair, effect of interfering substances, sensitivity and specificity, precision, stability of blood samples till isolation of target cells. The developed test system showed high diagnostic sensitivity and specificity. The specificity of TigraTest® SARS-CoV-2 was 100%, the sensitivity for subjects immunized with the Gam-COVID-Vac vaccine (Sputnik V) was 91.67%, and the sensitivity in convalescent COVID-19 patients was 95.45%. At the same time, the data variability both during within and between series comparison did not exceed 25%, whereas 24-hour storage of peripheral blood samples at (18–25)°С after blood collection followed by isolation of target cells did not affect the test results.

Full Text

Введение

SARS-CoV-2 (Severe acute respiratory syndrome coronavirus 2), он же 2019-nCoV (2019-Novel Coronavirus) — вид коронавируса из рода бетакоронавирусов (Betacoronavirus), обнаруженный в конце 2019 г. у больных с пневмонией в Китае.

11 февраля 2020 г. Всемирная организация здравоохранения присвоила официальное название для болезни, которую вызывает SARS-CoV-2 — «Коронавирусная инфекция COVID-19» (COrona VIrus Disease 2019 — «COVID-19») [13]. Заболевание, вызванное SARS-CoV-2 (COVID-19) распространилось по миру очень быстрыми темпами и унесло уже более 5,2 млн жизней [данные https://origin-coronavirus.jhu.edu/map.html на 06.12.2021].

Считается, что инкубационный период COVID-19 составляет до 14 дней, в течение которых возможна передача инфекции. SARS-CoV-2 контагиозен и имеет более высокую степень передачи (R0, 1,4–5,5), чем SARS-CoV (R0, 2–5) и MERS-CoV (R0, < 1), хотя уровень смертности для него ниже — 3,4% по сравнению с 10% для SARS-CoV и 34% для MERS-CoV [17]. При этом большинство не проявляющих симптомов носителей не имеют достаточного уровня нейтрализующих антител [8]. Пандемия COVID-19 ознаменовалась жесткими карантинными мерами — вплоть до закрытия государственных границ. Но наиболее действенным методом для ограничения распространения инфекции, как и для большинства других инфекционных болезней, является вакцинация.

Определение наличия Т-клеточного иммунного ответа к вирусу SARS-CoV-2 актуально для определения общего количества людей, перенесших данное заболевание, в том числе без ярко выраженных симптомов, а также для оценки эффективности вакцинации. При этом среди методов оценки Т-клеточного иммунного ответа наиболее перспективным является ELISPOT-тест на секрецию интерферона гамма [1, 2].

Анализ ELISPOT — это метод определения количества отдельных Т-клеток, секретирующих цитокин, после стимуляции определенным антигеном или пептидом, проявляющихся в виде пятен на нитроцеллюлозной мембране [3, 12, 15]. Как правило, количество пятен увеличивается пропорционально силе иммунного ответа. Важным преимуществом метода ELISPOT является прямое измерение уровня иммунного ответа, опосредованного клетками Th1.

В ELISPOT пятна образуются с помощью колориметрической реакции, в которой растворимый субстрат расщепляется, оставляя нерастворимый осадок на месте реакции. Это пятно представляет собой след исходной клетки, продуцирующей цитокин. Количество пятен является прямым измерением частоты цитокин-продуцирующих Т-клеток. Конечная точка анализа (спот — точка, пятно) представляет собой результат серии комплекса явлений, которые можно разбить на три этапа: а) условия культивирования клеток, приводящие к продукции IFNγ; б) ферментно-опосредованная система обнаружения захвата антителами; в) подсчет клеток [15].

В настоящем исследовании описывается процедура лабораторной валидации тест-системы «ТиграТест® SARS-CoV-2» — теста на высвобождение интерферона гамма in vitro для определения в крови Т-лимфоцитов, специфически отвечающих на антигены вируса SARS-CoV-2 — с определением следующих показателей: специфичность пары антител, влияние интерферирующих веществ, чувствительность и специфичность, прецизионность, стабильность образцов крови до извлечения из нее целевых клеток.

Материалы и методы

Добровольцы. Образцы крови. Все добровольцы, участвующие в исследовании, заполняли опросный лист с указанием основных характеристик, симптомов заболевания, наличия или отсутствия подтвержденной лабораторными методами инфекции, вызванной SARS-CoV-2, наличия или отсутствия подтвержденного диагноза пневмонии компьютерной томографией или дату иммунизации и использованный вакцинный препарат. Условно здоровые доноры также указывали наличие или отсутствие близких, или продолжительных контактов с больными COVID-19. Образцы крови отбирали венепункцией в условиях процедурного кабинета АО «ГЕНЕРИУМ» в период с апреля по июль 2021 г. в пгт. Вольгинский Владимирской области (Россия). От каждого донора было получено добровольное информированное согласие на отбор образцов крови и включение результатов их анализа в данное исследование. Проведение исследования было одобрено локальным независимым этическим комитетом при АО «Генериум» (протокол № 01 от 11.11.2020). Всего были взяты образцы крови у 98 добровольцев: у 42 интактных (не болевших и не контактировавших с инфицированными COVID-19), у 12 иммунизированных «Гам-Ковид-Вак» и у 44 переболевших COVID-19). Доноров распределяли по группам. Отбор крови у иммунизированных вакциной «Гам-Ковид-Вак» (Спутник V) происходил в интервале 3–6 нед. после двукратной вакцинации. У переболевших COVID-19 кровь отбирали в интервале от 1 до 10 мес. после исчезновения симптомов заболевания или наличия отрицательного теста ПЦР.

Выделение мононуклеарных клеток периферической крови и приготовление рабочих суспензий. Мононуклеарные клетки периферической крови (МКПК) выделяли методом центрифугирования в градиенте плотности фиколла (ρ 1,077 г/см3) (НПП «ПанЭко», Россия) не позднее чем через 1 ч после забора крови. При исследовании стабильности образцов крови выделение МКПК проводили через 12, 24, 48 и 72 ч после забора крови. Подсчет клеток проводили с использованием счетчика клеток — NucleoCounter® System (Chemometec, Дания).

Для приготовления рабочей суспензии МКПК кл/мл использовали следующие формулы:

k=C, кл/мл3,5×106 (1)

Z=500k (2)

V=500-Z (3)

где: k — коэффициент разведения исходной суспензии МКПК; С, кл/мл — концентрация МКПК в исходной суспензии; 3,5 × 106 — целевая концентрация МКПК в рабочей суспензии, млн; Z — объем исходной суспензии МКПК, которую необходимо отобрать из пробирки, мкл; V — объем среды AIM–V® + AlbuMAX®, мкл.

В каждую лунку планшета вносили от 3,0 × 105 до 4,0 × 105 МКПК (оптимальное количество — 3,5 × 105) в среде AIMV® + AlbuMAX® (GIBCO™, Invitrogen, США) в объеме 100 мкл.

Для анализа ELISPOT использовали только свежевыделенные МКПК.

Антигены. В качестве антигенов для стимуляции специфических Т-клеток в «ТиграТест® SARS-CoV-2» использовали пептиды, соответствующие основным белковым антигенам коронавируса SARS-CoV-2: S-белок (шип) (Панель антигена 1 — ПА1), нуклеокапсидный белок (N), мембранный белок (М) и 2 вспомогательных белка — ORF3a и ORF7a (Панель антигена 2 — ПА2).

IFNγ ELISPOT. МКПК каждого добровольца инкубировали в течение 16–24 ч с пептидными антигенами (концентрация каждого пептида в пуле составляла 2 мкг/мл) обеих панелей антигенов. Индивидуальный тест для каждого донора состоял из 4 лунок: отрицательный контроль, без стимуляции МКПК; стимуляция пептидами S-белка (ПА1); стимуляция пептидами белков N, M, ORF3a и ORF7a (ПА2); положительный контроль (стимуляция всех жизнеспособных и функционально активных Т-клеток с помощью антитела к CD3, клон ОКТ-3).

После инкубации и отмывки пятна проявляли с помощью антитела к IFNγ, конъюгированного со щелочной фосфатазой (производство АО «ГЕНЕРИУМ», клон 1G9 (Конъюгат)) и хромогенного субстрата BCIP/NBT (5-бромо-4-хлоро-3-индолил-фосфат/нитросиний тетразолия хлорид, Sigma-Aldrich, США).

Подсчет пятен производили как визуально под стереомикроскопом, так и с помощью специализированного ELISPOT-ридера AID Classic ELR08 (AID GmbH, Германия). Величину Т-клеточного ответа выражали как количество подсчитанных пятен в лунках с ПА1 или ПА2 за вычетом количества пятен в отрицательном контроле (без стимуляции антигенами).

Критерием пригодности теста были результаты положительного (К+) и отрицательного (К–) контролей. В положительном контроле должно было быть не менее 100 пятен, в отрицательном контроле — не более 14 пятен. Наличие более 14 пятен могло свидетельствовать об остром воспалительном процессе или о случайном загрязнении образца клеток эндотоксинами. В таком случае донору предлагали повторно сдать кровь через 1–2 недели. У категории переболевших должны выявляться четко различимые локальные пятна в лунках с ПА1 и ПА2 или в лунке с ПА2. У категории вакцинированных должны выявляться четко различимые локальные пятна в лунках с ПА1. Коэффициент вариации (RSD%) не должен превышать 25% [6].

Использованные в исследовании серии теста представлены в табл. 1.

 

Таблица 1. Экспериментальные серии «ТиграТест® SARS-CoV-2» (АО «ГЕНЕРИУМ», Россия) / Table 1. Experimental batches of “TigraTest® SARS-CoV-2” (JSC “GENERIUM”, Russia)

Серия теста

Kit batches

120

220/320

111-20

Планшет

Plate

EXAH00120

EXAH00220

111-20

ОКТ-3

OKT-3

EXAC00120

EXAC00320

XAС00220

Конъюгат

Conjugate

EXAF00120

EXAF00320

XAF00220

Субстрат

Substrate

EXAA00120

EXAA00320

XAА00220

ПА1

Antigen panel No. 1

ХАК00220

ХАК00220

ХАК00220

ПА2

Antigen panel No. 2

ХАМ00220

ХАМ00220

ХАМ00220

 

Оценка специфичности антител по отношению к про- и противовоспалительным цитокинам. Для оценки специфичности антител, сорбированных на мембране, иммобилизованной в лунках планшета, и выявляющих интерферон-гамма (IFNγ), использовали следующие антигены: IL-2 (Thermo Fisher Scientific Inc., кат. PHC0023), IL-6 (206-IL-010, R&D Systems, США), IFN-1β (Лекарственный препарат Инфибета® (IFN-1β) (АО «ГЕНЕРИУМ», серия ВАО4120), TNFα (ФБУН ГНЦ ВБ «Вектор» Роспотребнадзора, кат. ргФНО-альфа).

Лиофилизат каждого из антигенов растворяли в необходимом количестве среды AIM V® + AlbuMAX® до достижения концентрации 10 мкг/мл и хорошо перемешивали. Приготовленные рабочие растворы антигенов по 100 мкл в трех повторностях вносили в лунки планшета и проводили испытание согласно инструкции по применению теста. Постановка теста не предусматривала внесение в лунки МКПК.

Оценка влияния интерферирующих веществ. Изучение влияния интерферирующих веществ проводили с использованием образцов крови от 8 доноров, вакцинированных «Гам-КОВИД-Вак» или переболевших COVID-19.

Шесть пробирок крови по 8–9 мл от каждого добровольца разделяли на две группы: образцы крови 4 доноров в каждой группе использовали для изучения влияния дексаметазона (раствор для инъекций 4 мг/мл, серия А65691, KRKA, Словения) и интерферона-бета-1b (лиофилизат для приготовления раствора для подкожного введения Инфибета® (Infibeta®), АО «ГЕНЕРИУМ») на специфичность теста.

В первые три пробирки доноров первой группы добавляли раствор дексаметазона из расчета 0,0033 мг/мл, в другие три пробирки — фосфатно-буферный раствор (рН 7,2) в объеме, соответствующем объемной дозе дексаметазона.

В первые три пробирки доноров второй группы добавляли раствор интерферона-бета-1b из расчета 0,04 мкг/мл, в другие три пробирки — фосфатно-буферный раствор в объеме, соответствующем объемной дозе интерферона-бета-1b.

Образцы тщательно перемешивали и инкубировали в течение 1 ч при комнатной температуре. Далее проводили выделение МКПК, подсчет клеток и приготовление рабочих суспензий согласно инструкции к тесту. Если RSD между результатами теста с использованием МКПК без добавления и МКПК с добавлением интерферента не превышал 25%, то считали, что интерферент не оказывает влияние на специфичность теста.

Оценка чувствительности и специфичности. Анализ результатов тестирования образцов МКПК, полученных от добровольцев с достоверно установленным статусом, проводили, определяя показатели, приведенные в разделе «Статистический анализ». Диагностическая специфичность теста была оценена на МКПК от 42 интактных (не болевших и не контактировавших с инфицированными COVID-19). Диагностическая чувствительность теста в отношении иммунизированных «Гам-КОВИД- Вак» лиц была оценена на МКПК от 12 добровольцев, прошедших вакцинацию. Диагностическая чувствительность теста в отношении переболевших COVID-19 лиц была оценена на МКПК от 44 добровольцев с верифицированным лабораторными методами (ПЦР, ИФА) диагнозом.

Оценка стабильности образцов крови. Для испытания использовали образцы, полученные от добровольцев, иммунизированных вакциной «Гам-КОВИД-Вак» (Спутник V). Кровь отбирали в пробирки для забора крови (BD Vacutainer®, США), где в качестве антикоагулянта использовался натрия гепарин. Образцы крови до выделения МКПК хранили при температуре от 18 до 25°С в течение 72 ч. Выделение МКПК и анализ высвобождения IFNγ проводили сразу после отбора крови (не позднее 1 ч), а затем через 12, 24, 48 и 72 ч.

Оценка прецизионности. Прецизионность характеризовали коэффициентом вариации. Оценивали следующие параметры:

  1. Вариабельность внутри одного планшета в течение одного аналитического цикла (АЦ). Изучение параметра проводили с использованием МКПК, выделенных из крови добровольца, переболевшего с верифицированным диагнозом COVID-19, подтвержденным ПЦР и наличием специфических антител к антигенам SARS-CoV-2. Клетки вносили в лунки планшета в хаотичном порядке, следуя правилу тетраплета для одной повторности (К–, ПА1, ПА2, К+). Учет результатов проводили при соблюдении критериев пригодности теста, а также вычисления коэффициента вариации для лунок с ПА1 и ПА2 внутри одного планшета в течении одного аналитического цикла в одном и том же образце.
  2. Вариабельность между операторами внутри одного лота (партии) теста. Изучение параметра проводили с использованием МКПК, выделенных из крови добровольцев, переболевших COVID-19, подтвержденным ПЦР или наличием специфических антител, и добровольцев, иммунизированных вакциной «Гам-КОВИД-Вак» (Спутник V). Всего в исследовании использовали МКПК от 8 доноров. Оценку проводили с применением одной серии теста «ТиграТест® SARS-CoV-2» и участием двух операторов. Учет результатов проводили при соблюдении критериев пригодности теста, а также вычисления коэффициента вариации для лунок с ПА1 и ПА2 в одних и тех же образцах внутри одного аналитического цикла между операторами.
  3. Вариабельность между лотами (партиями) теста. При оценке параметра использовали 8 доноров, со статусом и критериями оценки описанных в пункте 2. Исследование проводилось в одной лаборатории с использованием трех серий теста «ТиграТест® SARS-CoV-2» (№ 120, № 220/320 и № 111-20/220) и участием одного оператора. Учет результатов проводили при соблюдении критериев пригодности теста, а также вычисления коэффициента вариации для лунок с ПА1 и ПА2 в одних и тех же образцах между лотами (партиями) теста для переболевших и вакцинированных добровольцев.

Статистический анализ. Статистическая обработка результатов выполнялась при помощи пакета MS Excel 2019. Рассчитывались среднее арифметическое, стандартное (среднеквадратичное) отклонение, коэффициент вариации (относительное стандартное отклонение), диагностическая чувствительность и диагностическая специфичность [14].

Результаты

Оценка специфичности по отношению к про- и противовоспалительным цитокинам

При оценке Т-клеточного ответа важным показателем является способность тест-системы выявлять специфичные клетки, отвечающие секрецией IFNγ на стимуляцию МКПК антигенами SARS-CoV-2. Подобранная пара антител к IFNγ должна избирательно и с высокой чувствительностью выявлять именно искомый цитокин. Экспериментально доказано, что антитела, иммобилизованные на мембранах в лунках культурального планшета «ТиграТест® SARS-CoV-2», взаимодействуют только с IFNγ и не имеют перекрестной реакции с другими цитокинами (IL-2, IL-6, IFN-1β, TNFα), продуцируемые Т-клетками (графические данные представлены на рис. 1, вклейка, c. I).

Оценка влияния интерферирующих веществ

В данном исследовании оценивалось влияние потенциально интерферирующих веществ на специфичность «ТиграТест® SARS-CoV-2». К интерферирующим веществам относятся как эндогенные, так и экзогенные вещества, которые в норме или при различных патологиях могут присутствовать в крови пациента и, следовательно, повлиять на результаты исследования [4]. Потенциальное влияние интерферирующих веществ на результаты «ТиграТест® SARS-CoV-2» должно сводиться к минимуму ввиду процесса отмывки фракции МКПК при подготовке клеток перед внесением в лунки. Однако, чтобы исключить вероятность влияния интерферента, были проведены исследования с применением Дексаметазона и интерферона-бета-1b. При этом оба препарата вносились в образцы заведомо с избытком, с концентрацией, которая в организме человека не встречается.

Отобранные пробы МКПК, как с добавлением потенциального интерферента, так и без него, подвергались анализу с целью прямого сравнения конкретных проб. Результаты исследований представлены в табл. 2.

 

Таблица 2. Результаты постановок венозной (периферической) крови от категорий доноров, вакцинированных против новой коронавирусной инфекции вакцинным препаратом «Гам-КОВИД-Вак» и переболевших COVID-19, с добавлением и без добавления дексаметазона и интерферона бета-1b для оценки влияния интерферирующих веществ / Table 2. Results of venous (peripheral) blood production based on volunteer categories immunized with vaccine preparation “Gam-COVID-Vak” against a new coronavirus infection and COVID-19 convalescent subjects with and without the addition of dexamethasone and interferon beta-1b to assess the effect of interfering substances

№ п/п

No.

Шифр образца

Sample code

Реагент/компонент

Reagent/component

Повторы

Runs

Среднее значение

Mean

Количество пятен в ПА1 и ПА2 за вычетом К–

Number of spots in PA1 and PA2 minus K–/Control–

Результат

Result

%RSD между образцом с ИФ и без добавления ИФ/%

RSD between sample with and without interference

 

1

2

3

 

ПА1/Antigen panel 1

ПА2/Antigen panel 2

 

1

021-Б

без дексаметазона

no dexamethasone

K–/Control–

0

0

0

0

88

Положительный

Positive

3

24

 

ПА1/Panel 1

76

113

76

88

 

ПА2/Panel 2

15

14

9

13

13

 

К+/Control+

520

533

514

522

 

021-Б

с добавлением дексаметазона 0,0033 мг/мл

with dexamethasone 0,0033 mg/ml

K–/Control–

1

1

1

1

92

Положительный

Positive

 

ПА1/Panel 1

84

101

95

93

 

ПА2/Panel 2

9

9

12

10

9

 

К+/Control+

512

543

534

530

 

2

016-Б

без дексаметазона

no dexamethasone

K–/Control–

0

0

0

0

2

Сомнительный

Dubious

0

8

 

ПА1/Panel 1

5

2

0

2

 

ПА2/Panel 2

13

10

9

11

11

 

К+/Control+

552

531

539

541

 

016-Б

с добавлением дексаметазона 0,0033 мг/мл

with dexamethasone 0,0033 mg/ml

K–/Control–

0

2

1

1

2

Сомнительный

Dubious

 

ПА1/Panel 1

2

5

3

3

 

ПА2/Panel 2

14

12

13

13

12

 

К+/Control+

551

546

545

547

 

3

017-Б

без дексаметазона

no dexamethasone

K–/Control–

0

0

0

0

5

Сомнительный

Dubious

20

4

 

ПА1/Panel 1

5

2

9

5

 

ПА2/Panel 2

13

10

9

11

11

 

К+/Control+

552

531

539

541

 

017-Б

с добавлением дексаметазона 0,0033 мг/мл

with dexamethasone 0,0033 mg/ml

K–/Control–

0

1

0

0

4

Отрицательный

Negative

 

ПА1/Panel 1

4

5

4

4

 

ПА2/Panel 2

8

13

10

10

10

 

К+/Control+

475

548

499

507

 

4

018-В

без дексаметазона

no dexamethasone

K–/Control–

13

13

13

13

7

Положительный

Positive

20

6

 

ПА1/Panel 1

21

32

7

20

 

ПА2/Panel 2

79

48

57

61

48

 

К+/Control+

501

542

479

507

 

018-В

с добавлением дексаметазона 0,0033 мг/мл

with dexamethasone 0,0033 mg/ml

K–/Control–

4

2

13

6

10

Положительный

Positive

 

ПА1/Panel 1

31

7

9

16

 

ПА2/Panel 2

71

39

42

51

45

 

К+/Control+

541

571

546

553

 

5

019-Б

без интерферона бета-1b

no interferon-beta-1b

K–/Control–

1

0

0

0

7

Положительный

Positive

44

42

 

ПА1/Panel 1

4

8

10

7

 

ПА2/Panel 2

64

79

73

72

72

 

К+/Control+

524

531

539

531

 

019-Б

с добавлением интерферона бета-1b 0,04 мкг/мл

with interferon-beta-1b 0,04 mg/ml

K–/Control–

11

1

6

6

 

Положительный

Positive

 

ПА1/Panel 1

8

8

13

10

 

ПА2/Panel 2

44

43

47

45

39

 

К+/Control+

600

600

360

520

 

6

030-Б

без интерферона бета-1b

no interferon-beta-1b

K–/Control–

12

11

12

12

1

Положительный

Positive

111

36

 

ПА1/Panel 1

16

10

12

13

 

ПА2/Panel 2

138

115

111

121

109

 

К+/Control+

600

600

600

600

 

030-Б

с добавлением интерферона бета-1b 0,04 мкг/мл

with interferon-beta-1b 0,04 mg/ml

K–/Control–

5

4

4

4

9

Положительный

Positive

 

ПА1/Panel 1

11

16

11

13

 

ПА2/Panel 2

65

57

86

69

65

 

К+/Control+

600

600

600

600

 

7

013-Б

без интерферона бета-1b

no interferon-beta-1b

K–/Control–

2

0

0

1

18

Положительный

Positive

1

17

 

ПА1/Panel 1

21

25

12

19

 

ПА2/Panel 2

8

10

9

9

8

 

К+/Control+

529

540

536

535

 

013-Б

с добавлением интерферона бета-1b 0,04 мкг/мл

with interferon-beta-1b 0,04 mg/ml

K–/Control–

1

2

3

2

19

Положительный

Positive

 

ПА1/Panel 1

26

20

17

21

 

ПА2/Panel 2

11

14

13

13

11

 

К+/Control+

552

567

553

557

 

8

006-Б

без интерферона бета-1b

no interferon-beta-1b

K–/Control–

12

13

12

12

1

Отрицательный

Negative

130

77

 

ПА1/Panel 1

10

14

16

13

 

ПА2/Panel 2

1

1

1

1

–11

 

К+/Control+

555

511

541

536

 

006-Б

с добавлением интерферона бета-1b 0,04 мкг/мл

with interferon-beta-1b 0,04 mg/ml

K–/Control–

7

11

8

9

25

Положительный

Positive

 

ПА1/Panel 1

30

28

43

34

 

ПА2/Panel 2

5

5

6

5

–4

 

К+/Control+

600

600

400

533

 

Примечание. ИФ — интерферент.

Note. IF — interfering agent.

 

Содержание дексаметазона в количестве 0,0033 мг/мл в клинических образцах не влияло на эффективность теста. Коэффициенты вариации результатов проведенных испытаний в лунках с ПА1 и ПА2, содержащих МКПК, выделенные из образцов крови с внесенным дексаметазоном, и пятен в лунках с ПА1 и ПА2, содержащих МКПК, выделенные из образцов крови без дексаметазона, не превысили 25%. Содержание интерферона бета-1b в количестве 0,04 мкг/мл в клинических образцах оказывало влияние на эффективность теста в зависимости от донора. Коэффициенты вариации результатов проведенных испытаний в лунках с ПА1 и ПА2, содержащих МКПК, выделенные из образцов крови с внесенным интерфероном бета-1b, и пятен в лунках с ПА1 или ПА2, содержащих МКПК, выделенные из образцов крови без интерферона бета-1b для трех из четырех доноров, превысили 25%.

Оценка чувствительности и специфичности

Проведенные исследования показали, что в лунках с негативным контролем (К–) у пациентов любой из испытуемых категорий, количество пятен не превышало 14, в среднем наблюдалось 3 пятна. В лунках с позитивным контролем (К+) количество пятен всегда превышало 100.

На панели МКПК от условно здоровых лиц (n = 42) специфичность «ТиграТест® SARS-CoV-2» составила 100%, не было выявлено ни одного ложноположительного результата.

У добровольцев, иммунизированных вакциной «Гам-КОВИД-Вак» в 91,67% случаев подтверждался статус, среднее количество пятен (n = 12) в лунке с ПА1 составило 50, а с ПА2 — 8 пятен.

У добровольцев, переболевших COVID-19, подтвержденным ПЦР или наличием специфических антител, в 95,45% случаев также подтверждался статус. У шести добровольцев пятна (12 пятен, за вычетом пятен в отрицательном контроле) регистрировались только в лунке с ПА2. Количество пятен в лунке с ПА1 не превышало 10 (за вычетом пятен в отрицательном контроле).

В одном случае у добровольца с верифицированным диагнозом COVID-19, регистрировалось количество пятен, превышающее 12 (за вычетом пятен в отрицательном контроле), только в лунке с ПА1.

В другом случае у добровольца с верифицированным диагнозом COVID-19 регистрировалось количество пятен менее 10 (за вычетом пятен в отрицательном контроле) только в лунке с ПА1, а в лунке с ПА2 — 12 пятен, и результат оценивался как сомнительный.

В сорока двух случаях у добровольцев с верифицированным диагнозом COVID-19 регистрировалось количество пятен более 12 (за вычетом пятен в отрицательном контроле) в лунках с обеими панелями антигенов. Для этой категории добровольцев среднее количество пятен в лунке с ПА1 составило 39, а в лунке с ПА2 — 72 пятна.

Стабильность биологических образцов

Важным показателем любой тест-системы является получение достоверных результатов при оценке образцов, подвергшихся влиянию внешних условий, особенно это касается температуры хранения. Анализ данных показал, что образцы крови стабильны в течение 24 ч при комнатной температуре 18–25°С. При этом с течением времени наблюдается увеличение количества неспецифической секреции IFNγ в контрольной лунке (К–) в виде диффузных, с не очерченными границами пятен. Если в интервале 0–24 ч наблюдается варьирование количества пятен в лунках в пределах ±10%, то уже спустя 48 ч количество четко очерченных пятен в лунках с ПА1 и ПА2 снижается на 90%, а через 72 ч в соответствующих лунках пятна не обнаруживаются. Графические результаты представлены на рис. 2 (вклейка, с. II).

Прецизионность

Вариабельность внутри одного планшета в течение одного аналитического цикла (АЦ). Коэффициент вариации результатов измерения количества пятен внутри одного планшета в течение одного аналитического цикла в одном и том же образце с использованием «ТиграТест® SARS-CoV-2» в лунках с ПА1 и ПА2 не превышал 25%.

Вариабельность между операторами внутри одного лота (партии) теста. Результаты оценки вариабельности между операторами представлены в табл. 3.

 

Таблица 3. Статистическая обработка данных при оценке вариабельности между операторами внутри одного планшета и одного лота (партии) «ТиграТест® SARS-CoV-2» для переболевших COVID-19 и добровольцев, иммунизированных вакциной «Гам-КОВИД-Вак» (Спутник V) / Table 3. Data statistical processing while assessing variability between in-plate single lot (batch) “TigraTest® SARS-CoV-2” data for COVID-19 patients and donors immunized with the “Gam-COVID-Vac” vaccine (Sputnik V)

Доброволец

Volunteer

Лунка

Well

Оператор

Operator

Среднее

Mean

Стандартное отклонение (S)

Standard deviation

Коэффициент вариации (RSD%)

Coefficient of variation

№ 1

№ 2

1

ПА1

Antigen panel 1

36

26

31

7,1

23

ПА2

Antigen panel 2

34

25

29,5

6,4

22

2

ПА1

Antigen panel 1

10

12

11

1,4

13

ПА2

Antigen panel 2

37

46

41,5

6,4

15

3

ПА1

Antigen panel 1

10

9

9,5

0,7

7

ПА2

Antigen panel 2

18

17

17,5

0,7

4

4

ПА1

Antigen panel 1

14

15

14,5

0,7

5

ПА2

Antigen panel 2

13

14

13,5

0,7

5

5

ПА1

Antigen panel 1

36

44

40

5,7

14

ПА2

Antigen panel 2

5

4

4,5

0,7

16

6

ПА1

Antigen panel 1

38

30

34

5,7

17

ПА2

Antigen panel 2

5

0

2,5

3,5

141*

7

ПА1

Antigen panel 1

22

19

20,5

2,1

10

ПА2

Antigen panel 2

14

15

14,5

0,7

5

8

ПА1

Antigen panel 1

40

36

38

2,8

7

ПА2

Antigen panel 2

6

7

6,5

0,7

11

Примечание. Добровольцы 1–4 — переболевшие COVID-19; добровольцы 5–8 — вакцинированные; * — показатель исключен при статистической обработке данных.

Note. Donors 1–4 — COVID-19 patients; donors 5–8 — vaccinated; * — parameter excluded from statistical analysis.

 

Коэффициенты вариации между лотами (партиями) теста для переболевших в лунках с ПА1 и ПА2 в одном и том же образце не превышали 25%.

Вариабельность между лотами (партиями) теста. Коэффициенты вариации между лотами (партиями) теста для переболевших и вакцинированных в лунках с ПА1 и ПА2 в одном и том же образце не превышали 25% (табл. 4).

 

Таблица 4. Статистическая обработка данных при оценке вариабельности между сериями «ТиграТест® SARS-CoV-2» одним оператором для переболевших COVID-19 и добровольцев, иммунизированных вакциной «Гам-КОВИД-Вак» (Спутник V) / Table 4. Data statistical processing while assessing the inter-batch variability for «TigraTest® SARS-CoV-2» by a single operator for COVID-19 patients and donors immunized with the “Gam-COVID-Vac” vaccine (Sputnik V)

Доброволец

Volunteer

Лунка

Well

Серия «ТиграТест® SARS-CoV-2»

Batches of “TigraTest® SARS-CoV-2”

Среднее

Mean

Стандартное отклонение (S)

Standard deviation

Коэффициент вариации (RSD%)

Coefficient of variation

120

220/320

111-20

1

ПА1

Antigen panel 1

26

26

28

26,7

1,2

4

ПА2

Antigen panel 2

25

34

30

29,7

4,5

15

2

ПА1

Antigen panel 1

12

10

8

10,0

2,0

20

ПА2

Antigen panel 2

46

32

41

39,7

7,1

18

3

ПА1

Antigen panel 1

9

14

12

11,7

2,5

22

ПА2

Antigen panel 2

17

17

20

18,0

1,7

10

4

ПА1

Antigen panel 1

15

12

12

13,0

1,7

13

ПА2

Antigen panel 2

14

15

18

15,7

2,1

13

5

ПА1

Antigen panel 1

44

33

39

38,7

5,5

14

ПА2

Antigen panel 2

4

3

4

3,7

0,6

16

6

ПА1

Antigen panel 1

30

31

24

28,3

3,8

13

ПА2

Antigen panel 2

0

0

0

0,0

0,0

0

7

ПА1

Antigen panel 1

19

17

18

18,0

1,0

6

ПА2

Antigen panel 2

15

20

19

18,0

2,6

15

8

ПА1

Antigen panel 1

38

34

31

34,3

3,5

10

ПА2

Antigen panel 2

7

5

6

6,0

1,0

17

Примечание. Добровольцы 1–4 — переболевшие COVID-19; добровольцы 5–8 — вакцинированные.

Note. Donors 1–4 — COVID-19 patients; donors 5–8 — vaccinated.

 

Обсуждение

ELISPOT — это высокочувствительный, относительно простой в исполнении и воспроизводимый метод идентификации и количественного определения даже очень редких антиген-специфических Т-клеток [7, 9, 10], отвечающих за формирование клеточного иммунитета, в том числе и при COVID-19. При этом до настоящего времени все еще остаются нерешенными вопросы относительно длительности Т-клеточного иммунитета и его выраженности после перенесенного COVID-19 или иммунизации вакцинными препаратами.

На показатели специфичности и чувствительности теста, являющимися важнейшими аналитическими характеристиками методики, отражающими ее возможности в получении объективных и достоверных результатов, существенное влияние может оказывать качество и стабильность биологических образцов.

В литературе встречается достаточно данных, свидетельствующих о стабильности образцов крови при хранении в пробирках с литий-гепарином для проведения биохимических исследований [5], кроме того, показано, что транспортировка образцов крови в течение ночи не наносит существенного ущерба субпопуляциям Т-клеток, и они сохраняют свой фенотип и пролиферативную способность [11]. Нашими исследования также подтверждена стабильность в течение 24 ч при комнатной температуре образцов крови в пробирках, содержащих в качестве антикоагулянта натриевую соль гепарина. Увеличение сроков хранения образцов приводило к снижению чувствительности теста, что выражалось уменьшением количества четко ограниченных пятен и, вероятно, было связано как с лизисом, так и с апоптозом в клеточной популяции [16].

При изучении влияния дексаметазона и интерферона-бета установлено, что применение для терапии некоторых инфекционных (гепатиты В и С, папилломатоз) и аутоиммунных (рассеянный склероз) заболеваний интерферонов, может оказывать влияние на последующую активацию Т-клеток при постановке теста. При этом показано, что дексаметазон не обладает свойствами интерферентов и не оказывает влияние на специфичность теста.

Cпецифичность подобранной пары антител в данном тесте, а также процедура отмывки МКПК, минимизирует учет неспецифического выброса цитокинов Т-лимфоцитами, что позволяет повышать диагностические характеристики «ТиграТест® SARS-CoV-2».

При испытании внутри- и межсерийной прецизионности показано, что результаты удовлетворяли критериям приемлемости — RSD ≤ 25%.

Проведенная валидация «ТиграТест® SARS-CoV-2» для выявления Т-клеточного ответа к вирусу SARS-CoV-2 показала соответствие ее параметров принятым критериям приемлемости по чувствительности и специфичности (более 90%), в том числе специфичности по отношению к другим целевым аналитам (100%), прецизионности (не более 25%) и влиянию интерферирующих веществ на специфичность теста. Дополнительно установлена стабильность биологических образцов в течение 24 ч после их взятия, позволяющая получать воспроизводимые и достоверные результаты исследований.

Полученные в рамках валидационных испытаний данные свидетельствуют об аналитической надежности сконструированного АО «ГЕНЕРИУМ» теста на основе ELISPOT и позволяют его использовать в целях эпидемиологического надзора за инфекционными болезнями человека путем оценки наличия у различных групп населения иммунитета, как постинфекционного, так и приобретенного, после проведения мероприятий по специфической профилактике коронавирусной инфекции, вызываемой SARS-CoV-2, а также для оценки формирования Т-клеточного иммунитета при проведении прививочных кампаний в отношении вакцинных препаратов, для которых опубликованы данные о способности формирования Т-клеточного ответа.

В исследованиях были использованы только свежевыделенные МКПК, однако существуют достаточное количество исследований, свидетельствующих о возможности криоконсервации клеток [1, 2, 7, 10, 17]. Так, M. Matijevic и соавт. советуют при разморозке клеток промывать их средой, содержащей ДНКазы (например, Benzonase®), которые позволят минимизировать неспецифическую активацию размороженных клеток.

Дальнейшие исследования направлены на оптимизацию условий криоконсервирования клеток, позволяющих сохранять функциональные свойства клеток, проведение клинических испытаний на большем количестве пациентов, установлении длительности сохранения выраженного Т-клеточного иммунитета после перенесенного заболевания и иммунизации, а также оценку применимости «ТиграТест® SARS-CoV-2» для мониторинга эффективности специфических профилактических мероприятий, осуществляемых вакцинными препаратами, содержащими в качестве антигенов не только спайк (S)-белок SARS-CoV-2.

Благодарности

Коллектив авторов выражает благодарность научному сотруднику отдела молекулярной биологии и биохимии департамента генно-инженерных биологических препаратов Зариповой Д.Т., а также директору департамента управления проектами, к.х.н. Сауткиной Е.Н.

Иллюстрации к статье «Внутрилабораторная валидация «ТиграТест® SARS-CoV-2» — теста на высвобождение интерферона гамма in vitro для определения в крови Т-лимфоцитов, специфически отвечающих на антигены вируса SARS-CоV-2» (авторы: И.В. Лягоскин, П.Е. Каргополова, Д.А. Объедков, И.Ю. Егорова, Р.Р. Шукуров) (с. 701–712) / Illustrations for the article “Intra-laboratory validated “Tigratest® SARS-CoV-2” — test assessing release of interferon gamma in vitro to identify peripheral blood T-lymphocytes specifically responding against SARS-CoV-2 virus antigens” (authors: Lyagoskin I.V., Kargopolova P.E., Obyedkov D.A., Egorova I.Yu., Shukurov R.R.) (pp. 701–712)

 

Рисунок 1. Оценка специфичности пары антител, используемых в «ТиграТест® SARS-CoV-2» / Figure 1. Evaluated specificity of the antibody pair used in “TigraTest® SARS-CoV-2”

 

Рисунок 2. Пример результатов оценки уровня выброса IFNγ у пациента, иммунизированного вакциной «Гам-КОВИД-Вак» (Спутник V), после стимуляции МКПК ПА1 в различных временных точках при хранении крови в пробирках BD Vacutainer® / Figure 2. Representative results assessing the IFNγ level released in the patient immunized with the “Gam-COVID-Vac” vaccine (Sputnik V) after PBMC stimulation with antigen panel No. 1 at different time points during blood storage in BD Vacutainer® tubes

×

About the authors

Ivan V. Lyagoskin

JSC “GENERIUM”

Author for correspondence.
Email: lyagoskin@ibcgenerium.ru
ORCID iD: 0000-0002-9058-1106

PhD (Biology), Head of the Analytical Methods Division, Department of the Pharmaceutical Analysis

Russian Federation, 14, Vladimirskaya str., poselok Volginsky, Petushinsky district, Vladimir Region, 601125

Pauline E. Kargopolova

JSC “GENERIUM”

Email: peignatieva@ibcgenerium.ru
ORCID iD: 0000-0003-4132-5971

Analytical Chemist, Laboratory of Biological Methods, Analytical Methods Division, Department of the Pharmaceutical Analysis

Russian Federation, Volginsky, Petushinsky District, Vladimir Region

Dmitry A. Obyedkov

JSC “GENERIUM”

Email: daobedkov@generium.ru
ORCID iD: 0000-0002-8719-7795

Researcher, Laboratory of Biological Methods, Analytical Methods Division, Department of the Pharmaceutical Analysis

Russian Federation, Volginsky, Petushinsky District, Vladimir Region

Irina Yu. Egorova

JSC “GENERIUM”

Email: iyegorova@generium.ru
ORCID iD: 0000-0001-7996-9321

PhD, MD (Veterinary), Associate Professor, Head of the Group of Diagnostic Test-Systems, Division of Molecular Diagnostics, Department of the Pharmaceutical Analysis

Russian Federation, Volginsky, Petushinsky District, Vladimir Region

Rahim R. Shukurov

JSC “GENERIUM”

Email: Shukurov@ibcgenerium.ru
ORCID iD: 0000-0002-6532-7835

PhD (Biology), Director of the Department of the Pharmaceutical Analysis

Russian Federation, Volginsky, Petushinsky District, Vladimir Region

References

  1. Потеряев Д.А., Аббасова C.Г., Игнатьева П.Е., Стрижакова О.М., Колесник С.В., Хамитов Р.А. Оценка Т-клеточного иммунитета к SARS-CoV-2 у переболевших и вакцинированных против COVID-19 лиц с помощью ELISPOT набора ТиграТест® SARS-CoV-2 // БИОпрепараты. Профилактика, диагностика, лечение. 2021. Т. 21, № 3. С. 178–192. [Poteryaev D.A., Abbasova S.G., Ignatyeva P.E., Strizhakova O.M., Kolesnik S.V., Khamitov R.A. Assessment of T-cell immunity to SARS-CoV-2 in COVID-19 convalescents and vaccinated subjects, using TigraTest® SARS-CoV-2 ELISPOT kit. BIOpreparaty. Profilaktika, diagnostika, lechenie = BIOpreparations. Prevention, Diagnosis, Treatment, 2021, vol. 21, no. 3, pp. 178–192. (In Russ.)] doi: 10.30895/2221-996X-2021-21-3-178-192
  2. Потеряев Д.А., Хамитов Р.А., Ефимов Г.А., Шустер А.М. Перспективы использования технологической платформы ELISPOT в системе противоэпидемических мероприятий против новой коронавирусной инфекции COVID-19 // БИОпрепараты. Профилактика, диагностика, лечение. 2020. Т. 20, № 3. С. 146–158. [Poteryaev D.A., Khamitov R.A., Efimov G.A., Shuster A.M. Prospects for using the ELISPOT technological platform as part of anti-epidemic measures against the new coronavirus infection COVID-19. BIOpreparaty. Profilaktika, diagnostika, lechenie = BIOpreparations. Prevention, Diagnosis, Treatment, 2020, vol. 20, no. 3, pp. 146–158. (In Russ.)] doi: 10.30895/2221-996X-2020-20-3-146-158
  3. Asai T., Storkus W.J., Whiteside T.L. Evaluation of the modified ELISPOT assay for gamma interferon production in cancer patients receiving antitumor vaccines. Clin. Diagn. Lab. Immunol., 2000, vol. 7, no. 2, pp. 145–154. doi: 10.1128/CDLI.7.2.145-154.2000
  4. Dimeski G. Interference testing. Clin. Biochem. Rev., 2008, vol. 29, suppl. 1, pp. S43–S48.
  5. Henriksen L.O., Faber N.R., Moller M.F., Nexo E., Hansen A.B. Stability of 35 biochemical and immunological routine tests after 10 hours storage and transport of human whole blood at 21°C. Scand. J. Clin. Lab. Invest., 2014, vol. 74, no. 7, pp. 603–610. doi: 10.3109/00365513.2014.928940
  6. Islam R., Vance J., Poirier M., Zimmer J., Khadang A., Williams D., Zemo J., Lester T., Fjording M., Hays A., Hughes N., Garofolo F., Sheldon C., Guilbaud R., Satterwhite C., Colletti K., Groeber E., Renfrew H., Yu M., Lin J., Fang X., Wissel M., Beadnell T., Lin J., Shah S., Garofolo W., Savoie N., Hayes R., Pirro J., Kane C., Luna M., Xu A., Cape S., O'Dell M., Wheller R., Ritzen H., Farley E., Kierstead L., Mylott W., Tabler E., Yuan M., Karnik S., Voelker T., DuBey I., Williard C., Dong K., Shi J., Yamashita J. Recommendations on ELISpot assay validation by the GCC. Bioanalysis, 2022, vol. 14, no. 4, pp. 187–193. doi: 10.4155/bio-2022-0010
  7. Janetzki S., Cox J.H., Oden N., Ferrari G. Standardization and validation issues of the ELISPOT assay. Methods Mol. Biol., 2005, vol. 302, pp. 51–86. doi: 10.1385/1-59259-903-6:051
  8. Ko J.H., Joo E.J., Park S.J., Baek J.Y., Kim W.D., Jee J., Kim C.J., Jeong C., Kim Y.J., Shon H.J., Kang E.S., Choi Y.K., Peck K.R. Neutralizing antibody production in asymptomatic and mild COVID-19 patients, in comparison with pneumonic COVID-19 patients. J. Clin. Med., 2020, vol. 9, no. 7: 2268. doi: 10.3390/jcm9072268
  9. Lalvani A., Pareek M. Interferon gamma release assays: principles and practice. Enferm. Infecc. Microbiol. Clin., 2010, vol. 28, no. 4, pp. 245–252. doi: 10.1016/j.eimc.2009.05.012
  10. Matijevic M., Urban R.G. Use of interferon-gamma ELISPOT in monitoring immune responses in humans. Methods Mol. Biol., 2005, vol. 302, pp. 237–252. doi: 10.1385/1-59259-903-6:237
  11. Posevitz-Fejfár A., Posevitz V., Gross C.C., Bhatia U., Kurth F., Schütte V., Bar-Or A., Meuth S.G., Wiendl H. Effects of blood transportation on human peripheral mononuclear cell yield, phenotype and function: implications for immune cell biobanking. PLoS One, 2014, vol. 9, no. 12: e115920. doi: 10.1371/journal.pone.0115920
  12. Power C.A., Grand C.L., Ismail N., Peters N.C., Yurkowski D.P., Bretscher P.A. A valid ELISPOT assay for enumeration of ex vivo, antigen-specific, IFNgamma-producing T cells. J. Immunol. Methods, 1999, vol. 227, no. 1–2, pp. 99–107. doi: 10.1016/s0022-1759(99)00074-5
  13. Rahman I.U., Ali N., Ijaz F., Afzal A., Abd Allah E.F. COVID-19 — important considerations for developing and using a vaccine. Hum. Vaccin. Immunother., 2021, vol. 17, no. 2, pp. 414–415. doi: 10.1080/21645515.2020.1781507
  14. Ranganathan P., Aggarwal R. Common pitfalls in statistical analysis: understanding the properties of diagnostic tests — Part 1. Perspect. Clin. Res., 2018, vol. 9, no. 1, pp. 40–43. doi: 10.4103/picr.PICR_170_17
  15. Smith J.G., Liu X., Kaufhold R.M., Clair J., Caulfield M.J. Development and validation of a gamma interferon ELISPOT assay for quantitation of cellular immune responses to varicella-zoster virus. Clin. Diagn. Lab. Immunol., 2001, vol. 8, no. 5, pp. 871–879. doi: 10.1128/CDLI.8.5.871-879.2001
  16. Wong K.H., Sandlin R.D., Carey T.R., Miller K.L., Shank A.T., Oklu R., Maheswaran S., Haber D.A., Irimia D., Stott S.L., Toner M. The role of physical stabilization in whole blood preservation. Sci. Rep., 2016, vol. 6: 21023. doi: 10.1038/srep21023
  17. Zayed R.A., Omran D., Zayed A.A. COVID-19 clinical and laboratory diagnosis overview. J. Egypt. Public Health Assoc., 2021, vol. 96, no. 1: 25. doi: 10.1186/s42506-021-00087-w

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Figure 1. Evaluated specificity of the antibody pair used in “TigraTest® SARS-CoV-2”

Download (38KB)
3. Figure 2. Representative results assessing the IFNγ level released in the patient immunized with the “Gam-COVID-Vac” vaccine (Sputnik V) after PBMC stimulation with antigen panel No. 1 at different time points during blood storage in BD Vacutainer® tubes

Download (116KB)

Copyright (c) 2022 Lyagoskin I.V., Kargopolova P.E., Obyedkov D.A., Egorova I.Y., Shukurov R.R.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 64788 от 02.02.2016.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies