Optimization and validation of flow cytometry method for quantification of SARS-CoV-2 antigen-reactive human memory T cells

Cover Page


Cite item

Full Text

Abstract

A proper and representative monitoring of SARS-CoV-2 herd immunity including a long-term health impact on recovered patients and vaccinated individuals is of great importance. For this, a monitoring campaign should assesses both humoral and T-cell immune arms. Upon that, analyzing antigen specific-cell activation and cellular phenotype are informative. We developed a flow cytometry method for detection of intracellular IFNγ-producing antigen-reactive T cells after exposure of human peripheral blood mononuclear cells (PBMC) to SARS-CoV-2 virus antigens. The method was validated according to the following characteristics: sensitivity, specificity, precision, and robustness. We used positive samples from donors recovered from COVID-19 and negative samples from donors who had no contact with COVID-19 patients and lacking antibodies to SARS-CoV-2. All samples were tested by laboratory methods. Peripheral blood mononuclear cells were isolated from donor blood by centrifugation in a Ficoll density gradient. Specific T cells were stimulated with S-protein as well as N, M, ORF3a, and ORF7a protein peptides to count IFNγ-producing T cells by flow cytometer. The data were statistically analyzed. The area limited by ROC-curve and false positive rate (AUC) for CD4 and CD8 cells was from 0.97 to 1.00. Precision was considered acceptable because the coefficient of variation for all PBCM did not exceed 20%. Robustness was confirmed for frozen and freshly prepared PBMC samples. The thresholds levels to recognize immune and non-immune samples were defined for CD4-positive T-cells (0.029%) and CD8-positive T-cells (0.064–0.068%). Also, acceptance criteria for positive and negative controls were defined. Based on the validation, the suitability of the method “Evaluation of antigen-reactive T cells that produce intracellular IFN in response to SARS-CoV-2 virus antigens by flow cytometry” was confirmed. The method allows for reliable data that was used to characterize standard control samples for internal quality control of TigraTest® SARS-CoV-2 kits.

Full Text

Введение

В начале 2020 г. Всемирная организация здравоохранения (ВОЗ) классифицировала вспышку нового типа коронавируса COVID-19 как пандемию. С тех пор целью многих эпидемиологических и экспериментальных работ было исследование иммунологических аспектов коронавирусной инфекции, что, в свою очередь, способствовало поиску методов ее лечения и профилактики.

Клинические проявления SARS-CoV-2 варьируют от бессимптомной инфекции до тяжелой дыхательной недостаточности. Механизмы, которые определяют особенности течения болезни, остаются до конца невыясненными. Есть основания полагать, что наличие иммунного ответа, в котором задействованы Т-клетки памяти, является ключевым звеном в формировании устойчивого защитного иммунитета в отношении SARS-CoV-2 [2, 5, 7, 9, 17]. Кроме того, специфичный к SARS-CoV-2 Т-клеточный иммунный ответ сохраняется после элиминации нейтрализующих антител в течение по крайней мере 12 месяцев [8, 12]. В связи с этим проведение мониторинга не только гуморального, но и Т-клеточного популяционного иммунитета к вирусу COVID-19 следует считать необходимым элементом эпидемиологического надзора в условиях пандемии.

Существует ряд методов, которые позволяют измерять иммунологические биомаркеры в материале, полученном из венозной крови — ткани, наиболее доступной для иммунологического исследования в клинических испытаниях [7, 16]. Для выявления иммунологических биомаркеров в форме экспрессированных цитокинов хорошо зарекомендовал себя метод внутриклеточного окрашивания цитокинов (ICS), применяемый к стимулированным мононуклеарным клеткам периферической крови (МКПК) с последующим проточным цитометрическим анализом. Внутриклеточное окрашивание цитокинов, в отличие от альтернативных подходов (ELISpot или ELISA), позволяет обнаруживать специфическое подмножество клеток-респондеров (например, CD4- или CD8-положительные Т-клетки), выявлять ассоциированные маркеры дифференцировки (например, маркеры фенотипа памяти или состояния активации), проводить функциональные тесты (например, регистрировать продукцию цитокинов, маркеров цитотоксичности и т. д.), детектируя одновременно экспрессию нескольких цитокинов/хемокинов и маркеров пролиферации. Современные многопараметрические инструменты позволяют одновременно измерять экспрессию многих маркеров [5, 9].

Цель нашей работы — разработать и валидировать метод проточной цитометрии для оценки содержания антиген-реактивных Т-клеток, продуцирующих внутриклеточный IFNγ под воздействием на мононуклеарные клетки периферической крови человека антигенов вируса SARS-CoV-2.

Материалы и методы

Добровольцы, участвующие в исследовании. Образцы крови. Все добровольцы, участвующие в исследовании, заполняли опросный лист с указанием основных характеристик, симптомов заболевания, наличия инфекции SARS-CoV-2, подтвержденной лабораторными тестами, наличия пневмонии, подтвержденной компьютерной томографией, дату иммунизации (если была) и использованный вакцинный препарат. Условно здоровые доноры также отмечали отсутствие продолжительных контактов с больными COVID-19.

Взятие обазцов крови осуществлялось венепункцией в условиях процедурного кабинета АО «ГЕНЕРИУМ» в период с апреля по июль 2021 г. в пгт. Вольгинский Владимирской области (Россия). От каждого донора было получено добровольное информированное согласие на взятие образцов крови и включение результатов их анализа в данное исследование. Проведение исследования было одобрено локальным независимым этическим комитетом при АО «ГЕНЕРИУМ» (протокол № 01 от 11.11.2020). У переболевших COVID-19 кровь отбирали в интервале от 1 до 10 мес. после исчезновения симптомов заболевания или наличия отрицательного теста ПЦР.

Выделение мононуклеарных клеток периферической крови и приготовление рабочих суспензий. Мононуклеарные клетки периферической крови (МКПК) выделяли методом центрифугирования в градиенте плотности фиколла (ρ = 1,077 г/см3) (НПП «ПанЭко») не позднее чем через 1 ч после забора крови. Подсчет клеток проводили с использованием счетчика клеток — NucleoCounter® NC-100. Готовили рабочую суспензию клеток МКПК с концентрацией 5,0 × 106 кл/мл и вносили в каждую лунку планшета по 5,0 × 105 МКПК (оптимальное количество) в среде ADCF-Mab® (HyClone, США) в объеме 100 мкл либо замораживали.

Криоконсервация. Клетки осаждали центрифугированием при 400g. Осадок клеток ресуспендировали в среде для криоконсервации клеток (эмбриональная телячья сыворотка (FBS, Capricorn Scientific, Германия) с добавлением 10% диметилсульфоксида (Sigma-Aldrich, США)), доводя содержание до 5,0 × 106 кл/мл. Суспензию вносили по 1,0 мл в промаркированные криопробирки, которые помещали в коробку из пенопласта с крышкой и охлаждали в морозильной камере при температуре не выше минус 70°С. Через 24–72 ч пробирки переносили в криохранилище с жидким азотом и хранили до использования.

Размораживание МКПК. Криопробирку с клетками размораживали на водяной бане при температуре (37±1)°С. Содержимое криоампул переносили в пробирку, содержащую 5,0 мл среды для постановки теста. Центрифугировали 1 мин при 400g и температуре (20±5)°С. Осадок клеток ресуспендировали в 1,0 мл среды для постановки теста и определяли их количество и жизнеспособность с помощью счетчика клеток. Готовили рабочую суспензию МКПК для проведения анализа по живым клеткам.

Антигены и контроли. В качестве антигенов для стимуляции специфических Т-клеток использовали пептиды, соответствующие основным белковым антигенам коронавируса SARS-CoV-2: панель антигенов № 1 (АГ1, пептиды S-белка) и антигенов № 2 (АГ2, пептиды белков N, M, ORF3a и ORF7a). Пептиды, соответствующие основным белковым антигенам коронавируса SARS-CoV-2 для стимуляции специфических Т-клеток, были выбраны на основе публикаций, идентифицировавших репертуар и встречаемость различных эпитопов для TCR у пациентов и конвалесцентов COVID-19. С помощью биоинформатического анализа в основном были исключены эпитопы, способные давать значительную кросс-реактивность с Т-клеточными эпитопами так называемых «простудных» коронавирусов штаммов OC43, NL63, 229E, HKU1. Для выбора оптимального набора пептидов, учитывая распространенность TCR эпитопов и их соответствие генотипам HLA в человеческой популяции, использовали следующие работы и базы данных [14, 17, 21, 24, 25, 26].

Для каждого образца МКПК использовали 8 лунок. Отрицательный и положительный контроль применяли для каждого образца индивидуально. В качестве отрицательного контроля использовали среду ADCF-Mab® (HyClone, США), в качестве положительного контроля — раствор фитогемагглютинина (ООО НПП «ПанЭко») с конечной концентрацией в лунке 7 мкг/мл.

Процедура анализа. Планшеты инкубировали при температуре (37±1)°С, содержании СO2 (5,0±0,5)% и влажности 95% в течение 16–24 ч. По окончании инкубации в каждую из лунок вносили по 10 мкл рабочего раствора ингибитора транспорта белков в среде ADCF-Mab® (HyClone, США) из расчета 1 мкл ингибитора на 1 × 106 клеток. Инкубировали 4 ч при температуре (37±1)°С в атмосфере (5,0±0,5)% СО2 при влажности 95%.

По окончании инкубации МКПК два раза отмывали фосфатно-солевым буферным раствором, осаждая центрифугированием в течение 5 мин при 500g и температуре (20±5)°С. Вносили раствор реагента Fixable Viability Stain 510 (BD Biosceinces, США) в PBS (1 мкл реагента на 1 × 106 клеток). Инкубировали в течение (9±2) мин при температуре (37±1)°С. Клетки отмывали два раза фосфатно-солевым буферным раствором, осаждая центрифугированием при 500g и температуре (20±5)°С.

В лунки с МКПК вносили реагенты для иммунофенотипирования — мышиные антитела против человеческого CD3, меченые PerCP-Cy ™ 5.5 (клон UCHT1); мышиные антитела против человеческого CD4, меченые PE (клон RPA-T4); мышиные антитела против человеческого CD8, меченые BB515 (клон RPA-T8) до финального разведения 1:150 в FACS-буфере с добавлением раствора для блокирования неспецифического связывания с Fc-рецепторами клеток (Fc Blook, BD Biosceinces, США) в соотношении 1:100. Инкубировали планшет в течение (30±5) мин при температуре (5±2)°С. По окончании инкубации клетки трижды отмывали FACS буфером, осаждая клетки центрифугированием при 500g и температуре (5±3)°С.

Осадок МКПК ресуспендировали в 100 мкл/лунка раствора для фиксации (Fixation Buffer, BD Biosceinces, США) и инкубировали в течение (20±2) мин при температуре (5±2)°С. После инкубации дважды отмывали клетки охлажденным FACS-буфером.

Клетки МКПК однократно отмывали рабочим раствором для пермеабилизации и отмывки (Perm/Wash, BD Biosceinces, США) и ресуспендировали в растворе Perm/Wash. Инкубировали в течение (20±2) мин при температуре (5±2)°С. После инкубации клетки осаждали и вносили (кроме неокрашенной пробы и FMO-контроля по IFNγ) реагент для определения IFNγ (мышиные антитела, специфичные к человеческому IFNγ меченые BV421, клон B27) до финального разведения 1:100. Инкубировали в течение (30±5) мин при температуре (5±2)°С. После инкубации дважды отмывали клетки раствором для пермеабилизации, осаждая центрифугированием при 500g и температуре (5±2)°С. Осадок ресуспендировали в растворе Perm/Wash.

Обработка результатов анализа. Все результаты были получены на проточном цитометре BD FACSCanto II с использованием шаблонов, созданных с помощью программного обеспечения FACSDiva (BD Biosciences, версия 6.1.3).

Оптимальные значения интенсивности флуоресценции (MFI) (для каждого из флуорохромов в панели PerCP-Cy™5.5; PE; BB515 BV421) были получены методом титрования напряжений с измерением индекса окрашивания (Stain Index) до достижения максимального разделения позитивной и негативной популяций. Целевой диапазон MFI для каждого флуоресцентного канала был установлен с использованием среднего значения MFI±два стандартных отклонения.

Для ежедневной настройки прибора перед сбором обработанных образцов был проведен ряд шагов по стандартизации. Сначала были запущены Cytometer Setup и Tracking beads (BD Biosciences, Сан-Хосе, Калифорния), и полученные настройки были использованы в эксперименте. Затем напряжения на фотоэлектронном умножителе были отрегулированы так, чтобы они попадали в заданный целевой диапазон MFI.

Для установки компенсации для учета спектрального перекрытия между флуоресцентными каналами использовали набор для оптимизации настроек компенсации флуоресценции для многоцветных проточных цитометрических анализов BD CompBeads Anti-Mouse Ig k/Negative Control Compensation Particles Set (BD Biosciences).

При выполнении цитометрического анализа использовали следующий порядок гейтирования: из целевой популяции клеток выделяли живые клетки, затем выделяли CD3-положительную популяцию, затем — CD4- и CD8-позитивные клетки, среди которых выделяли Т-клетки, позитивные по маркерам IFNγ (рис. 1, II обложка). Для достоверности получаемых данных в живых клетках регистрировали не менее 20 000 событий.

 

Рисунок 1. Порядок выделения целевых популяций Т-клеток МПКП

Figure 1. Flow cytometry gating strategy for PBMCs T cells

Примечание. А — выделение клеточной популяции; Б — выделение популяций живые/мертвые; В — выделение популяции CD3; Г — выделение популяции CD4- и CD8-позитивных клеток; Д — выделение популяции CD4-IFN³-позитивных клеток; Е — выделение популяции CD8-IFN³-позитивных клеток.

Note. A — cells; B — live/dead; C — CD3 positive; D — CD4+ and CD8+; E — CD4-IFN³-positive; F — CD8-IFN³-positive.

 

Результаты

Нами была проведена серия предварительных экспериментов для определения оптимальных реагентов, объемов, времени и других процедурных деталей проточного цитометрического анализа. Затем, используя оптимизированный метод, определяли чувствительность, специфичность, прецизионность и робастность.

Валидационные испытания методики по характеристикам «чувствительность» и «специфичность» проводили, исследуя образцы:

  • положительные — МКПК от 18 доноров, переболевших COVID-19, с диагнозом, верифицированным лабораторными методами (ПЦР, ИФА), и 1 донора, привитого вакциной «Спутник V» (АО «ГЕНЕРИУМ»);
  • отрицательные — мононуклеарные клетки периферической крови, отобранные от 9 доноров с отрицательным анамнезом, не контактировавших с больными COVID-19, с отсутствием антител к антигенам SARS-CoV-2 (по результатам ИФА).

При исследовании материала от интактных и переболевших доноров с использованием панелей АГ1 и АГ2 антигенов вируса SARS-CoV-2 определяли процентное содержание продуцентов IFNγ среди CD4- и CD8-позитивных Т-клеток. Далее применяли ROC-анализ [1, 29] и определяли для каждой из двух популяций значения AUC (площади, ограниченной ROC-кривой и осью ложноположительных классификаций). Информативность метода считалась приемлемой при условии, что AUC составляла не менее 0,7.

Результаты оценки приведены в табл. 1–2 и на рис. 2–3.

 

Таблица 1. Сводные результаты определения процентного содержания продуцентов IFNγ среди CD4- и CD8-позитивных Т-клеток при исследовании образцов МКПК от иммунных и неиммунных доноров с использованием панелей АГ1 и АГ2 антигенов вируса SARS-CoV-2

Table 1. The percentage of IFNγ producing CD4 and CD8 T cells among immune and non-immune donor-derived PBMC samples incubated with SARS-CoV-2 antigen panels (Ag1 and Ag2)

Популяция Т-клеток

T-cell population

CD4+

CD8+

Панель антигенов

Antigen panel

АГ1

Ag1

АГ2

Ag2

АГ1

Ag1

АГ2

Ag2

Иммунные доноры

Immune donors

Интервал значений

Range % (IFNγ+)

0,022–0,108

0,021–0,138

0,072–0,213

0,046–0,374

Среднее значение

Average value % (IFNγ+)

0,060

0,061

0,138

0,183

%CV

41,9

50,2

29,3

48,1

Неиммунные доноры

Non-immune donors

Интервал значений

Range of % (IFNγ+)

0,011–0,031

0,009–0,028

0,010–0,057

0,017–0,051

Среднее значение

Average value % (IFNγ+)

0,019

0,020

0,035

0,030

%CV

35,9

31,0

45,9

35,5

 

Таблица 2. Результаты ROC-анализа (оценка информативности метода, подбор порогового значения для оптимизации чувствительности и специфичности)

Table 2. ROC analysis (i.e., evaluation of assay’s threshold to optimize both sensitivity and specificity)

Т-клетки

T-cells type

Панель антигенов

Antigens panel

AUC (95% ДИ)

AUC (95% CI)

Пороговое значение

Threshold

Чувствительность

% Sensitivity

Специфичность

% Specificity

CD4+

АГ1

Ag1

0,97 (0,91–1,00)

0,029

88,9

88,9

АГ2

Ag2

0,97 (0,91–1,00)

0,029

94,4

100,0

CD8+

АГ1

Ag1

1,00 (1,00–1,00)

0,064

100,0

100,0

АГ2

Ag2

0,99 (0,97–1,00)

0,068

94,4

100,0

 

 

Рисунок 2. Результаты определения процентного содержания продуцентов IFNγ среди CD4-позитивных (слева) и CD8-позитивных (справа) Т-клеток при исследовании образцов МКПК от иммунных (темные маркеры) и неиммунных (светлые маркеры) доноров с использованием панелей АГ1 и АГ2 антигенов вируса SARS-CoV-2

Figure 2. The percentage of IFNγ producing CD4 (left) and CD8 (right) T-cells among immune (dark dots) and non-immune (light dots) donor-derived PBMC samples incubated with SARS-CoV-2 antigen panels (Ag1 and Ag2)

 

Для исследования прецизионности методики использовали образцы МКПК от трех доноров — двух переболевших и одного вакцинированного. Прецизионность оценивали на двух уровнях — сходимость и внутрилабораторная прецизионность.

Оценку сходимости выполняли 2 оператора, каждый из которых выполнил по 3 независимых измерения для 3 образцов МКПК от разных доноров, в 2 аналитических циклах (АЦ), с использованием обеих панелей антигенов вируса SARS-CoV-2 (всего 4 АЦ).

 

Рисунок 3. ROC-кривые, полученные при исследовании процентного содержание продуцентов IFNγ среди CD4- и CD8-позитивных Т-клеток у иммунных и неиммунных доноров с использованием панелей АГ1 и АГ2 антигенов вируса SARS-CoV-2

Figure 3. ROC analysis for percentage of IFNγ-producing CD4 and CD8 T-cells among immune and non-immune donor-derived PBMC samples incubated with SARS-CoV-2 antigen panels (Ag1 and Ag2)

 

Для оценки сходимости отдельно в каждом АЦ вычисляли дисперсию значений процентного содержания продуцентов IFNγ, полученных при повторных измерениях каждого образца МКПК. Значения дисперсии усредняли между АЦ и операторами (полученное значение далее в тексте обозначается как Vсх) и вычисляли коэффициент вариации сходимости (%CVсх) как отношение квадратного корня усредненной дисперсии к среднему значению процентного содержания продуцентов IFNγ для каждого образца МКПК (далее в тексте обозначается как M).

Для оценки внутрилабораторной прецизионности в каждом АЦ вычисляли значения процентного содержания продуцентов IFNγ, усредненные по повторным измерениям каждого образца МКПК. Далее вычисляли стандартное отклонение между усредненными результатами каждого АЦ (далее в тексте обозначается как Vмц). Коэффициент вариации внутрилабораторной прецизионности (CVвв) вычисляли по формуле [3]:

%CVвв =Vмц+(11N)VсхM

где N — количество измерений образца в пределах АЦ, остальные условные обозначения см. в тексте.

Полученные значения приведены в табл. 3.

 

Таблица 3. Результаты оценки сходимости и внутрилабораторной прецизионности

Table 3. Repeatability and intermediate precision assessment

Популяция Т-клеток

T-cell population

CD4+

CD8+

Панель антигенов

Antigen panel

АГ1

Ag1

АГ2

Ag2

АГ1

Ag1

АГ2

Ag2

CV сходимости

%CV of repeatability

16,5–18,8

11,7–17,5

3,8–6,9

4,7–13,8

CV внутрилабораторной прецизионности

%CV of intermediate precision

14,2–19,3

11,4–19,0

6,5–15,3

8,9–13,3

 

Для оценки криостабильности образцы МКПК от 3 доноров анализировали в свежеприготовленном виде и после однократного цикла заморозки/разморозки. Анализ проводили только в формате CD8/АГ1. Полученные результаты приведены в табл. 4.

 

Таблица 4. Результаты оценки криостабильности МКПК как показателя робастности методики

Table 4. Comparison of frozen and freshly prepared PBMCs samples

Донор МКПК

PBMCs donor

Статус образца МКПК

PBMCs sample

Результат

Result

Превышение порогового значения (0,064%)

Threshold exceeded (0,064%)

1

Свежеприготовленный

Freshly prepared

0,200

Да

Yes

Замороженный

Frozen

0,233

Да

Yes

2

Свежеприготовленный

Freshly prepared

0,168

Да

Yes

Замороженный

Frozen

0,173

Да

Yes

3

Свежеприготовленный

Freshly prepared

0,199

Да

Yes

Замороженный

Frozen

0,147

Да

Yes

 

В качестве дополнения был выполнен расчет критериев приемлемости для показателей отклика положительного и отрицательного контрольных антигенов, используемых в анализе (см. табл. 5).

 

Таблица 5. Расчет критериев приемлемости для показателей отклика положительного и отрицательного контрольных антигенов

Table 5. Evaluation of acceptance criteria for positive and negative controls’ response

 

Отрицательный контроль

Negative control

Положительный контроль

Positive control

Размах отклика

Response range

0,010–0,065

0,759–6,02

То же после логарифмирования

Log-response range

от –2,000 до –1,367

от –0,120 до 0,780

Усредненный логарифмированный отклик

Averaged log-response

–1,659

0,351

Стандартное отклонение

Standart deviation

0,216

0,246

Вычисленное значение критерия приемлемости

Acceptance criterion

≤ 0,059

≥ 0,725

 

Для этого значения отклика, полученные в опытах по оценке чувствительности и специфичности (см. выше), были логарифмированы по основанию 10. Для них были вычислены среднее арифметическое (M) и стандартное отклонение (SD). Значения критериев приемлемости как предельные значения отклика (L), обеспечивающие ожидаемую частоту сбоев не выше 5%, были вычислены по формулам:

  • для отрицательного контроля: L (–) ≤ 10M+2SD;
  • для положительного контроля: L (+) ≥ 10M–2SD.

Обсуждение

Сбалансированный иммунный ответ связан с более легким течением заболевания, при этом важную в иммунитете COVID-19 роль играют CD4+ и CD8+ Т-клетки. У лиц с нарушенной регуляцией антиген-специфического ответа, например, в возрасте более 65 лет, имеющих связанный со старением дефицит наивных Т-клеток, чаще наблюдается плохой исход [18]. При анализе Т-клеточного ответа на SARS-CoV-2 необходимо дифференцировать ответ перекрестно-реактивых к эндемичным коронавирусам человека (HCoV) Т-клеток. Активация Т-клеток антигенами SARS-CoV-2, в зависимости от исследования, наблюдалась у 35–90% здоровых людей, чья иммунная система не встречалась с данным патогеном [7, 14, 19, 20, 25, 29]. При этом находящиеся в дыхательных путях перекрестно-реактивные Т-клетки важны для защиты от аэрозольной трансмиссии SARS-CoV-2 [11]. Кроме того, количество перекрестно-реактивных Т-клеток коррелирует с исходом инфекции после воздействия SARS-CoV-2 [13]. Т-клетки, отвечающие на SARS-CoV-2 у наивных пациентов, можно отличить от клеток после инфекции COVID-19 по профилю секреции цитокинов после стимуляции пулом пептидов SARS-CoV-2 [27]. Цитометрические анализы экспрессии цитокинов, маркеров активации или пролиферации, демонстрируют высокую чувствительность, позволяя определять истинный статус образцов [22].

Проточная цитометрия еще не достигла такой же степени стандартизации, как другие лабораторные методы. В условиях поисковых исследований не всегда проводится строгая проверка эффективности анализа. Это создает проблему при определении уровня детализации, точки отсечения, приемлемой точности и других критериев достоверности метода. В нашей работе мы описываем общий подход для оценки реактивности Т-клеток памяти человека к антигенам вируса SARS-CoV-2 c использованием проточной цитометрии.

В рамках выполненной работы нами проведено экспериментальное подтверждение пригодности метода для получения достоверных результатов. В ходе валидационных испытаний методики по характеристикам «чувствительность» и «специфичность», для CD4 и CD8 популяций Т-клеток и обеих панелей антигенов получены значения AUC выше 0,95, что подтверждает высокую информативность метода. Пороговые значения сигнала (процентного содержания продуцентов IFNγ), обеспечивающие оптимальную чувствительность и специфичность (около 90% и выше), составили для CD4-позитивных Т-клеток 0,029%, для CD8-позитивных Т-клеток 0,064–0,068%.

Критерии приемлемости при оценке внутрилабораторной прецизионности и сходимости были нами установлены на основе перечня основополагающих специализированных работ [4, 10, 23, 28]. Сходимость и внутрилабораторная прецизионность считались приемлемыми, если %CVсх и %CVвв по всем образцам МКПК не превышали 20%. Оптимальную сходимость и внутрилабораторную прецизионность показал формат метода CD8/АГ1 и CD8/АГ2, предполагающий определение процентного содержания продуцентов IFNγ среди CD8-позитивных Т-клеток с использованием панели антигенов АГ1 и АГ2. Этот формат решено использовать в дальнейшем как основной при проведении рутинных анализов.

В качестве показателя робастности методики нами была выбрана стадия заморозки/разморозки образца МКПК, которая может влиять на состояние клеток и их способность продуцировать IFNγ в присутствии антигена. В ходе экспериментов робастность подтвердили, установив, что для всех образцов МКПК в свежеприготовленном виде и после цикла заморозки/разморозки результат определения значений процентного содержания CD8-позитивных Т-клеток по маркерам IFNγ был выше порогового значения, определенного при оценке чувствительности и специфичности (0,064%). Таким образом, в ходе исследований была доказана возможность использования в данном методе как свежевыделенных, так и замороженных МКПК.

Спонтанное высвобождение IFNγ в анализах было описано в литературе и было связано с образцами PBMC от доноров с повышенными уровнями предшествующей иммунной активации как CD4+, так и CD8+ Т-клеток [15]. Чтобы отличить пептид-специфические ответы в образцах РВМС от высокого неспецифического фона, мы установили подтверждающую точку отсечения для отрицательного контроля. Эта точка отсечения будет использоваться для определения специфичности пептидного ответа (если и пептидная стимуляция и отсутствие пептидной стимуляции привели к ответам). У лиц с нарушенной регуляцией антиген-специфического ответа, например, имеющих связанный со старением дефицит наивных Т-клеток [14], возможна низкая степень активации иммунокомпетентных клеток в ответ на патоген. Чтобы подтвердить отсутствие нарушений регуляции антиген-специфического ответа мы установили подтверждающую точку отсечения для положительного контроля (не менее 0,725).

На основании описанных результатов валидации метод был признан пригодным для оценки реактивности Т-клеток памяти человека к антигенам вируса SARS-CoV-2 c использованием проточной цитометрии.

Выводы

По итогам валидации, подтверждена пригодность методики «Оценка антиген-реактивных Т-клеток, продуцирующих внутриклеточный IFNγ при воздействием на мононуклеарные клетки периферической крови человека антигенов вируса SARS-CoV-2, методом проточной цитометрии» для получения достоверных результатов при определении содержания внутриклеточного IFNγ в МКПК. Методику использовали при характеризации стандартных контрольных образцов для внутреннего контроля качества наборов ТиграТест® SARS-CoV-2.

×

About the authors

Olga M. Strizhakova

JSC “GENERIUM”

Email: Strizhakova@ibcgenerium.ru
ORCID iD: 0000-0003-0023-0028

PhD (Veterinary), Researcher, Laboratory of Biological Methods, Analytical Methods Division, Department of the Pharmaceutical Analysis

Россия, Volginsky, Petushinsky District, Vladimir Region

Andrey S. Pershin

JSC “GENERIUM”

Author for correspondence.
Email: aspershin@generium.ru
ORCID iD: 0000-0002-5099-3050
SPIN-code: 7558-3934

PhD (Veterinary), Researcher, Laboratory of Biological Methods, Analytical Methods Division, Department of the Pharmaceutical Analysis

Россия, Volginsky, Petushinsky District, Vladimir Region

Alexander A. Kazarov

JSC “GENERIUM”

Email: kazarov@ibcgenerium.ru
ORCID iD: 0000-0003-0682-6113

Senior Researcher, Laboratory of Immunochemistry, Analytical Methods Division, Department of the Pharmaceutical Analysis

Россия, Volginsky, Petushinsky District, Vladimir Region

Ivan V. Lyagoskin

JSC “GENERIUM”

Email: lyagoskin@ibcgenerium.ru
ORCID iD: 0000-0002-9058-1106

PhD (Biology), Head of the Analytical Methods Division, Department of the Pharmaceutical Analysis

Россия, Volginsky, Petushinsky District, Vladimir Region

Yana A. Bahareva

JSC “GENERIUM”

Email: yabahareva@generium.ru

Chemist, Laboratory of Biological Methods, Analytical Methods Division, Department of the Pharmaceutical Analysis

Россия, Volginsky, Petushinsky District, Vladimir Region

Alexander P. Vasil'ev

JSC “GENERIUM”

Email: vasilev@ibcgenerium.ru

Junior Researcher, Laboratory of Biological Methods, Analytical Methods Division, Department of the Pharmaceutical Analysis

Россия, Volginsky, Petushinsky District, Vladimir Region

Yulia A. Nikonova

JSC “GENERIUM”

Email: yanikonova@ibcgenerium.ru

Researcher, Laboratory of Biological Methods, Analytical Methods Division, Department of the Pharmaceutical Analysis

Россия, Volginsky, Petushinsky District, Vladimir Region

Irina Yu. Egorova

JSC “GENERIUM”

Email: iyegorova@generium.ru
ORCID iD: 0000-0001-7996-9321

Head of the Group of Diagnostic Test Systems, Division of Molecular Diagnostics, Department of the Pharmaceutical Analysis

Россия, Volginsky, Petushinsky District, Vladimir Region

Rahim R. Shukurov

JSC “GENERIUM”

Email: Shukurov@ibcgenerium.ru
ORCID iD: 0000-0002-6532-7835

PhD (Biology), Director of the Department of the Pharmaceutical Analysis

Россия, Volginsky, Petushinsky District, Vladimir Region

Ravil A. Khamitov

JSC “GENERIUM”

Email: Khamitov@ibcgenerium.ru
ORCID iD: 0000-0002-1314-894X

DSc (Medicine), Professor, Vice President of Research and Development

Россия, Volginsky, Petushinsky District, Vladimir Region

References

  1. ГОСТ Р 5302.3-2008. Национальный стандарт Российской Федерации. Технологии лабораторные клинические. Требования к качеству клинических лабораторных исследований. Часть 3. Правила оценки клинической информативности лабораторных тестов. [State Standard Р 5302.3-2008. Clinical laboratory technologies. Requirements for quality of clinical laboratory tests. Part 3. Assessment of laboratory tests clinical significance (In Russ.)]
  2. Потеряев Д.А., Аббасова C.Г., Игнатьева П.Е., Стрижакова О.М., Колесник С.В., Хамитов Р.А. Оценка Т-клеточного иммунитета к SARS-CoV-2 у переболевших и вакцинированных против COVID-19 лиц с помощью ELISPOT набора ТиграТест® SARS-CoV-2 // БИОпрепараты. Профилактика, диагностика, лечение. 2021. Т. 21, № 3. С. 178–192. [Poteryaev D.A., Abbasova S.G., Ignatyeva P.E., Strizhakova O.M., Kolesnik S.V., Khamitov R.A. Assessment of T-cell immunity to SARS-CoV-2 in COVID-19 convalescents and vaccinated subjects, using TigraTest® SARS-CoV-2 ELISPOT kit. BIOpreparaty. Profilaktika, diagnostika, lechenie = BIOpreparations. Prevention, Diagnosis, Treatment, 2021, vol. 21, no. 3, pp. 178–192. (In Russ.)] doi: 10.30895/2221-996X-2021-21-3-178-192
  3. РМГ 61-2010. Рекомендации по межгосударственной стандартизации. Государственная система обеспечения единства измерений. Показатели точности, правильности, прецизионности методик количественного химического анализа. Методы оценки. Москва, 2013. [State system for ensuring the uniformity of measurements. Accuracy, trueness and precision measures of the procedures for quantitative chemical analysis. Methods of evaluation. Moscow, 2013. (In Russ.)]
  4. Barnett D., Louzao R., Gambell P., De J., Oldaker T., Hanson C.A., ICSH/ICCS Working Group. Validation of cell-based fluorescence assays: practice guidelines from the ICSH and ICCS — part IV — postanalytic considerations. Cytometry B Clin. Cytom., 2013, vol. 84, pp. 309–314. doi: 10.1002/cyto.b.21107
  5. Bert N.L., Tan A.T., Kunasegaran K., Tham C.Y.L., Hafezi M., Chia A., Chng M., Lin M., Tan N., Linster M., Chia W.N., Chen M.I.-C., Wang L.-F., Ooi E.E., Kalimuddin S., Tambyah P.A., Low J.G.-H., Tan Y.-J., Bertoletti A. SARS-CoV-2-specific T cell immunity in cases of COVID-19 and SARS, and uninfected controls. Nature, 2020, vol. 584, pp. 457–462. doi: 10.1038/s41586-020-2550-z
  6. Beveridge N.E.R., Price D.A., Casazza J.P., Pathan A.A., Sander C.R., Asher T.E., Ambrozak D.R., Precopio M.L., Scheinberg P., Alder N.C., Roederer M., Koup R.A., Douek D.C., Hill A.V., McShane H. Immunisation with BCG and recombinant MVA85A induces long-lasting, polyfunctional Mycobacterium tuberculosis-specific CD4+ memory T lymphocyte populations. Eur. J. Immunol., 2007, vol. 37, pp. 3089–3100. doi: 10.1002/eji.200737504
  7. Braun J., Loyal L., Frentsch M., Wendisch D., Georg P., Kurth F., Hippenstiel S., Dingeldey M., Kruse B., Fauchere F., Baysal E., Mangold M., Henze L., Lauster R., Mall M.A., Beyer K., Röhmel J., Voigt S., Schmitz J., Miltenyi S., Demuth I., Müller M.A., Hocke A., Witzenrath M., Suttorp N., Kern F., Reimer U., Wenschuh H., Drosten C., Corman V.M., Giesecke-Thiel C., Sander L.E., Thiel A. SARS-CoV-2-reactive T cells in healthy donors and patients with COVID-19. Nature, 2020, vol. 587, pp. 270–274. doi: 10.1038/s41586-020-2598-9
  8. Britten C.M., Janetzki S., Butterfield L.H., Ferrari G., Gouttefangeas C., Huber C., Kalos M., Levitsky H.I., Maecker H.T., Melief C.J.M., O’Donnell-Tormey J., Odunsi K., Old L.J., Ottenhoff T.H.M., Ottensmeier C., Pawelec G., Roederer M., Roep B.O., Romero P., Van der Burg S.H., Walter S., Hoos A., Davis M.M. T cell assays and MIATA: the essential minimum for maximum impact. Immunity, 2012, vol. 37, no. 1, pp. 1–2. doi: 10.1016/j.immuni.2012.07.010
  9. Chen J., Liu X., Zhang X., Lin Y., Liu D., Xun J., Wang Z., Gu L., Li Q., Yin D., Yang J., Lu H. Decline in neutralising antibody responses, but sustained T cell immunity, in COVID-19 patients at 7 months post-infection. Clin. Transl. Immunol., 2021, vol. 10, no. 7: e1319. doi: 10.1002/cti2.1319
  10. Darrah P.A., Patel D.T., De Luca P.M., Lindsay R.W.B., Davey D.F., Flynn B.J., Hoff S.T., Andersen P., Reed S.G., Morris S.L., Roederer M., Seder R.A. Multifunctional TH1 cells define a correlate of vaccine-mediated protection against Leishmania major. Nat. Med., 2007, vol. 13, no. 7, pp. 843–850. doi: 10.1038/nm1592
  11. Davis B.H., Dasgupta A., Kussick S., Han J.Y., Estrellado A., Group I.I.W. Validation of cell-based fluorescence assays: practice guidelines from the ICSH and ICCS — part II — preanalytical issues. Cytometry Part B (Clinical Cytometry), 2013, vol. 84, no. 5, pp. 286–290. doi: 10.1002/cyto.b.21105
  12. Diniz M.O., Mitsi E., Swadling L., Rylance J., Johnson M., Goldblatt D., Ferreira D., Maini M.K. Airway-resident T cells from unexposed individuals cross-recognize SARS-CoV-2. Nat. Immunol., 2022, vol. 23, no. 9, pp. 1324–1329. doi: 10.1038/s41590-022-01292-1
  13. Guo L., Wang G., Wang Y., Zhang Q., Ren L., Gu X., Huang T., Zhong J., Wang Y., Wang X., Huang L., Xu L., Wang C., Chen L., Xiao X., Peng Y., Knight J.C., Dong T., Cao B., Wang J. SARS-CoV-2-specific antibody and T-cell responses 1 year after infection in people recovered from COVID-19: a longitudinal cohort study. Lancet, 2022, vol. 3, no. 5, pp. 348–356. doi: 10.1016/S2666-5247(22)00036-2
  14. Kundu, R., Narean, J.S., Wang, L. Fenn J., Pillay T., Fernandez N.D., Conibear E., Koycheva A., Davies M., Tolosa-Wright M., Hakki S., Varro R., McDermott E., Hammett S., Cutajar J., Thwaites R.S., Parker E., Rosadas C., McClure M., Tedder R., Taylor G.P., Dunning J., Lalvani A. Cross-reactive memory T cells associate with protection against SARS-CoV-2 infection in COVID-19 contacts. Nat. Commun., 2022, vol. 13, no. 1: 80. doi: 10.1038/s41467-021-27674-x
  15. Liu A.Y., De Rosa S.C., Guthrie B.L., Choi R.Y., Kerubo-Bosire R., Richardson B.A., Kiarie J., Farquhar C., Lohman-Payne B. High background in ELISpot assays is associated with elevated levels of immune activation in HIV-1-seronegative individuals in Nairobi. Immun. Inflamm. Dis., 2018, vol. 6, no. 3, pp. 392–401. doi: 10.1002/iid3.231
  16. Maecker H.T., Rinfret A., D’Souza P., Darden J., Roig E., Landry C., Hayes P., Birungi J., Anzala O., Garcia M., Harari A., Frank I., Baydo R., Baker M., Holbrook J., Ottinger J., Lamoreaux L., Epling C.L., Sinclair E., Suni M.A., Punt K., Calarota S., El-Bahi S., Alter G., Maila H., Kuta E., Cox J., Gray C., Altfeld M., Nougarede N., Boyer J., Tussey L., Tobery T., Bredt B., Roederer M., Koup R., Maino V.C., Weinhold K., Pantaleo G., Gilmour J., Horton H., Sekaly R.P. Standardization of cytokine flow cytometry assays. BMC Immunol., 2005, vol. 6: 13. doi: 10.1186/1471-2172-6-13
  17. Mateus J., Grifoni A., Tarke A., Sidney J., Ramirez S.I., Dan J.M., Burger Z.C., Rawlings S.A., Smith D.M., Phillips E., Mallal S., Lammers M., Rubiro P., Quiambao L., Sutherland A., Yu E.D., da Silva Antunes R., Greenbaum J., Frazier A., Markmann A.J., Premkumar L., de Silva A., Peters B., Crotty S., Sette A., Weiskopf D. Selective and cross-reactive SARS-CoV-2 T cell epitopes in unexposed humans. Science, 2020, vol. 370, no. 6512, pp. 89–94. doi: 10.1126/science.abd3871
  18. Moderbacher C.R., Grifoni A., Weiskopf D., Ramirez S.I., Mateus J., Dan J.M., , Rawlings S.A., Sutherland A., Premkumar L., Jadi R.S., Marrama D., Aravinda de Silva M., Frazier A., Carlin A.F., Greenbaum J.A., Peters B., Krammer F., Smith D.M., Crotty S., Sette A. Targets of T cell responses to SARS-CoV-2 coronavirus in humans with COVID-19 disease and unexposed individuals. Cell, 2020, vol. 181, no. 7, pp. 1489–1501.e15. doi: 10.1016/j.cell.2020.05.015
  19. Nelde A., Bilich T., Heitmann J.S., Maringer Y., Salih H.R., Roerden M., Lübke M., Bauer J., Rieth J., Wacker M., Peter A., Hörber S., Traenkle B., Kaiser P.D., Rothbauer U., Becker M., Junker D., Krause G., Strengert M., Schneiderhan-Marra N., Templin M.F., Joos T.O., Kowalewski D.J., Stos-Zweifel V., Fehr M., Rabsteyn A., Mirakaj V., Karbach J., Jäger E., Graf M., Gruber L.C., Rachfalski D., Preuß B., Hagelstein I., Märklin M., Bakchoul T., Gouttefangeas C., Kohlbacher O., Klein R., Stevanović S., Rammensee H.G., Walz J.S. SARS-CoV-2-derived peptides define heterologous and COVID-19-induced T cell recognition. Nat. Immunol., 2021, vol. 22, no. 1, pp. 74–85. doi: 10.1038/s41590-020-00808-x
  20. Nolan S., Vignal M., Klinger M., Dines J.N., Kaplan I.M., Svejnoha E., Craft T., Boland K., Pesesky M., Gittelman R.M., Snyder T.M., Gooley C.J., Semprini S., Cerchione C., Mazza M., Delmonte O.M., Dobbs K., Carreño-Tarragona G., Barrio S., Sambri V., Robins H.S. A large-scale database of T-cell receptor beta (TCRβ) sequences and binding associations from natural and synthetic exposure to SARS-CoV-2. Research Square, 2020. Version 1. doi: 10.21203/rs.3.rs-51964/v1
  21. Ogbe A., Kronsteiner B., Skelly D.T., Pace M., Brown A., Adland E., Adair K., Akhter H.D., Ali M., Ali S.E., Angyal A., Ansari M.A., Arancibia-Cárcamo C.V., Brown H., Chinnakannan S., Conlon C., de Lara C., de Silva T., Dold C., Dong T., Donnison T., Eyre D., Flaxman A., Fletcher H., Gardner J., Grist J.T., Hackstein C.P., Jaruthamsophon K., Jeffery K., Lambe T., Lee L., Li W., Lim N., Matthews P.C., Mentzer A.J., Moore S.C., Naisbitt D.J., Ogese M., Ogg G., Openshaw P., Pirmohamed M., Pollard A.J., Ramamurthy N., Rongkard P., Rowland-Jones S., Sampson O., Screaton G., Sette A., Stafford L., Thompson C., Thomson P.J., Thwaites R., Vieira V., Weiskopf D., Zacharopoulou P.; Oxford Immunology Network Covid-19 Response T Cell Consortium; Oxford Protective T Cell Immunology for COVID-19 (OPTIC) Clinical Team; Turtle L., Klenerman P., Goulder P., Frater J., Barnes E., Dunachie S. T cell assays differentiate clinical and subclinical SARS-CoV-2 infections from cross-reactive antiviral responses. Nat. Commun., 2021, vol. 12, no. 1: 2055. doi: 10.1038/s41467-021-21856-3
  22. O’Hara D.M., Xu Y., Liang Z., Reddy M.P., Wu D.Y., Litwin V. Recommendations for the validation of flow cytometric testing during drug development: II assays. J. Immunol. Methods, 2011, vol. 363, no. 2, pp. 120–134. doi: 10.1016/j.jim.2010.09.036
  23. Peng Y., Mentzer A.J., Liu G., Yao X., Yin Z., Dong D., Dejnirattisai W., Rostron T., Supasa P., Liu C., Lopez-Camacho C., Slon-Campos J., Zhao Y., Stuart D., Paeson G., Grimes J., Antson F., Bayfield O.W., Hawkins D.E., Ker D.S., Turtle L., Subramaniam K., Thomson P., Zhang P., Dold C., Ratcliff J., Simmonds P., de Silva T., Sopp P., Wellington D., Rajapaksa U., Chen Y.L., Salio M., Napolitani G., Paes W., Borrow P., Kessler B., Fry J.W., Schwabe N.F., Semple M.G., Baillie K.J., Moore S., Openshaw P.J., Ansari A., Dunachie S., Barnes E., Frater J., Kerr G., Goulder P., Lockett T., Levin R., Cornall R.J., Conlon C., Klenerman P., McMichael A., Screaton G., Mongkolsapaya J., Knight J.C., Ogg G., Dong T. Broad and strong memory CD4+ and CD8+ T cells induced by SARS-CoV-2 in UK convalescent individuals following COVID-19. Nat. Immunol., 2020, vol. 21, no. 11, pp. 1336–1345. doi: 10.1038/s41590-020-0782-6
  24. Sekine T., Perez-Potti A., Rivera-Ballesteros O., Strålin K., Gorin J.B., Olsson A., Llewellyn-Lacey S., Kamal H., Bogdanovic G., Muschiol S., Wullimann D.J., Kammann T., Emgård J., Parrot T., Folkesson E., Rooyackers O., Eriksson L.I., Henter J-I., Sönnerborg A., Allander T., Albert J., Nielsen M., Klingström J., Gredmark-Russ S., Björkström N.K., Sandberg J.K., Price D.A., Ljunggren H.G., Aleman S., Buggert M. Robust T cell immunity in convalescent individuals with asymptomatic or mild COVID-19. Cell, 2020, vol. 183, no. 1, pp. 158–168. doi: 10.1016/j.cell.2020.08.017
  25. Shomuradova A.S., Vagida M.S., Sheetikov S.A., Zornikova K.V., Kiryukhin D., Titov A., Peshkova I.O., Khmelevskaya A., Dianov D.V., Malasheva M., Shmelev A., Serdyuk Y., Bagaev D.V., Pivnyuk A., Shcherbinin D.S., Maleeva A.V., Shakirova N.T., Pilunov A., Malko D.B., Khamaganova E.G., Biderman B., Ivanov A.V., Shugay M., Efimov G.A. SARS-CoV-2 epitopes are recognized by a public and diverse repertoire of human T cell receptors. Immunity, 2020, vol. 53, no. 6, pp. 1245–1257. doi: 10.1016/j.immuni.2020.11.004
  26. Tan C.C.S., Owen C.J., Tham C.Y.L., Bertoletti A., van Dorp L., Balloux F. Pre-existing T cell-mediated cross-reactivity to SARS-CoV-2 cannot solely be explained by prior exposure to endemic human coronaviruses. Infect. Genet. Evol., 2021, vol. 95: 105075. doi: 10.1016/j.meegid.2021.105075
  27. Tanqri S.,Vall H., Kaplan D., Hoffman B., Purvis N., Porwit A., Hunsberger B., Shankey T.V., Group I.I.W. Validation of cell-based fluorescence assays: practice guidelines from the ICSH and ICCS — part III — analytical issues. Cytometry B. Clin. Cytom., 2013, vol. 84, no. 5, pp. 291–308. doi: 10.1002/cyto.b.21106
  28. Weiskopf D., Schmitz K.S., Raadsen M.P., Grifoni A., Okba N.M.A., Endeman H., van den Akker J.P.C., Molenkamp R., Koopmans M.P.G., van Gorp E.C.M., Haagmans B.L., de Swart R.L., Sette A., de Vries R.D. Phenotype and kinetics of SARS-CoV-2-specific T cells in COVID-19 patients with acute respiratory distress syndrome. Sci. Immunol., 2020, vol. 5, no. 48: eabd2071. doi: 10.1126/sciimmunol.abd2071
  29. Zweig M.H., Campbell G. Receiver-operating characteristics (ROC) plots: a fundamental evaluation tool in clinical medicine. Clin. Chem., 1993, vol. 39, no. 4, pp. 561–577. doi: 10.1093/clinchem/39.4.561

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Figure 1. Flow cytometry gating strategy for PBMCs T cells

Download (450KB)
3. Figure 2. The percentage of IFNγ producing CD4 (left) and CD8 (right) T-cells among immune (dark dots) and non-immune (light dots) donor-derived PBMC samples incubated with SARS-CoV-2 antigen panels (Ag1 and Ag2)

Download (140KB)
4. Figure 3. ROC analysis for percentage of IFNγ-producing CD4 and CD8 T-cells among immune and non-immune donor-derived PBMC samples incubated with SARS-CoV-2 antigen panels (Ag1 and Ag2)

Download (250KB)

Copyright (c) 2023 Strizhakova O.M., Pershin A.S., Kazarov A.A., Lyagoskin I.V., Bahareva Y.A., Vasil'ev A.P., Nikonova Y.A., Egorova I.Y., Shukurov R.R., Khamitov R.A.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 64788 от 02.02.2016.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies