Question 1

Что такое NLP (Natural Language Processing)?

Accepted Answer

NLP — это область искусственного интеллекта, которая занимается взаимодействием компьютеров с человеческим языком, включая его понимание, обработку и генерацию.

Question 2

Что такое tokenization?

Accepted Answer

Токенизация — это процесс разбиения текста на более мелкие единицы, называемые токенами (слова, подслова или символы), для дальнейшей обработки.

Question 3

Что такое TF‑IDF?

Accepted Answer

TF-IDF — это статистическая мера, которая отражает важность слова для документа в корпусе, учитывая частоту его появления в документе и его редкость во всем корпусе.

Question 4

Что делает stemming?

Accepted Answer

Стемминг — это процесс приведения слов к их корневой форме путем удаления суффиксов и окончаний, что помогает уменьшить количество уникальных слов.

Question 5

Что такое Word2Vec?

Accepted Answer

Word2Vec — это метод для создания векторных представлений слов (word embeddings), где слова со схожим значением располагаются близко друг к другу в многомерном пространстве.

Question 6

Что такое BERT?

Accepted Answer

BERT — это модель, основанная на архитектуре Transformer, которая генерирует контекстуальные векторные представления слов, учитывая весь контекст предложения в обоих направлениях.

Question 7

Что такое Named Entity Recognition (NER)?

Accepted Answer

NER — это задача извлечения информации, которая идентифицирует и классифицирует именованные сущности в тексте, такие как имена людей, организации, местоположения и даты.

Question 8

Что показывает BLEU score?

Accepted Answer

BLEU score - это стандартная метрика для оценки качества машинного перевода, которая сравнивает n-граммы сгенерированного текста с эталонными переводами. Она измеряет точность перевода на основе совпадения фрагментов текста.

Question 9

Что такое stopwords?

Accepted Answer

Стоп-слова — это часто встречающиеся функциональные слова (например, "the", "a", "is"), которые обычно удаляются из текста при предобработке, так как они не несут значимой смысловой нагрузки. Их удаление помогает уменьшить размерность данных и улучшить производительность моделей.

Question 10

Что такое Bag of Words (BoW)?

Accepted Answer

Bag of Words — это модель представления текста, где документ рассматривается как неупорядоченный набор слов, а его структура игнорируется. Она фокусируется только на частоте появления слов, представляя документ как вектор частот.

Question 11

Зачем нормализовать Unicode в текстовом пайплайне?

Accepted Answer

Один визуально одинаковый символ может иметь разные Unicode-представления; нормализация уменьшает технические расхождения.

Question 12

Что делает токенизация текста?

Accepted Answer

Токенами могут быть слова, подслова, символы или специальные единицы конкретного алгоритма.

Question 13

Когда регулярное выражение уместно для обработки текста?

Accepted Answer

Regex хорошо подходит для стабильных формальных шаблонов, но не заменяет семантическое понимание языка.

Матрица компетенций: NLP Engineer