Facebook начал использовать машинное обучение для определения приоритетов записей в очереди на модерацию.
В компании рассчитывают, что это ускорит работу по модерации публикаций и замедлит распространение вредоносного контента.
Для приоритизации публикаций используется комбинация различных алгоритмов машинного обучения, которые учитывают три критерия постов:
Неясно, как именно оцениваются эти критерии, но Facebook сообщает, что цель состоит в том, чтобы в первую очередь разобраться с наиболее опасными сообщениями. Чем более вирусным является сообщение (чем больше его видят и публикуют), тем быстрее он будет обработан. Такой же принцип и с серьезностью сообщения. Facebook говорит, что считает самыми важными посты, которые связаны с реальным вредом (контент, связанный с терроризмом, эксплуатацией детей или членовредительством). Но сообщения, типа спама, вызывающие раздражение, но не травмирующие, считаются наименее важными для проверки.
Если раньше модераторы обрабатывали посты в хронологическом порядке, что могло увеличивать время реагирования модератора на публикацию более срочных записей, то теперь важные сообщения должны быть видны первыми.
Так выглядела старая система модерации Facebook, сочетающая упреждающую модерацию с помощью фильтров машинного обучения и реактивных отчетов от пользователей Facebook.
А это новый процесс модерации, который теперь использует машинное обучение для сортировки очереди сообщений для проверки модераторами-людьми:
В компании рассчитывают, что это ускорит работу по модерации публикаций и замедлит распространение вредоносного контента.
Для приоритизации публикаций используется комбинация различных алгоритмов машинного обучения, которые учитывают три критерия постов:
- их вирусность
- серьезность
- вероятность нарушения правил.
Неясно, как именно оцениваются эти критерии, но Facebook сообщает, что цель состоит в том, чтобы в первую очередь разобраться с наиболее опасными сообщениями. Чем более вирусным является сообщение (чем больше его видят и публикуют), тем быстрее он будет обработан. Такой же принцип и с серьезностью сообщения. Facebook говорит, что считает самыми важными посты, которые связаны с реальным вредом (контент, связанный с терроризмом, эксплуатацией детей или членовредительством). Но сообщения, типа спама, вызывающие раздражение, но не травмирующие, считаются наименее важными для проверки.
Если раньше модераторы обрабатывали посты в хронологическом порядке, что могло увеличивать время реагирования модератора на публикацию более срочных записей, то теперь важные сообщения должны быть видны первыми.
Так выглядела старая система модерации Facebook, сочетающая упреждающую модерацию с помощью фильтров машинного обучения и реактивных отчетов от пользователей Facebook.
А это новый процесс модерации, который теперь использует машинное обучение для сортировки очереди сообщений для проверки модераторами-людьми:
