Что это такое?

Это проверка качества пароля.

Зачем это нужно?

Чтобы вы не могли устанавливать пароли типа qwerty или 123.

Как это настроить?

false

Проверка не производится. Сообщение о слишком коротком пароле — только предупреждение, его можно игнорировать.

true

Производится проверка по параметрам, перечисленным ниже. Подробнее см. man pam_pwquality.

Что делать, если это не работает?

Оно не может не работать.