У меня такие же проблемы. Этот квадрат скорее всего из-за знака тире.
Лично у меня это из-за того что я пользуюсь Голландским хостером, и он видимо это тире не поддерживает. К этому нелепому выводу я пришел потаму, что я перепробовал все способы.
Вывод действительно интересный!
У меня есть шаблон WP, в котором, в сейдбаре выводятся последние статьи с анонсами, так вот в начале каждого анонса есть черный ромбик с вопросительным знаком. С наскоку удалить это явление не получилось, глубже не копал. С кодировкой все норм.
Честно даже и не знаю- как то особо не разбирался.
Если что, то сообщу.
Такие кривозяблики у меня на всех сайтах расположенных у данного хостера с движком и без.
Скорее нужно прописывать типа фонтов для шрифтов.
Добавлено спустя 05 минут 16 секунд
Скорее вего нужно прописывать типа фонтов для шрифтов, что было возможно правильно распозновать знаки.
Как убрать?
884.18 
. К этому нелепому выводу я пришел потаму, что я перепробовал все способы.