Можно. То есть это не является запрещенным.
Разговаривать во время азана не запрещено. На это указывают действия сподвижников. В частности, передано от Сулеймана абду Сурат, сподвижника Пророка (да благословит его Аллах и приветствует). что он произносил азан, и во время азана (читая азан) он приказывал что-то своему слуге.
Список уроков по «Книге намаза». Разъяснение «Сахих Муслима»