Ха! Я покопался. И кажется нашел в чем причина.
Это проблема... Вы не поверите. В телевизоре!
Попробуйте воспроизведите транскодированный файл со звуком AC3 на компе. Там все в порядке! При отправке его на телек, звук пропадает. Да, Сони, я не ожидал от тебя такого.
Выход только один. Поставить в настройках ХМС - звук MP3. (См скриншот выше.) Выход далеко не самый лучший, но это единственное, что мне помогло. Пробовал колупать настройки телека, безполезно; пробовал в ХМС принудительно выставить вывод звука в LPCM, распадается картинка. Еще много чего перепробовал.
Возможно, связано с тем, что у АС3 больший динамический диапазон, чем у МП3. А может потому, что в телевизоре срабатывает какое-то неотключаемое шумоподавление.