Да я уже разобрался. Одной софтины я так и не нашел. Пришлось обьходиться двумя.

VirtualDubMod и BeSweet/BeLight

Может кому пригодится опишу вкратце процесс.

1. При помощи VirtualDubMod разбираем mkv на видео поток, сохраняем его как avi (direct stream mode), и ogg звук. (в моем случае это важно тк у меня в исходниках звук кодирован vorbis а его плеер не знает)

2. При помощи BeSweet/BeLight ogg(vorbis) звук перегоняем в mp3 с постоянным битрейтом 128к или 192к как нарвится. постоянный битрейт важен, иначе при сборке будет рассинхронизация видео и звука.

3 VirtualDubMod добавляем к видео avi mp3 звук.

Как субтитры добавить, и возможно-ли это для avi контейнера так и не понял. Пока не получилось. Хотя сам поток VirtualDubMod из исходного mkv спокойно выдирает.