Для получения идентичных временных меток необходимо задать 3 параметра:
-vsync 0, чтобы избежать дублирования кадров и подстройки временной базы,
-enc_time_base -1, чтобы избежать подстройки временной базы на уровне кодера, и
-video_track_timescale с обратным значением временной базы источника.
Обратите внимание, что при параметрах кодирования по умолчанию B-кадры включены для кодера по умолчанию (libx264 для MP4), поэтому кадры будут храниться в порядке декодирования, который не совпадает с порядком представления. Для отключения этого параметра добавьте -bf 0.