Выяснилась тут такая очень интересная вещь - SA612/602 критична к уровню сигнала гетеродина. Причем проявляется это не в изменении коэффициента передачи, а в увеличении уровня шумов. Как следствие поднимается шумовая дорожка. При минимальном токе в 2мА на выходе SI5351 напряжение в несколько раз превышает рекомендуемое для SA612. "Лечится" эта проблема очень просто - в цепочке 0,1u-100R-0.1u которая стоит между выходом SI5351 и 6й ногой SA612 первый конденсатор (который подключен к SI5351) заменяем на резистор 330 ом.
После этой переделки надо откалибровать "ноль" соеденив вход с выходом (slope детектора калибровать не надо)
Вот график шумовой до и после переделки. Выигрыш достигает 10-12 dB