Как избежать подгонки при оптимизации.

Сразу оговоримся, что невозможно на 100% обезопасить себя от подгонки и получить уверенность в том, что МТС будет работать так же хорошо как в тестах. Наша задача-максимум получить надежду на то, что показатели МТС в реальной или демо-торговле после проведения оптимизации если и ухудшатся, то ненамного. Для этого существует несколько правил, которые необходимо неукоснительно соблюдать:

1.     Независимо от типа МТС, таймфрейма, уровней SL и TP оптимизацию проводим не на всём участке, который нас интересует. Исключаем из оптимизации порядка 1/5 последней его части. Так, если сегодня, к примеру 01.06.08 (см рисунок) и стоит задача провести оптимизацию за год, то исключаем последние 3 месяца и проводим оптимизацию с 01.03.07 по 01.03.08. Последние 3 месяца в оптимизации не участвуют – они отводятся на проверку МТС на тех исторических данных, которых она «не видела». Это аналог форвард-тестов (демо-) по ускоренной методике, но доверия они заслуживают ничуть не меньшего при условии грамотного написания кода (обработка реквот, дисконнектов, падений терминала…)

2.     Прогнали оптимизацию, получили массу положительных результатов (советник-то прибыльный ;). Теперь задём сквозную дату от 01.03.07 по сегодня, т.е. 01.06.08 и проверим как бы торговала наша МТС на участке проверки с оптимизированными параметрами. Из полученных при оптимизации результатов выбираем наилучшие по соотношению прибыль/просадка. Отметим отдельно что это совсем не обязательно должен быть лучший результат по значению баланса. ФВ (фактор восстановления = прибыль/просадка) – куда более важный результат для объективной оценки ТС. К сожалению, МТ4 его автоматически не рассчитывает. Прогоняем тест на всём участке т.е. от 01.03.07 по 01.06.08.

Примерно такой вид будет иметь кривая баланса одного из лучших результатов на участке оптимизации:

При прогоне этой же выборки на всем интервале включая участок проверки возможны два основных варианта:

•    Полученные результаты – типичная подгонка. Система торгует в убыток на участке проверки, кривая баланса загибается вниз:

 К сожалению, такой результат наиболее типичен, в этом случае выбираем для проверки следующий набор параметров и повторяем до тех пор пока не получим показатели и линию баланса, которые нас удовлетворят.

•    Результатам при выполнении определённых условий можно доверять. Показатели ТС (прибыльность, просадка, профит за определённый период) на участке проверки в основном сохранились, кривая баланса сохранила свой вид:

Так бывает редко и, как правило, не сразу. Но это именно тот набор параметров, при котором ТС отработала на неизвестных ей исторических данных, сохранив желанные нами характиристики.

3.   Если МТС на участке проверки (последних 3-х месяцах, не участвовавших в оптимизации) показала результаты близкие к полученным на интервале оптимизации, то при определённых условиях (об условиях ниже) можно принять их за оптимальные и использовать в торговле. Будьте готовы к тому, что прежде чем найти такие параметры среди сотен и тысяч «прибыльных», полученных при оптимизации, придётся перелопатить не один десяток, а то и сотню. Возможен вариант, когда таких результатов не будет вовсе. В этом случае меняем ТФ, валютную пару (или другой рыночный инструмент) и повторяем попытку. Если на участке проверки ТС не даёт приемлемых результатов ни при каких условиях, то место этой ТС – мусорная корзина.

Методика оптимизации с использованием участка проверки является разумной альтернативой длительным форвард-тестам, экономя дни, недели, месяцы времени, потраченные на демо-тесты, машинные ресурсы, трафик при получении ничуть не уступающих по качеству результатов.

В заключении главы необходимо отметить, что рассмотренный метод оптимизации является упрощённым. В науке и технике стандартом де-факто давно уже стал метод скользящего контроля, кросс-тестирование или bootstrap. Если кратко, то он состоит в следующем:

•      Оптимизируем на 2000 – 2003гг, тестируем на 2004г,

•      Оптимизируем на 2003 – 2004гг, тестируем на 2005г,

•      …,

•      Оптимизируем на 2003 – 2006гг, тестируем на 2007г,

Метод требует намного больше сил и времени, полученным с его помощью результатам действительно можно доверять. Метод родился не на форексе, прошёл огонь, воду и медные трубы. Если Вы не побоитесь его применить, то будете заслуженно вознаграждены полученным результатом. Справедливости ради отметим, что большинство наших ТС оптимизированы именно bootstrap- методом.

Показанные здесь значения интервалов оптимизации (12 мес.) + проверки (3 мес.) являются ориентировочными и выбраны из соображений наглядности. В практической работе трейдеры могут задавать периоды по своему усмотрению в зависимости от тактики ТС и рабочего ТФ. Например, 4 мес. + 1 мес., 12 недель + 3 недели, 4 года + 1 год и т.п. Советуем придерживаться лишь соотношения периода оптимизации к периоду проверки, которое должно быть близко к 4:1.