Ранги наборов параметров по двухгодичным тестовым периодам, в зависимости от значений n

Значение N набора	Ранг набора	Ранг набора	Ранг набора	Средний ранг
параметров	параметров в 1989-1990	параметров в 1991-1992	параметров в 1993-1994
				9,0
				5,0
				5,0
				3,3
				5,3
				6,7
				1,3
				3,3
				6,0

ГЛАВА 20. тестирование и оптимизация торговых систем 719

Будет поучительным рассмотреть наблюдения, связанные с предше­ствующим экспериментом по оптимизации.

• Оптимизация вообще не имела никакого значения, когда при­
менялась к каждому рынку в отдельности.

• Однако примененная к портфелю, оптимизация кажется полез­
ной для предсказания того, какой набор параметров с наиболь­
шей вероятностью покажет плохую результативность в будущем.
Тем не менее, оптимизация не может предсказать, какие из на­
боров параметров с наибольшей вероятностью продемонстри­
руют хорошую результативность в будущем.

• При более близком исследовании выяснилось, что модель по­
стоянно плохой результативности была не столько следствием
степени результативности на предшествующем периоде, сколь­
ко следствием значения параметра. Другими словами, протес­
тированный диапазон наборов параметров начинался со значе­
ния, которое явно было далеко от оптимального для данной си­
стемы: N = 20. Хотя и не показанные в таблицах, более низкие
значения для N продемонстрировали бы дальнейшее падение ре­
зультативности по мере уменьшения значений N.

• За исключением крайних значений параметров (N = 20 или
ниже в этом примере), явно далеких от оптимального значения,
было мало стабильности в значениях наборов параметров с наи­
лучшей результативностью внутри широкого диапазона наборов
параметров (от N = 30 до N = 100 в этом примере).

Эти наблюдения, которые согласуются с результатами похожих эм­пирических тестов, предпринятых мною в прошлом, предполагают сле­дующие ключевые выводы относительно оптимизации*:

1. От любой системы, повторяю, от любой системы с помощью оп­тимизации можно добиться того, чтобы она была очень прибыль­ной на исторических данных. Если вы когда-нибудь обнаружи­те систему, которая не может быть оптимизирована так, чтобы показывать относительно хорошую прибыль в прошлом, примите мои поздравления: вы только что открыли машину по производ-

Хотя единственный эмпирический эксперимент не может быть использо­ван как основа для широких обобщений, я готов сделать таковые здесь, по­скольку только что описанные результаты абсолютно типичны для многих по­добных тестов, предпринятых мною в прошлом. В этом смысле исследование оптимизации, разобранное в данной главе, не рассматривается в качестве до­казательства нежизнеспособности оптимизации, а скорее, в качестве иллюст­рации этого момента.

720 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

ству денег (поступайте противоположно ее сигналам, если толь­ко транзакционные затраты не чрезмерны). Таким образом, при­ятно смотреть на удивительную результативность оптимизиро­ванной системы в прошлом, однако она имеет мало практичес­кой ценности.

2. Оптимизация будет всегда, повторяю, всегда преувеличивать по­
тенциальную будущую результативность системы — обычно
весьма сильно. Таким образом, результаты оптимизации никог­
да не должны, повторяю, никогда не должны использоваться для
оценки достоинств системы.

3. Для многих, если не для большинства систем, оптимизация не
будет улучшать будущую результативность или улучшит ее незна­
чительно.

4. Если оптимизация и имеет какое-то значение, оно обычно со­
стоит в определении широких границ диапазона, из которых
следует выбирать значения наборов параметров для системы.
Тонкая подстройка оптимизации — это в лучшем случае поте­
ря времени, а в худшем — самообман.

5. В свете всех предшествующих пунктов искушенные и слож­
ные процедуры оптимизации — пустая трата времени. Наи­
простейшие оптимизационные процедуры будут предоставлять
не меньшее количество значимой информации (предполагая,
что, вообще, может быть извлечена некоторая значимая ин­
формация).

В итоге, в противоположность широко распространенным верованиям, существует некий резонный вопрос: приведет ли оптимизация к суще­ственно лучшим результатам при длительном периоде торговли, чем случайным образом выбранный набор параметров? Чтобы не было ни­каких недоразумений, позвольте мне уточнить: это утверждение не при­звано подразумевать, что у оптимизации вообще нет никакой ценнос­ти. Во-первых, как указано ранее, оптимизация может быть полезна при определении явно неподходящего диапазона параметров, который сле­дует исключить при выборе значений параметра (например, N # 20 в нашем примере системы пробоя). Кроме этого, возможно, что для не­которых систем оптимизация может провести некоторые границы в выборе наборов параметров даже после исключения крайних неопти­мальных диапазонов. Однако я подразумеваю, что степень улучшения, предлагаемая оптимизацией, намного меньше, чем обычно представля­ется, и что трейдеры, вероятно, сберегли бы кучу денег, доказывая в начале любое предположение, которое они делают по поводу оптими­зации, а не принимая эти предположения слепо на веру.

ГЛАВА 20. тестирование и оптимизация торговых систем 721

ТЕСТИРОВАНИЕ ИЛИ ПОДГОНКА?

Вероятно, наиболее существенная ошибка, которую делают пользова­тели фьючерсных торговых систем — это предположение, что резуль­тативность оптимизированного набора параметров во время тестово­го периода представляет собой прогноз потенциальной результативно­сти подобных наборов в будущем. Как было показано в предыдущем разделе, подобные предположения приведут к значительной переоцен­ке истинного потенциала системы. Необходимо понимать, что ценовые колебания на фьючерсном рынке в большой степени случайны. Таким образом, «горькая правда» состоит в том, что вопрос, какой из набо­ров параметров приведет к наилучшему результату в течение любого данного периода — в большой степени дело удачи. Законы вероятно­сти показывают, что если протестировано достаточное количество на­боров параметров, даже в бессмысленной торговой системе обнаружат­ся некоторые наборы с лучшей результативностью в прошлом. Оценка системы, основывающаяся на оптимизированных наборах параметров (т.е. наборах с наилучшей результативностью на рассматриваемом пе­риоде), является подгонкой системы под прошлые результаты, а не те­стированием системы. Если оптимизация не может использоваться для оценки результативности, как же тогда вы оцените систему? Следую­щий раздел описывает два разумных подхода.

Дата добавления: 2015-11-16