Системи с краткосрочна, но непрекъсната оптимизация

[minkov]

Аз никога не съм казвал че не вярвам в дългосрочните тестове, въпреки, че тест за повече от 10 години ми е прекалено.
Тези ми идеи за краткосрочна оптимизация са в резултат на това, че докато търся дългосрочно работещи системи постоянно попадам на такива дето от време на време печелят, а от време на време - не.
И сега мисля дали може и ако може, как да се изкара някой лев и от тях, защото за момента ги изхвърлям като боклук, а те не са съвсем боклук.

[K_W]

Аз никога не съм казвал че не вярвам в дългосрочните тестове, въпреки, че тест за повече от 10 години ми е прекалено.
Тези ми идеи за краткосрочна оптимизация са в резултат на това, че докато търся дългосрочно работещи системи постоянно попадам на такива дето от време на време печелят, а от време на време - не.
И сега мисля дали може и ако може, как да се изкара някой лев и от тях, защото за момента ги изхвърлям като боклук, а те не са съвсем боклук.

Разбрах те, но за съжаление нямам доводи в защита на краткосрочните, намерил съм такива единствено в полза на дългосрочните и мога да допринеса за темата основно с контра аргументи срещу идеята за краткосрочни оптимизации иначе има един цял чужд форум където са анатемосали изобщо бектестовете на автоматизирани системи и раздават банове, ако го споменеш, но предлагат разни авотматизирани системи които не могат да бъдат бектествани, вярват само в лок форлърд анализа. Мисля че те са жертва именно на краткосрочните оптимизации.
Иначе относно критерия за подбор и спиране на система може да ползваш симулации от типа Monte Carlo worst case scenario, проблемът е че и те не са супер наджедни и ще ти кажат че дроудауна е твърде висок, когато вече си в него.

[minkov]

Разбрах те, но за съжаление нямам доводи в защита на краткосрочните, намерил съм такива единствено в полза на дългосрочните и мога да допринеса за темата основно с контра аргументи срещу идеята за краткосрочни оптимизации иначе има един цял чужд форум където са анатемосали изобщо бектестовете на автоматизирани системи и раздават банове, ако го споменеш, но предлагат разни авотматизирани системи които не могат да бъдат бектествани, вярват само в лок форлърд анализа. Мисля че те са жертва именно на краткосрочните оптимизации.
Иначе относно критерия за подбор и спиране на система може да ползваш симулации от типа Monte Carlo worst case scenario, проблемът е че и те не са супер наджедни и ще ти кажат че дроудауна е твърде висок, когато вече си в него.

Е, то кога стане ДД няма нужда някой да ми казва. Аз и сам мога да си го видя.
Аз относно всякакви тестове мога да ти дам много идеи защо не са добра идея. И знам, че не са добра идея, ама като няма по-добра и аз тествам.
За мен основния проблем при бектестовете е, че никога не можеш да бъдеш сигурен, че котировките, които ползваш са реалистични, и колкото по-назад във времето тестваш, толкова е по-вероятно да работиш с данни менте и това е и причината да не трствам прекалено назад във времето.

[hanuman]

Аз никога не съм казвал че не вярвам в дългосрочните тестове, въпреки, че тест за повече от 10 години ми е прекалено.
Тези ми идеи за краткосрочна оптимизация са в резултат на това, че докато търся дългосрочно работещи системи постоянно попадам на такива дето от време на време печелят, а от време на време - не.
И сега мисля дали може и ако може, как да се изкара някой лев и от тях, защото за момента ги изхвърлям като боклук, а те не са съвсем боклук.

Може да провериш има ли някаква периодичност това "от време на време" сезонна в дни от седмицата, начало край на месеца, или просто като продължителност.

[K_W]

Е, то кога стане ДД няма нужда някой да ми казва. Аз и сам мога да си го видя.
Аз относно всякакви тестове мога да ти дам много идеи защо не са добра идея. И знам, че не са добра идея, ама като няма по-добра и аз тествам.
За мен основния проблем при бектестовете е, че никога не можеш да бъдеш сигурен, че котировките, които ползваш са реалистични, и колкото по-назад във времето тестваш, толкова е по-вероятно да работиш с данни менте и това е и причината да не трствам прекалено назад във времето.

Най-големият пробелм поне за мен с такива системи, е че много трудно може да определиш кога да ги спреш, то е ясно че като има ДД може да не работи вече, но е ясно и че всяка система има периоди на дроудаун, така може да се окаже че "продаваш на дъното". Спираш системата в момента когато има най-голяма вероятност и точно преди да започне да печели отново.
Можеш да бъдеш доста сигурен за котировките, мен лично това не ме притеснява особено, но не ме притеснява тъй като използвам различни източници поне 2 понякога 3 и засичам резултатите. Разликите при всяка чиатва система, с котировки от различни източници трявба да са незначителни.

[K_W]

Следващият материал който има отношение по темата и въпроса на кое да заложим, дългосрочни или краткосрочни оптимизации.

Curve Fitting and Data Usage: Evidence on why using all available historical data makes sense

There are many different opinions on how system construction should be carried out. Suggestions go from using only recent data and then regenerating or reoptimizing systems after a given period of time to performing system creation using all available data. On today’s post I am going to show evidence on why the later case is the one that makes the most sense and why failure probabilities and other problems are expected to be much higher with shorter amounts of data. I will also talk about why the idea of fixed regeneration or reoptimization does not make a lot of sense and why all this inevitably leads us to system creation methodologies where no historical out of sample tests are either necessary or even advisable.

The idea of using limited amounts of data and then repeating system creation procedures every given fixed amount of time seems to make a lot of intuitive sense. Methodologies that follow these lines make the assumption that recent historical data is the most relevant and that in order to avoid performance deterioration it is critical to maintain your trading system aligned to whatever market conditions have happened recently. The evidence that supports this assumption is scarce. I have showed in the past strong evidence that really old market conditions are relevant to predicting more recent market movements, a fact that completely obliterates the notion that past data is irrelevant. However people arguing for the “recent optimization” argument might expose that it is not that the past is irrelevant but that recent conditions can simply more accurately predict the immediate future.
To test this we can test the probability of trading success across randomly chosen periods of different lengths if strategies are generated for one period and then tested on the one just following them. For this I tested a simple price action based generation methodology on the 1H charts such that the only prerequisites to be selected was for the system to be profitable during the design period, have more than 10 trades and to have a correlation coefficient (R²) higher than 0.90. The generation procedure was continued until at least 5000 systems had been generated across randomly chosen periods for each desired length. The generation and testing periods are exactly the same length, so if generation was done for 60 days then the testing period was the immediately following 60 day period to the initial generation time span. The tests used data from 1986 to 2016.

If we do this we obtain results as those shown on the two graphs above, which are equal across several different Forex symbols (the above are results on two different symbols). Trends remain the same with variations in the generation methodology – relative evolution of the success probability is exactly the same as a function of period length – although the absolute success probability values do change depending on the actual generation method (system building space, filters used, etc). These plots show us how the probability of a profitable outcome increases drastically as a function of the generation period length, such that success across short periods is very low while the number of expected profitable systems grows bigger and bigger as the sample size increases. This means that you have a historically better expectation to be profitable across a period equal in length to your design period if you use more data. Your probability to fail and over-fit is therefore strongly related with how much data you use, if you use more data you are much less likely to face this problem. This makes sense as more data means that your system can face more market conditions. For the above methodology extrapolating to a 30 year in sample would give us a success probability above 80% while for others it can be above 90%.
Given the above it then makes sense to use just as much data as possible for the design of trading strategies. This means that leaving any data out for any historical in sample Vs out of sample tests is a futile exercise because you’re removing market conditions that could benefit the design process. Such out of sample processes also fail to bring any real benefit since they end up being a part of a more complex curve fitting exercise since their results are generally used to redesign the trading strategies . Using as much data as possible provides the greatest probability that your systems will perform positively under real out of sample conditions since they will be prepared to face the largest amount of variability that can be inferred from the historical data.


Establishing a fixed period for regeneration is also unwarranted since there is no fundamental reason to re-engineering a strategy that is working as expected. Since the way in which market conditions change has no immutable pattern we should keep strategies trading for whatever period they perform in line with their historical distribution of returns. If the market happens to behave in a manner that a system can handle very well for 2 years then there is no reason to impose a regeneration every 2 months. Doing adequate monitoring of trading strategies to remove them from trading, especially without such removal necessarily implying significant losses is a way to do this. In this manner systems are removed when they stop working but they can take advantage of long profitable periods if they choose to happen.

[alba]

Аз не мисля, че една дългосрочно печелеща система не се оптимизира. Дори е задължително, защото валутния пазар непрекъснато се променя. Сещам се за една автоматизирана система, която се рекламираше, че печели вече над 13 години и за това време има само 2 месеца с дребни загуби. Беше скъпа естествено и който си я купи щеше да получава почти всекидневно новите ъпдейти. Няма как да не се оптимизира една система. За два дни да замръзне и можем да я отпишем. Такива са реалностите просто на валутния пазар.

[balcon]

Аз единствено вярвам на теста in vivo (на живо). Харесвам си робот, пускам го с 10, а понякога и повече различни настройки (10 демо сметки на един и същи брокер), или еднакви настройки, но на различни графики (м5, м15, м30 и т.н.) и чакам. Ползвам стари лаптопи до 200 лв. всеки и чакам поне 3 месеца за резултат. Повечето фалират или зациклят, но някой оцеляват и по няколко месеца. Не съм имал случай, който да си заслужава да бъде пуснат на реална сметка. Всеки лаптоп хаби по около 5-7 лв. на месец. Ползата от всичко това е да се ориентирам в пазара за реалната ръчна търговия, но знае ли човек - може и все пак да излезе нещо читаво някога и да започна да продавам сигнали.

[minkov]

Аз единствено вярвам на теста in vivo (на живо). Харесвам си робот, пускам го с 10, а понякога и повече различни настройки (10 демо сметки на един и същи брокер), или еднакви настройки, но на различни графики (м5, м15, м30 и т.н.) и чакам. Ползвам стари лаптопи до 200 лв. всеки и чакам поне 3 месеца за резултат. Повечето фалират или зациклят, но някой оцеляват и по няколко месеца. Не съм имал случай, който да си заслужава да бъде пуснат на реална сметка. Всеки лаптоп хаби по около 5-7 лв. на месец. Ползата от всичко това е да се ориентирам в пазара за реалната ръчна търговия, но знае ли човек - може и все пак да излезе нещо читаво някога и да започна да продавам сигнали.

Е ако тестваш три месеца на история ще си спестиш трите месеца чакане, за да разбереш, че нещо не става.
А как от резултатите на бота ще се ориентираш в пазара хич не ми става ясно.
Самата идея да тестваш един бот (или една зависимост) на различни ТФ или различни произволни настройки също е уникално грешно. За да си сигурен, че нещо става или не става трябва изчерпателен тест с пълна оптимизация на поне основните параметри.

[K_W]

Най-важното наблюдение - направен от мен и други - е, че най-добре представящите се на нови невиждани пазарни условия системи не са най-добре представящите се в предходния ин сампъл период системи. Всъщност изборът на най-добрите системи по отношение на последните няколко ин сампъл години ви дава практически най- губещи системи. Това е една от големите причини, поради които създаването на системи, използващи малки количества от последните пазарни данни, е рецепта за бедствия, почти е оправдано пазарът да стане ефикасен за непосредствено предшестващите условия, тъй като това са тези, които евентуално биоват най-много експлоатирани от хора и машини. Хората ще имат по-свежа памет за близкото минало, докато автоматизираните системи често се създават, за да придадат повече тежест на последните пазарни условия. Като цяло последните условия са най-анализирани и следователно неефективността, която е налице при тях, се елиминира доста бързо.