Системи с краткосрочна, но непрекъсната оптимизация

[minkov]

Бих искал да обсъдим въпроса за краткосрочно работещите стратегии.
Какво имам предвид?
Значи общоприето мнение е, че ако намерим система която исторически работи и печели много години - 5-10-15, значи ще работи поне още толкова.
Добре, ама такива системи се намират изключително трудно.
Какво мислите по въпроса, да се търсят системи, които работят примерно последните три или шест месеца - това е доста по-лесно, а и оптимизацията на таква система за такъв кратък период изисква много по-малко работа и става значително по-бързо.
Като се намери такава система, се пуска да работи и след месец примерно се прави нова оптимизация и така всеки месец.
Идеята ми е съвсем от скоро - няколко дни и все още нямам лайф експеримент, но ми се иска да обсъдим дали въобще има хляб и какво трябва да се направи за да се получи някакъв добър резултат.
Ще помоля да не се публикуват немотивирани мнения от типа "това няма да стане"

[K_W]

Това е много интересна тема, имам едни познати, които се опитват да сглобят фонд на този принцип, не знам докъде са стигнали защото започнаха сравнително скоро. Тяхната теория е такава, пазара се променя непрекъснато и ти трябва да се напасваш непрекъснато. Твърдят, че преди години са правили нещо такова и е работело за определено време, пак на сериозно ниво. Като цяло тези познати са с доста сериозен опит в сферата и не бих отхвърлил с лека ръка това, което мислят.
Аз от друга страна съм на коренно различна позиция и съм видял доказатеалства и изследвания за точно обратното. Много трудно бих повярвал, че идеята за постоянна оптимизация работи и поради много прости и логически заключения, но разбира се оставам опън майндед и с любопитсвто бих разгледал всякакви доказателства и смислени аргументи в защита на тезата за постоянна оптимизация. Има ли такива?

[minkov]

Това е много интересна тема, имам едни познати, които се опитват да сглобят фонд на този принцип, не знам докъде са стигнали защото започнаха сравнително скоро. Тяхната теория е такава, пазара се променя непрекъснато и ти трябва да се напасваш непрекъснато. Твърдят, че преди години са правили нещо такова и е работело за определено време, пак на сериозно ниво. Като цяло тези познати са с доста сериозен опит в сферата и не бих отхвърлил с лека ръка това, което мислят.
Аз от друга страна съм на коренно различна позиция и съм видял доказатеалства и изследвания за точно обратното. Много трудно бих повярвал, че идеята за постоянна оптимизация работи и поради много прости и логически заключения, но разбира се оставам опън майндед и с любопитсвто бих разгледал всякакви доказателства и смислени аргументи в защита на тезата за постоянна оптимизация. Има ли такива?

Аз съм готов да обсъдим и смислени доказателства, че няма да работи.
Моята теза е следната: да намериш нещо, което да работи 10 години назад е трудно. Много трудно.
Да намериш нещо което да работи последните шест месеца е много лесно.
Въпросът е после какво да се прави за да не спре да работи или как да разбереш бързо, че спира да работи, за да го зарежеш или да го модифицираш.

[hanuman]

Не мога нищо аргументирано да твърдя, и затова повече ще чета, но имам въпрос на който не мога да си отговоря - как ще различим доунлоуда от счупването на стратегията за да я оптимизираме?

[minkov]

Аз ако знам как, нямаше да пускам темата.
Търся идеи, които да тествам. Аз имам някои, ама не са съвсем избистрени. Сега започвам с експериментите.
До къде съм стигнал:
Към момента имам налични два бота, които от януари до сега правят по около 200 сделки на тестовете - сравнително голям брой са сделките и има някаква статистика за анализ. Довечера или утре ще пусна тук и резултатите от тестовете, че сега не съм на този комп.
Явно трябва да си определя някакви критерии за преопримизация или направо за спиране на някоя стратегия при ипределени резултати.

[K_W]

Аз ако знам как, нямаше да пускам темата.
Търся идеи, които да тествам. Аз имам някои, ама не са съвсем избистрени. Сега започвам с експериментите.
До къде съм стигнал:
Към момента имам налични два бота, които от януари до сега правят по около 200 сделки на тестовете - сравнително голям брой са сделките и има някаква статистика за анализ. Довечера или утре ще пусна тук и резултатите от тестовете, че сега не съм на този комп.
Явно трябва да си определя някакви критерии за преопримизация или направо за спиране на някоя стратегия при ипределени резултати.

Ще подбера материали на които съм попадал и ще пусна, най вероятно на англ, че не ми се превежда, само да съм на компютъра.
Като цяло с докзването, идеята е да се намери достоверен метод който да обяснява и подкрепя експериментално и фактически теорията, защото може да има 1000 начина нещо да не става но ако има един по който работи значи работи.
Може да обсъдим и косвените доказателства и аргументи, като например точ о това което споненаваш, стратегии коото да работят дългосрочно, много малко, такива които работят краткосрочно бол, е знаем чр броят печеливши трейдъри не е е много голям, кажи речи колкото и дългосрочно печелившите системи, какво ли ни казва това?

[minkov]

Аз не съм толкова наивен, че да вярвам в дядо коледа. Двата бота с които започвам да експериментирам и в дългосрочен план не са губещи, подчертавам, че не са губещи, а не че са печеливши, т.е. на пет годишен тест генерират някаква печалба, но имат лоши показатели, дълги периоди на ДД и т.н.
Та идеята се зароди от там, че отделих губещите периоди и тествах само в тези периоди с промяна на някои параметри на бота - основно промяна ТП и СЛ и при много лека промяна на само тези два параметъра, даже само на единия от тях бота започва да печели.
Та горе долу това е задачката на непрекъснатата оптимизация - как да се познае кога е време да се променят параметрите.

[K_W]

Аз не съм толкова наивен, че да вярвам в дядо коледа. Двата бота с които започвам да експериментирам и в дългосрочен план не са губещи, подчертавам, че не са губещи, а не че са печеливши, т.е. на пет годишен тест генерират някаква печалба, но имат лоши показатели, дълги периоди на ДД и т.н.
Та идеята се зароди от там, че отделих губещите периоди и тествах само в тези периоди с промяна на някои параметри на бота - основно промяна ТП и СЛ и при много лека промяна на само тези два параметъра, даже само на единия от тях бота започва да печели.
Та горе долу това е задачката на непрекъснатата оптимизация - как да се познае кога е време да се променят параметрите.

Проблемът с идеята за краткосрочни оптимизации е именно, че е много трудно да отговориш на въпроса, кога трябва да спреш системата, кога дроудауна е прекалено голям, кога е време за нова оптимизация, дали висчко което правиш не е кървфитинг. Ако е дългосрочно печеливша система и знаеш как се е държала 20-години назад, извадката е доста значима имаш най-различни периоди, следователно можеш да имаш повече вяра в системата, както и повече търпимост. По-лесно може да прецениеш дали дадени резултати са извън статистически вероятните сценарии. Тази задача не ми е ясно как може да се реши.
Вероятноста просто да си се напаснал към данните при краткосрочния период вместо да си открил истинска зависимост винаги ще е много висока. Имаш ли идея за смислени критерии по коиот да преценяваш момента за спиране или оптимизация?

[minkov]

...Имаш ли идея за смислени критерии по коиот да преценяваш момента за спиране или оптимизация?

Ми нямам. Аз ако имах, нямаше да правя тема, а да го работя.
Аз от 3-4 дена се занимавам с този проблем и само ми се въртят разни мисли в главата, но са много крайни. Най-доброто, което съм измислил е като намеря таксва система, пускам я, работи месец или деа и я зарязвам, независимо от резултатите.
Щото и на мен ми е ясно, че такава система е неустойчива.
Другия вариант е да изледеам в дълга история колко продължават добрите и лошите периоди и да следя, ксто влезе в добър период да я пускам за кратко и пак във фризера.
Въобще всякакви работи ми се въртят в главата, но нямам сигурно работещо решение.
За хубаво или за лошо тези ми идеи могат само на лайф да се провери дали са ползотворни.
Предишните няколко месеца бяха успешни за мен и в момента имам някакъв свободен рисков капитал и не ми пречи да пробвам.

[K_W]

Ето го първият материал който имам в защита на дългосроните тестове

I have written in the past about the use of old market data (1985-2000) in the back-testing and design of Forex systems . There is a significant number of traders who believe that you should not use old data because it is “out-dated” and does not represent the “current market” and that changes in overall market structure during this entire time have caused extremely large changes in the market that make any conclusions drawn from experiments including this data completely irrelevant. Traders who hold this view commonly point to the raise of computer based trading and the rise of the internet as two reasons why both market structure and information flow are different and hence past market data should not hold any relevance in today’s market. The real question is, is this actually true? On today’s post we are going to take an evidence based approach to the testing of this hypothesis. We will look at the search for trading systems in old data (1986-2000) and we will see how much predictive value they actually hold across new market data (2000-2015). You can download the data that we will be using through the article


To see if old market data does hold any predictive value across the newer market data we must use statistical hypothesis testing. We establish the null hypothesis that past performance in the 1986-2000 set is not indicative of performance in the 2000-2015 set and we set to negate this null hypothesis. To do this we first establish the probability that a trading system with a high linearity (R²>0.95) and low max drawdown length (<500 days) generated across 15 years of random market data is profitable through the next 15 years and we see if the percentage of profitable systems on the average random data set (used more than 100 random data sets generated using bootstrapping with replacement) over the percentage of systems found on the real data set is less than 1%, if this is the case we can then negate the null hypothesis that 1985-2000 past performance is not related with 2000-2015 performance with a 99% confidence. For the generation process in OpenKantu I used the options showed on the image above.

This mining process carried out on 100 random data sets generated using bootstrapping with replacement from each real data set generated on average less than 1% systems that were profitable within the second 15 year period data. The value is extremely low because the probability to be profitable across such a long time span becomes very low for a random walk process, which is essentially what happens if a system has no edge. This means that if we find that 20% of systems are profitable in the 2000-2015 period we would already be able to say that this is well above what is expected simply from random chance and that the 1988-2000 data actually holds information that is relevant for the prediction of profitability in the 2000-2015 period. We could say that old market data was not irrelevant.When we analyze the results from doing the above exercise on the EUR/USD (DEM/USD before 2000), USD/JPY and GBP/USD daily timeframes (3 pip constant spreads)(you can reproduce my analysis using the R script above and the data linked before) you can see that the probability to generate a strategy that was profitable in the 2000-2015 period is very high, as a matter of fact the probabilities are 88.5% (EUR/USD), 90.5% (USD/JPY) and 80.16% (GBP/USD) much higher than the expected probabilities from a simple luck of the draw. In fact the large majority of systems were able to make money in the 2000-2015 period which would be extremely improbable if the information present in the 1988-2000 period was simply irrelevant. There was an obvious deterioration in system quality under such a long out of sample period as systems only performed equally or better 20.7% (EUR/USD), 0.92% (USD/JPY) and 1.66% (GBP/USD) of the time but the mere fact that they were able to make money overall over this period is already fascinating.


But what if losers were simply much worse than winners and it was all made up of small winners and huge losers in the 2000-2015 period? The analysis of the distribution of 2000-2015 results shows that this is actually not the case. The distributions show that losers are in general much smaller than winners on average with the distributions skewed heavily towards a larger profit/trade. This is completely unexpected if the 1988-2000 data was irrelevant because when no real inefficiencies are present in the data used for mining the future profit distributions are heavily skewed towards the losing side, as you would expect for a random walk process with a negative drift caused by trading costs. Repeating the above analysis for the EUR/USD 1H, 30M and 15M results yield extremely similar results so as a matter of fact this does not seem to be a timeframe dependent phenomena.

Despite what people like to say about old data not being useful and the market having changed, the reality is that old data, even data from 1986, holds important information that can lead to the creation of systems that survive newer and unknown market conditions. Why this is the case is certainly open to speculation but the truth is that old market data -despite the advent of the internet and computational power – transmits some general market characteristics that may still be useful today for the creation of profitable trading systems. If the 1988-2000 data was relevant to create profitable systems from 2000-2015 then it is reasonable to assume that it will also hold some relationship with the future 2015-2030 data. Using all available market information (1986-2015) for the creation of trading systems ensures that we reduce curve-fitting and only capture the most general of market inefficiencies.In the end systems created using vast amounts of data (almost 30 years) may hold the greatest chances of achieving profitable results going forward as they contain the least amount of curve-fitting and the most information to tackle new market conditions.