Разработка на търговски стратегии

[Mateev]

Искам да споделя малко информация на тема кървфитинг (Curve Fitting). В литературата се разпространява мнението, че прекаленото настройване на параметрите на една търговска стратегия създава така нареченото НАПАСВАНЕ НА РЕЗУЛТАТА КЪМ ГРАФИКАТА и една такава стратегия, работила добре в миналото, започва да работи зле в бъдещето (нулира акаунта). Ако това наистина е вярно, то тогава се обезсмисля ФУНДАМЕНТАЛНА ОСНОВА на търсенето на търговски стратегии посредством правене на исторически тестове. Причината - след като от позицията на бъдещето ние решаваме кое Equity от миналото е било по-добро, то това автоматично означава, че ние ВИНАГИ ПРАВИМ КЪРВФИТИНГ.

Явно проблемът не е има ли го или го няма, защото КЪРВФИТИНГА ВИНАГИ ГО ИМА. Проблемът е как да разберем колко голям е той и какви мерки да предприемем, за да го намалим. По този въпрос много има изписано в литературата, и всеки автор се чувства задължен да даде "умни" мъгляви акъли, но никой не казва нищо конкретно, което да е подкрепено с доказателства.

И понеже аз трудно се доверявам на трейдерската литература, реших сам да направя малко изследвания по въпроса. Накратко така настроих Strategy Quant, щото да генерира стратегии само на база на данните до 2016 г., а 2017 и 2018 година да ми смята Expectancy-то, но без да го използва в генетичните алгоритми за подбор на най-добрите стратегии. Пуснах го да смята една седмица по 20 валутни двойки и се сдобих с няколко хиляди уж добри стратегии до края на 2016 г. Идеята беше после да разгледам какво се е случвало в бъдещето на тези стратегии (2017 и 2018 г.), и ето какво научих по въпроса:

1. Бъдещето на тези стратегии покрива целия спектър от възможни бъдещета - от дълбоко губещо, през случайно (около нулата) до силно печелившо, като при някои стратегии дори е по-печелившо от това, което е било в миналото.
2. Не открих никаква логика кои правила създават губещо бъдеще и кои - печелившо, но специално този аспект си го оставям като задача за по-подробно изследване.
3. Открих обаче нещо много по-важно - СЧУПВАНЕТО НА СТРАТЕГИИТЕ НЕ СТАВА ВЕДНАГА в началото на 2017 г. Става в точка, която или е била няколко сделки или месеца по-назад в миналото, или няколко сделки или месеца по-напред във бъдещето.
4. С две думи стратегията не се счупва, защото е била кървфитната, а защото се е появила нова пазарна тенденция, която е неизвестна за правилата на стратегията, и затова тези правила не са се настроили към нея. Много често началото на счупващата тенденция се вижда в последните сделки от историческия тест. Също така има и другите случаи - стратегията продължава да работи добре, и след време се счупва и тръгва уверено надолу.
5. В почти всички случаи това, което се случва в бъдещето, наподобява участъци от стратегията със стагнации, които вече са се случвали в миналото. Тоест не се случва нищо ново, а се повтаря вече известното старо.

На базата на тези наблюдения си извадих следните изводи:
1. С нашите изследвания на миналото с цел подбор на стратегии ние винаги ще създаваме кървфитинг, независимо какви правила използваме и какви методи прилагаме. Тоест отърване няма.
2. Можем обаче да използваме свойствата на кървфитнатото бъдеще, за да извлечем ПМО от това ново знание, че счупването не се случва веднага, а преди или след точката на края на теста.

След едно сравнително бързо обмисляне на ситуацията реших да предприема (да пробвам) следните мерки:
1. При подбора на стратегии да отхвърлям тези, при които последните няколко сделки вървят надолу. Това може да е невинно, но може и да е началото на счупващата тенденция, така че по-добре да не рискувам. Ще утвърждавам само стратегии, при които последните няколко сделки са били печеливши.
2. С така утвърдените стратегии ще правя само по 1-2 сделки, и след това ще пак ще ги преоптимизирам.
3. Точки 1 и 2 представляват метод, за който ще напиша код да се извършва автоматично, и след това ще го пусна да работи още от самото начало на стратегията.

С две думи - променям си глобалната концепция и включвам в нея правилото, че с дадена стратегия се търгуват само 1-2 сделки, и после тя се преоптимизира с новата информация за тези сделки. Това правило го залагам в собствения си Strategy Tester и то става част от всеки един исторически тест. Самите мои стратегии вече ще представляват не стратегии, написани с конкретни правила, а стратегии, написани с методи за автоматичен подбор на правила, автоматични преоптимизации за откриване на верните параметри на тези правила, и автоматично вземане на решения само за 1-2 сделки от бъдещето преди следващата преоптимизация.

Една направена по този начин стратегия не би трябвало да е кървфитната. Тя или ще намира зависимости, и ще търгува по тях, или ще отказва да прави сделки, ако не намери такива зависимости. Тази стратегия пак ще има губещи сделки, защото няма как на 100% да се избяга от случайността, но би трябвало сравнително бързо да се адаптира, ако пазарната зависимост се счупи и се появи някаква друга такава. Ако идеята проработи, такъв един робот ще го разпознаем по това, че ще печели винаги и навсякъде, където го пуснем да работи. В най-лошия случай ще печели малко или въобще няма да търгува, но в никакъв случай няма да търгува с големи загуби, които да доведат до зануляване на акаунта.

[100]

Toва с промените след няколко сделки никога няма да проработи, както и да го погледнем започваш да годниш пазара в един момент. Проблема кървфит-а описан като в последния пост е точно сложността, колкото по-добра и респективно сложна стане системата се залита в тая посока. Всички допълнителни уточнения и параметри колкото повече са те водят до по-голям шанс някои от тях или всичките да спрат да работят при минимални бъдещи промени в пазарните движения.

Няма абсолютно никакъв проблем да се намери зависимост, която да печели дългосрочно с правилния риск, проблема е да се намери баланса в това колко по-добра искаме и може да стане. Най-големия технически проблем на новите и средно напреднали трейдъри е точно факта, че не могат да открия консистентно работещи зависимости просто защото не могат да приемат колко малък е възможния едж над пазара. Ако някой ти каже, че върха е 55% успеваемост при 1:1 ще спреш там и просто че чакаш да се случват нещата, но една такава ниска успевемост е много трудно да се види цялата картина - кога, как и защо се губи и печели в различните пазарни цикли.

[Mateev]

Toва с промените след няколко сделки никога няма да проработи, както и да го погледнем започваш да годниш пазара в един момент. Проблема кървфит-а описан като в последния пост е точно сложността, колкото по-добра и респективно сложна стане системата се залита в тая посока. Всички допълнителни уточнения и параметри колкото повече са те водят до по-голям шанс някои от тях или всичките да спрат да работят при минимални бъдещи промени в пазарните движения.....

Личи си, че си надъхан от трейдерската литература, но аз за съжаление отдавна не и вярвам. Изказваш категорични твърдения, без въобще да си наясно доколко са верни или не. Аз обаче отдавна съм имунизиран против вредното влияние на трейдерските митове, и отдавна вярвам само на математиката и на собствените си експерименти.

Всякакви твърдения от типа "това няма да стане" ги приемам от уважение, но докато сам не ги проверя, не се отказвам.

[Novak]

Интересно ми е да ги прочета тия неща, ама те вървят в посока как не можем да спечелим на тоя пазар и търсене на причини за неуспеха.
Без претенции за компетентност по въпроса тоя път ми се струва сбъркан.

[100]

Личи си, че си надъхан от трейдерската литература, но аз за съжаление отдавна не и вярвам. Изказваш категорични твърдения, без въобще да си наясно доколко са верни или не. Аз обаче отдавна съм имунизиран против вредното влияние на трейдерските митове, и отдавна вярвам само на математиката и на собствените си експерименти.

Всякакви твърдения от типа "това няма да стане" ги приемам от уважение, но докато сам не ги проверя, не се отказвам.

Сблъскал съм се с тези неща в трейдърската литература преди сигурно 5-6 години. Разбира се както и ти казваш след този момент съм ги доказвал за себе си години наред, едва ли има много хора направили повече тестове от мен. Никой не иска да вярва на нищо, особено на неща които му развалят комфорта, но главата в стената е най-сигурния помощник и съдник.

Направи си каквото смяташ за нужно, дори да е за собствено успокоение пак има смисъл, но помисли поне над момента с размера на еджа и какво стои за тия графики все пак. В самия принцип на функциониране и съществуване на пазарите можеш да откриеш доста логика и насока...

[Mateev]

Между другото в предишния постинг няколко пъти използвах думичката ПРЕОПТИМИЗИРАМ, но това го правих само за да е кратко изречението. Истинската думичка, която ми е в главата, е ПРОГНОЗИРАМ. Тоест навлизаме в цял един дълбок аспект от анализа на цифровите редици, който е с доста висока сложност, но крайния резултат от него е елементарен - ПРОГНОЗИРАНЕ НА ПОСОКАТА НА СЛЕДВАЩАТА СДЕЛКА.

Няма да описвам подробно този аспект, защото той е достоен за цяла една отделна тема, но ще нахвърлям накратко неговите идеи. В основата на това прогнозиране стои факта, че движението на кривата на Equity-то е много по-закономерно от движението на самите цени. Тоест от тази крива лесно могат да се извлекат закономерности, и да се използват за повишаване на ПМО-то. По-долу ще опиша най-елементарната идея, за да разберете за какво говоря, но в действителност ще реализирам друга много по-добра идея, която засега ще я запазя в тайна.

Прогнозиране на следващата сделка посредством масив от Moving Averages
1. Първичната цифрова редица са самите сделки
2. От нея създаваме кумулативна цифрова редица, която всъщност се явява баланса, ако имаме само сделките, или Equity-то, ако имаме MAE и MFE на сделките.
3. От баланса (или Equity-то) създаваме трета цифрова редица, която съдържа кумулативните пропадания. Тоест създаваме цифровата редицата на Drawdown-а.
4. Всичките тези цифрови редици притежават разпределения, които пък притежават една камара статистически параметри, които ги смята моя клас.
5. Приемаме, че съществува някаква Moving Average, която е в състояние да прогнозира посоката на следващата сделка с вероятност, по-голяма от 50%. Всъщност очаквам 60-70% прогнозираща способност, че и повече, само където не знам какви са параметрите на тази най-добра Moving Average.
6. Създаваме масив от много Moving Averages, като периода им е от 2 до например 256 с някаква стъпка например по степените на 2.
7. Всяка МА ще се състои от 2 цифрови редици. Едната ще е самата МА, а другата - Equity-то, което би се получило ако се вслушвахме в нейните прогнози.
8. Анализирайки това Equity със статистическия клас ние можем да ползваме неговия доверителен интервал, за да си изясним кога прогнозите на тази МА са статистически значими и кога са по-скоро случайни.
9. При статистически значими прогнози вземаме твърдо решение за утвърждаване или реверсиране на следващата сделка.
10. При съмнение за случайно прогнози оставяме следващата сделка такава, каквато си е.
11. С така получените прогнози строим цифровата редица такава, каквато я направят тези прогнози.
12. На тази цифрова редица изчисляваме всички статистически параметри, и дадената МА вече може да се хвали пред другите МА, че например видите ли, аз постигнах Return/Drawdown > 20.
13. Главната програма пита всички МА какви са им постиженията до момента, и на база на тях взема решение за посоката на следващата сделка. Критерий за това решение може да бъде само прогнозата на най-добрата за момента МА, или някаква форма на демократично гласуване от например 20% от всички най-добри МА.
14. Решението на главната програма за следващата сделка може да бъде едно от 3-те:
- Не знам. Нямам мнение поради липса на достатъчна статистическа достоверност на отговорите на различните МА.
- Имам статистическа достоверност и потвърждавам посоката на сделката.
- Имам статистическа достоверност и реверсирам посоката на сделката.
15. Респективно целия този алгоритъм създава и още една последна цифрова редица - тази, която се е получила от груповата прогноза на всички МА.

Та това е идеята как в реално време да се прави прогнозиране на посоката на всяка една следваща сделка. Всъщност посоката си я казва базовата стратегия, но прогнозиращия модул има правата да реверсира част от сделките, ако сметне това за необходимо. Също така може да му дадем права и да забранява част от сделките, ако сметне че са случайни и само хабят излишен спред.

Така описания алгоритъм ще се дъни при стратегии, на които ПМО-то, а от там и Equity-то е много близко до случайното, но в същото време ще предизвиква драстични подобрения при стратегии, при които вече има някаква добра познаваемост, но кривата на Equity-то не е права линия и в нея има периоди на дългосрочна стагнация и Drawdown. Точно тези периоди ще бъдат атакувани и в някакъв доста голям процент от случаите ще бъдат подобрени.

Ако промяната в посоката на Equity-то става бавно и без резки скокове, а това е така при повечето стратегии, то тогава прогнозиращия алгоритъм за посоката на следващата сделка ще има голям процент на успеваемост. При това няма значение истинската посока на Equity-то. Тя може и да е надолу, но ако се променя бавно, то тогава този алгоритъм лесно ще направи от губещата стратегия печеливша.

[Mateev]

Интересно ми е да ги прочета тия неща, ама те вървят в посока как не можем да спечелим на тоя пазар и търсене на причини за неуспеха.
Без претенции за компетентност по въпроса тоя път ми се струва сбъркан.

Без да искаш уцели и даде възможно най-верния отговор. Да, това е самата истина. Колкото повече човек научава за пазарите и колкото повече напредва с експериментите си и с историческите тестове, толкова повече научава КАК НЕ ТРЯБВА ДА СЕ ТЪРГУВА или както ти каза КАК НЕ МОЖЕМ ДА СПЕЧЕЛИМ ОТ ТОЗИ ПАЗАР. В един момент табутата стават толкова много, че човек се чуди как да си проправи път сред гъстата гора от "не става" или "не може".

Ако масовия трейдер знаеше това, което аз го знам, щеше да захвърли търговията и да избяга от нея през девет планини в десета. Не го е направил досега, защото не го знае, и в това е неговото щастие или нещастие (зависи от гледната точка). Със сигурност незнанието помага за увеличаване на смелостта да се правят сделки на реален акаунт. Колкото по малко знае един трейдер, толкова по-смел е в търговията и толкова по-големи лотове използва.

ПП: Всяка прилика с действителни лица и събития е чисто случайна .....

[alphaomega]

Ами или търсим на принципа на изключването или се опитваме да генерираме свои идеи надявайки се че може да попаднем на нещо тайно или уникално за което почти никой друг досега не се е сетил

Имаме ли друг избор?

[Novak]

А защо не пробвате разни простички неща, колкото повече едно нещо се усложнява толкова по-голяма е вероятността от грешки.

Още един непоискан съвет или извод както искате го наречете от търговец аматьор - на тоя пазар място за его няма, търговията ми тръгна в момента, в който осъзнах това, че не е важно да съм права, а да печеля пари.

[Mateev]

А защо не пробвате разни простички неща, колкото повече едно нещо се усложнява толкова по-голяма е вероятността от грешки.

Още един непоискан съвет или извод както искате го наречете от търговец аматьор - на тоя пазар място за его няма, търговията ми тръгна в момента, в който осъзнах това, че не е важно да съм права, а да печеля пари.

Простичките неща отдавна са пробвани. Започнали сме да насложняваме именно защото вече знаем, че няма как да стане с простички неща. И всяко едно ново насложняване идва в отговор на поредния проблем, с който се сблъскваме, и който за пореден път ни казва "така няма да стане". То ако ставаше по прост и лесен начин, досега сульо и пульо щяха да са го реализирали. Да, ама не става ......

Жул Верн е измислил прост начин да се стигне до Луната - едно голямо оръдие, закопано дълбоко в земята. И дори написал цяла една книга с подробности около реализацията на този проект. Да, ама пропуснал да направи елементарната математическа сметка, че така няма да стане. Поуката е, че няма прост и лесен начин да се стигне до Луната. Впоследствие НАСА успява да отиде до Луната, но по един много по-сложен по-скъп начин.

ПП: Малко хора знаят, но в зората на космическата ера военните и НАСА са пробвали оръдието на Жул Верн. Било е по-малко, но все пак са успявали с него да изстрелват снаряди в стратосферата на 150 километра височина. В тези снаряди е имало измервателни прибори и са били изстрелвани по няколко на ден в продължение на няколко години. Височината, която са достигали, е била по-висока от височината на първия космически кораб с Юрий Гагарин.