Разработка на търговски стратегии

[Mateev]

....Въобще стратегиите генерирани от sq с колкото повече сделки са толкова по-неуспешни са.....

Брокерите със своите спредове и слипиджи унищожават голяма част от стратегиите, работещи с много сделки (краткосрочни стратегии). Със суапите пък унищожават голяма част от стратегиите, работещи с малко сделки (дългосрочни стратегии). Хората това не го осъзнават до момента, докато не започнат като тебе да правят някакъв ресърч.

sq логично бяга от стратегиите с много сделки, защото отчита зададения му спред. В същото време обаче не може да избяга от дългосрочните стратегии, защото няма механизъм за отчитане на суапа. Иначе ако имаше такъв механизъм, щеше да се придържа към златната среда със сравнително голям брой сделки, които в същото време да са печеливши.

[K_W]

Във sq беше настроено да търси за период 2007-2010 и да тества после от 2011 до 2013
Всичко го търся върху такъв период, а после тествам в МТ от края на 2013 до сега
Аз виждам, че има бая кусури, ама това е.
Когато я изкарах тази още не се бях светнал какточно става преопримизацията.
Аз и сега не съм съвсем светнат де, ама като ми остане време, ще навлизам и в тази част.
Т.е. това е първична стратегия без преоптимизация в sq
Може би ако мине през преоптимизация ще се получи и нещо по-добро.

Подхода ти звучи смислен. Аз малко по различно съм почнал, ще видим ще открия ли нещо.

Щом си използвал такъв период може и да не фирмата.

[Mateev]

Ако искате да контролирате какви стратегии ще получавате, трябва да кажете на генетичния алгоритъм кои стратегии според вас са добри и кои - лоши. Само така той ще има шанса да прави правилен подбор и да прави поколения с деца от правилните родители. Тоест най-важните настройки се намират в Ranking Options, които бас ловя, че сте ги претупали. За настройките в левия прозорец вече писах една две страници по-назад в темата, а сега ще ви разкажа и за настройките в дясно.

Първо нито една от бързите настройки в горната част не е подходяща, защото тя кара sq да залита в една или друга посока. И това е разбираемо. Масово стратегиите имат по един добър показател и много на брой лоши други показатели. Ние обаче не търсим стратегия-лидер по един единствен показател, пък бил той и супер, а стратегия лидер с много на брой добри показатели, дори и да не са най-добрите възможни. Следователно трябва да направим комплексен критерий за подбор, който да се изчислява по много показатели. Това става като се избере опцията Weighted Fitness и след това се посочат показателите, които ни интересуват. Не залитайте обаче да начуквате много показатели, а изберете само най-важните, за които има някаква логика да ги включите. Например:

Return/DD Ratio - това е най-важния показател, подбиращ възможно най-печелившите стратегии, но оставащ сляп за редица други техни недостатъци.
System Quality Number - това е най-добрия показател, подбиращ стратегии с по-голям брой сделки, по-голямо ПМО и по-малко стандартно отклонение на това ПМО. Остава обаче сляп за качеството на Equity кривата (например стратегията е печелила много в едни години и нищо в други).
Stability - добър показател, който подбира стратегии с колкото се може по-права линия на Equity-то, но в същото време оставя сляп за тяхната печелившост.
Number of Trades - тука задавате желания от вас брой сделки, и този показател има висока стойност само ако стратегията има подобен брой сделки. Ако сделките на стратегията са далеко от желания брой, стойноста на този показател се влошава. Точно от тука се контролира колко сделки искате да имате в стратегията.
Stagnation - този показател подбира стратегии, в които приходите са идвали регулярно и не е имало големи периоди от време с Drawdown. Този показател е по-важен дори и от дълбочината на самия Drawdown, защото той определя колко подред губещи месеци или години може да има в тази стратегия, преди да започне да печели отново.
Average % profit by Year - това е най-важния показател, който директно ви казва каква е средногодишната доходност на стратегията. Този показател обаче е сляп за всички останали качества, и затова важните от тях сме ги обявили в горните показатели.

В общия случай това е настройката, която ви предлагам да направите на базата на двумесечния ми опит. Няма смисъл да се избират други параметри, защото те под една или друга форма вече са включени във формулите на тези, които ви изредих. Правейки тази настройка вие всъщност давате познания на генетичния алгоритъм кое е добро и кое лошо, и така контролирате посоката, в която той ще работи. Тези настройки са важни и от една друга гледна точка. Вече намерените добри стратегии sq го прехвърля в Databank, но той е лимитиран до 500 стратегии. И когато дойде 501-вата, sq трябва да изхвърли най-лошата стара стратегия, за да сложи новата. Да, ама при кофти настройки на параметрите sq може да изхвърли по-добра стратегия, за да сложи по-лоша.

Разбира се можете да си правите и други експерименти с настройките, за да си натрупате собствен си опит, но най-бързия начин за намиране на комплексни добри стратегии едновременно по много на брой показатели е да започнете с моите настройки.

И сега пак да се върна на качеството на данните. Засега нищо не можем да направим по него, но с новата версия на sq разгледах качеството на различните символи и достигнах до извода, че след 2009-та година то започва драстично да се подобрява. Затова моето предложение е да правите тестовете от началото на 2010-та година и да игнорирате всички по-стари данни. Колкото до разделянето на данните на два периода (In Sample и Out of Sample), най-добре според мене е границата да е в края на 2016 г. Така ще имате 7 пълни години за тестове, и година и половина след това за проверка дали зависимостта продължава да съществува.

[Mateev]

Искам да се върна още веднъж на проблема с големите спредове около полунощ. Sq не знае за тях и затова намира уж "добри" стратегии, базирайки се на изкуствено въведените 10-писови зависимости в Bid баровете около полунощ. За да се заобиколи този проблем, трябва да се направи следното:

1. Като данни в sq се импортват не едноминутни, а директно тикови данни с UTС+2, DSТ=on и премахнати тикове в почивните дни.
2. Стратегиите се търсят със симулирани тикове по М1 баровете, за да става по-бързо, но след това лидерите се тестват отново директно на тикови данни.
3. Забранява се на стратегиите да отварят сделки 2 часа преди и 2 часа след полунощ. Ако не я направите тази настройка, ще се сдобиете с камара от уж печеливши стратегии, които обаче няма да издържат теста с реални тикови данни с реален плаващ спред.

Тези фалшиви уж печеливши стратегии ще задръстват Databank и ще изхвърлят от нея наистина добрите стратегии. Въобще най-големия проблем, с който ще се сблъскате, е залитането на sq да намира уж "печеливши" стратегии, базирани на една или друга ваша грешка при настройките на продукта. Ще загубите колосално изчислително време, за да откривате всяка една от тези грешки, и да променяте настройките с цел нейното заобикаляне. Знам че няма да ме послушате, и ще повторите всички мои грешки, които съм ги правил, но съвестта ми е чиста, че съм ви предупредил и съм ви показал един вече добър комплект настройки за бързо постигане на добри резултати. Рано или късно и вие ще достигнете до подобен комплект от настройки, но преди това ще сте загубили 1-2 месеца в лутане. И разбира се ще започнете да обвинявате продукта, а не собствените си грешки в настройките. Ха-ха .... това вече го правите .....

[Mateev]

Във sq беше настроено да търси за период 2007-2010 и да тества после от 2011 до 2013
Всичко го търся върху такъв период, а после тествам в МТ от края на 2013 до сега
Аз виждам, че има бая кусури, ама това е.
Когато я изкарах тази още не се бях светнал какточно става преопримизацията.
Аз и сега не съм съвсем светнат де, ама като ми остане време, ще навлизам и в тази част.
Т.е. това е първична стратегия без преоптимизация в sq
Може би ако мине през преоптимизация ще се получи и нещо по-добро.

МТ тестера не е подходящ за каквото и да е вземане на решение, освен за проверка дали в кода на експерта няма някакъв бъг. Когато обаче се убедите, че експертите са верни, тогава ще отпадне и необходимоста от тестове с МТ.

Иначе единствения истински тест, който може и трябва да се прави с всяка една добра стратегия, е нейното окончателно тестване в sq с реални тикови данни с реален плаващ спред в тях. Освен това този тест се прави с различни нива на слипиджа, за да се провери устойчивоста на стратегията към магиите на брокера.

[K_W]

Ако искате да контролирате какви стратегии ще получавате, трябва да кажете на генетичния алгоритъм кои стратегии според вас са добри и кои - лоши. Само така той ще има шанса да прави правилен подбор и да прави поколения с деца от правилните родители. Тоест най-важните настройки се намират в Ranking Options, които бас ловя, че сте ги претупали. За настройките в левия прозорец вече писах една две страници по-назад в темата, а сега ще ви разкажа и за настройките в дясно.

Първо нито една от бързите настройки в горната част не е подходяща, защото тя кара sq да залита в една или друга посока. И това е разбираемо. Масово стратегиите имат по един добър показател и много на брой лоши други показатели. Ние обаче не търсим стратегия-лидер по един единствен показател, пък бил той и супер, а стратегия лидер с много на брой добри показатели, дори и да не са най-добрите възможни. Следователно трябва да направим комплексен критерий за подбор, който да се изчислява по много показатели. Това става като се избере опцията Weighted Fitness и след това се посочат показателите, които ни интересуват. Не залитайте обаче да начуквате много показатели, а изберете само най-важните, за които има някаква логика да ги включите. Например:

Return/DD Ratio - това е най-важния показател, подбиращ възможно най-печелившите стратегии, но оставащ сляп за редица други техни недостатъци.
System Quality Number - това е най-добрия показател, подбиращ стратегии с по-голям брой сделки, по-голямо ПМО и по-малко стандартно отклонение на това ПМО. Остава обаче сляп за качеството на Equity кривата (например стратегията е печелила много в едни години и нищо в други).
Stability - добър показател, който подбира стратегии с колкото се може по-права линия на Equity-то, но в същото време оставя сляп за тяхната печелившост.
Number of Trades - тука задавате желания от вас брой сделки, и този показател има висока стойност само ако стратегията има подобен брой сделки. Ако сделките на стратегията са далеко от желания брой, стойноста на този показател се влошава. Точно от тука се контролира колко сделки искате да имате в стратегията.
Stagnation - този показател подбира стратегии, в които приходите са идвали регулярно и не е имало големи периоди от време с Drawdown. Този показател е по-важен дори и от дълбочината на самия Drawdown, защото той определя колко подред губещи месеци или години може да има в тази стратегия, преди да започне да печели отново.
Average % profit by Year - това е най-важния показател, който директно ви казва каква е средногодишната доходност на стратегията. Този показател обаче е сляп за всички останали качества, и затова важните от тях сме ги обявили в горните показатели.

В общия случай това е настройката, която ви предлагам да направите на базата на двумесечния ми опит. Няма смисъл да се избират други параметри, защото те под една или друга форма вече са включени във формулите на тези, които ви изредих. Правейки тази настройка вие всъщност давате познания на генетичния алгоритъм кое е добро и кое лошо, и така контролирате посоката, в която той ще работи. Тези настройки са важни и от една друга гледна точка. Вече намерените добри стратегии sq го прехвърля в Databank, но той е лимитиран до 500 стратегии. И когато дойде 501-вата, sq трябва да изхвърли най-лошата стара стратегия, за да сложи новата. Да, ама при кофти настройки на параметрите sq може да изхвърли по-добра стратегия, за да сложи по-лоша.

Разбира се можете да си правите и други експерименти с настройките, за да си натрупате собствен си опит, но най-бързия начин за намиране на комплексни добри стратегии едновременно по много на брой показатели е да започнете с моите настройки.

И сега пак да се върна на качеството на данните. Засега нищо не можем да направим по него, но с новата версия на sq разгледах качеството на различните символи и достигнах до извода, че след 2009-та година то започва драстично да се подобрява. Затова моето предложение е да правите тестовете от началото на 2010-та година и да игнорирате всички по-стари данни. Колкото до разделянето на данните на два периода (In Sample и Out of Sample), най-добре според мене е границата да е в края на 2016 г. Така ще имате 7 пълни години за тестове, и година и половина след това за проверка дали зависимостта продължава да съществува.

Е много ясно че тези натройки са важни, то това ти е филтъра, въпроса е че ако много вдигнеш летвата може да отпадне и някоя с голям потенциал.

За периода аз правя горе долу това което си описал. 2007-2009 са много ралични от 2011-2015. Аз затова и търся до 2015.12.31, а и точно както казваш за да видя как е после последните години. 2003-2006 също искам да водя читаво представяне за да класифицирам нещо като читаво.

Искам да се върна още веднъж на проблема с големите спредове около полунощ. Sq не знае за тях и затова намира уж "добри" стратегии, базирайки се на изкуствено въведените 10-писови зависимости около полунощ. За да се заобиколи този проблем, трябва да се направи следното:

1. Като данни в sq се импортват не едноминутни, а директно тикови данни с UTС+2 и DSТ=on.
2. Стратегиите се търсят със симулирани тикове по М1 баровете, за да става по-бързо, но след това лидерите се тестват отново директно на тикови данни.
3. Забранява се на стратегиите да отварят сделки 2 часа преди и 2 часа след полунощ. Ако не я направите тази настройка, ще се сдобиете с камара от уж печеливши стратегии, които обаче няма да издържат теста с реални тикови данни с реален плаващ спред.

Тези фалшиви уж печеливши стратегии ще задръстват Databank и ще изхвърлят от нея наистина добрите стратегии. Въобще най-големия проблем, с който ще се сблъскате, е залитането на sq да намира уж "печеливши" стратегии, базирани на една или друга ваша грешка при настройките на продукта. Ще загубите колосално изчислително време, за да откривате всяка една от тези грешки, и да променяте настройките с цел нейното заобикаляне. Знам че няма да ме послушате, и ще повторите всички мои грешки, които съм ги правил, но съвестта ми е чиста, че съм ви предупредил и съм ви показал един вече добър комплект настройки за бързо постигане на добри резултати. Рано или късно и вие ще достигнете до подобен комплект от настройки, но преди това ще сте загубили 1-2 месеца в лутане. И разбира се ще започнете да обвинявате продукта, а не собствените си грешки в настройките. Ха-ха .... това вече го правите .....

И това за времето съм го включил после като тествам ще го разреша и ще е допълнителен тест за устойчивост.

Това което още не знам е дали Genetic или Random е по-смислен метод. По скоро си мисля, че трябва да е random защото другия метод ми говори за кървфитинг. Все още не съм чел нищо конкретно по въпроса, за да видя чужди мнения.

[K_W]

Някой знае ли къде има описани подробности за building blocks. Интересуват ме най-вече рейнджовете.

[minkov]

Относно радом или генетичния алгоритъм - аз ползвах генетичния и се отказах, започнах да ползвам рандом и получих по-добри резултати.
Вероятно ако оставиш генетичния да работи може да получи нещо, ама не е ясно кога и дали, и въобще не ми е ясно на какъв принцип приема или отхвърля дадена стратегия, а с рандом получаваш всичко, което отговаря на поставените условия, после ти си реши кое ти харесва и кое не.
Във всеки слъчай с рандом генерация ако го оставиш една нощ да работи на сутринта имаш поне 50-60 печеливши според sq стратегии, които после след преглед на графиката на баланса и повторен тест в МТ остават 1-2-3 сравнително смислени стратегии, т.е. за една нощ работа на програмата имаш нещо приемливо, а с генетичния алгоритъм за една нощ работа не излезе нищо смислено и засега съм го зарязал и си карам на рандом.

[minkov]

Между другото, той рандома не е съвсем рандом, даже хич не е.
На практика върти множество възможни комбинации с едни и същи блокове.
За пример:
Даваш му само цена Опен и индикатор РСИ
и той започва да ти генерира например 14 периоден рси и Опен над него - бау, след това 19 периоден рси и опен над него - бай, след това 25 периоден рси и оен над него - бай и т.н., после започва с примерно Опен[2], след това сменя стойноста на РСИ-то - например върти го със стойност 50, после със 60, после със 70 и т.н. - ако му зададеш симетрия - пробва същото и със сел и пак върти рси-то и така - реално тества мноого комбинации и ти изкарва резултата за всяка от тях ако отговарят на зададените филтри
Докато генетичния алгоритъм тръгва в някаква посока и изтърва част от възможните комбинации

[Mateev]

....
Това което още не знам е дали Genetic или Random е по-смислен метод. По скоро си мисля, че трябва да е random защото другия метод ми говори за кървфитинг. Все още не съм чел нищо конкретно по въпроса, за да видя чужди мнения.

Ще ти обясня разликата между Random и Genetic с пример. Представи си, че задачата е да се открие най-дълбоката точка в световните океани. Метода ни за измерване е много бавен - кораба спира и започваме да спускаме едно въже с тежест. И гледаме кога въжето ще се отпусне (тежеста е легнала на дъното). Определено едно измерване ще ни отнема по няколко часа. Та задачата е колко измервания по няколко часа ще са необходими, ако по случаен начин спираме кораба и започваме да спускаме въжето.

За да решим задачата се нуждаем от информация колко квадратни метра е площта на всички океани. Не се напъвай да я познаеш - аз ще ти я кажа. Площта на всички океани по земята е 360 милиона квадратни километра или това прави 360 000 000 000 000 кв. метра. Ако приемем, че най-дълбокото дъно има площ само няколко квадратни метра, което наистина е така, то тогава ще се наложи да се направят средно около 100 000 000 000 000 4-часови измервания, докато се открие тази точка. Това ще отнеме около 57 милиарда години на твоя кораб, ако не броим времето за преместване от 1 точка в друга.

Сега нека да си поразмърдаме малко акъла и да сменим случайния алгоритъм с генетичен. Идеята е, че най-дълбоката точка не може от раз да стане толкова дълбока. По-скоро около нея имаме наклонени склонове, и няколкото квадратни метра дъно ще са заобиколени от стотици квадратни километри склонове. Следователно случайните измервания можем да ги правим с много по-голяма стъпка, за да си изясним къде има потенциални склонове надолу, а след това да намаляваме стъпката все повече и повече, докато нацелим абсолютното дъно. Алгоритъма позволява милиардите измервания да ги сведем само до няколко хиляди, и да ги направим за по-малко от 1 година.

Добрата новина е, че алгоритъма наистина работи, и че наистина намалява броя на измерванията с цели порядъци. Милиардите измервания ги свежда до хиляди. Лошата новина обаче е, че този алгоритъм има склонноста да попада в локални минимуми. Тоест например няма да намерим Марианската падина, а някакво друго дъно, но не толкова дълбоко колкото нея.

При всички случаи обаче използването на генетични алгоритми е оправдано, защото само те са в състояние да сведат милиардите години търсене до един малко по-разумен срок, който вече да се вмества в рамките на човешкия живот. Да, може и никога да не попаднеш на свещения граал (Марианската падина), но със сигурност ще попаднеш на една камара точки, достатъчно дълбоки и приближаващи се като характеристики до Марианската падина. С Random няма да ти стигне целия живот, за да попаднеш на същите тези точки.

А за кървфитинга забрави. След като от позицията на бъдещето ние правим избор между две стратвегии, и избираме по-добрата, с това наше действие ние вече въвеждаме някакъв кървфитинг. Няма как - самото търсене на зависимости означава кървфитинг в изобилие. Има си други методи за откриване на истинските зависимпости от тези, които са "кървфитнати", но това не означава, че трябва да се откажем от генетичните алгоритми и въобще от търсенето на зависимости.