Бектестване

[minkov]

... Използвате ли ин сампъл и оут оф сампъл данни?

С това не разбрах какво искаш да кажеш, ама по принцип ако оптимизираш върху много дълъг период получаваш кървфитната система.
За да получиш качествена оптимизация би трябвало след като си избрал период за тест да го разделиш на няколко по-малки периода - поне 4 и то така разделени, че всеки период да обхваща както добри, така и лоши периоди за стратегията и да оптимизираш в част от избраните периоди, след което да тестваш върху другите получените резултати - ако получиш подобни резултати върху периодите, върху които не е оптимизирано, значи получените параметри при оптимизацията са устойчиви, ако се различават трябва да търсиш други параметри.

[K_W]

С това не разбрах какво искаш да кажеш, ама по принцип ако оптимизираш върху много дълъг период получаваш кървфитната система.
За да получиш качествена оптимизация би трябвало след като си избрал период за тест да го разделиш на няколко по-малки периода - поне 4 и то така разделени, че всеки период да обхваща както добри, така и лоши периоди за стратегията и да оптимизираш в част от избраните периоди, след което да тестваш върху другите получените резултати - ако получиш подобни резултати върху периодите, върху които не е оптимизирано, значи получените параметри при оптимизацията са устойчиви, ако се различават трябва да търсиш други параметри.

Дали, аз по скоро съм стигнал до извода, а и съм го виждал май като изследвания, че колкото по-дълъг период оптимизираш, толкова по-добре за системата. Мисля че по-скоро късите периоди водят до кървфитинг в лошата му форма.
В крайна сметка, не знам има ли изобщо смисъл от това да оптимизираш и тестваш после на данни, които са извън периода на оптимизация (out of sample), така или иначе ще избереш да търгуваш само ако резултата е добър, ако не продължаваш, докато намериш най-добре пасналите резултати, само си затрудняваш и удължаваш работата, а релано е една и съща работата.

[minkov]

Е как да няма смисъл.
Не знам кой какво е изследвал, ама не е така както го казваш.
За какъвто и период да оптимизираш, системата избира най-доброто за този период, или да кажем поредица от много добри резултати, т.е. всяка оптимизация е потециално кървфитната за конкретния период и за да разбереш дали е така, трябва да тестваш за друг период, за да видиш дали ще работи и за в бъдеще.
Принципно всеки период извън периода на оптимизацията се явява бъдеще за системара, защото тя не е запозната с неговите котировки.
Аз затова казх - примерно 20 години - разделяме на 4 х 5 години - оптимизираме в два от четирите - примерно първи и трети - подбираме няколко най-добри резултата - ако в двата периода има резултати с еднакви стойности е най-добре да започнем от тях - тестваме във 2 и четвърти период - ако получим резултати близки до оптимизираните, значи параметрите получени от оптимизацията са стабилни
Аз друг разумен начин за оптимизация не се сещам

[K_W]

Е как да няма смисъл.
Не знам кой какво е изследвал, ама не е така както го казваш.
За какъвто и период да оптимизираш, системата избира най-доброто за този период, или да кажем поредица от много добри резултати, т.е. всяка оптимизация е потециално кървфитната за конкретния период и за да разбереш дали е така, трябва да тестваш за друг период, за да видиш дали ще работи и за в бъдеще.
Принципно всеки период извън периода на оптимизацията се явява бъдеще за системара, защото тя не е запозната с неговите котировки.
Аз затова казх - примерно 20 години - разделяме на 4 х 5 години - оптимизираме в два от четирите - примерно първи и трети - подбираме няколко най-добри резултата - ако в двата периода има резултати с еднакви стойности е най-добре да започнем от тях - тестваме във 2 и четвърти период - ако получим резултати близки до оптимизираните, значи параметрите получени от оптимизацията са стабилни
Аз друг разумен начин за оптимизация не се сещам

Аз ще потърси това което имам спомен че съм чел.
Но то можеи просто като се замисли човек да стигне до някои изводи. Ако стратегията се представя лошо на периода извън извадка за оптимизция, който не е виждала какво става, ами отхвърляш го и тестваш пак, докато не намериш някои настройки които да са добре и на периода след оптимизацията които не са виждали. Как става оптимицацията, чрез превъртане на данните докато се открият най добрите настройки, еми не е ли едно също, само че когато хванеш целият период просто става по-бързо и намираш най-доброто по бързо.:los11:

[balcon]

Дали, аз по скоро съм стигнал до извода, а и съм го виждал май като изследвания, че колкото по-дълъг период оптимизираш, толкова по-добре за системата. Мисля че по-скоро късите периоди водят до кървфитинг в лошата му форма.
В крайна сметка, не знам има ли изобщо смисъл от това да оптимизираш и тестваш после на данни, които са извън периода на оптимизация (out of sample), така или иначе ще избереш да търгуваш само ако резултата е добър, ако не продължаваш, докато намериш най-добре пасналите резултати, само си затрудняваш и удължаваш работата, а релано е една и съща работата.

Последните няколко месеца мисля, че търгуваме предимно фундамент - ковид, хеликоптерни пари, президентски избори в САЩ, Брекзит. Не казвам, че и в предишни години е липсвал силен фундамент, но печатане на пари като това през тази година и повсеместни локдауни мисля, че няма как да бъдат открити с бактестване за последните дори 20 г.

[minkov]

Последните няколко месеца мисля, че търгуваме предимно фундамент - ковид, хеликоптерни пари, президентски избори в САЩ, Брекзит. Не казвам, че и в предишни години е липсвал силен фундамент, но печатане на пари като това през тази година и повсеместни локдауни мисля, че няма как да бъдат открити с бактестване за последните дори 20 г.

То и никой, който се занимава с ботове не е тръгнал да търси брекзит, локдауни и др. подобни по графиките. Оптимизират се технически сетъпи и се игнорира фунда мента.
Фундамента е локално непредвидимо явление, техниката е с постоянно действие и там се търси далаверата

[minkov]

Последните няколко месеца мисля, че търгуваме предимно фундамент - ковид, хеликоптерни пари, президентски избори в САЩ, Брекзит. Не казвам, че и в предишни години е липсвал силен фундамент, но печатане на пари като това през тази година и повсеместни локдауни мисля, че няма как да бъдат открити с бактестване за последните дори 20 г.

Не е задължително да търсиш най-доброто или по друг начин казано зависи какъв ти е критерия за най-добро
Защото при оптимизацията, поне в МТ4 не виждаш графиката, не виждаш сделките, виждаш само някои от основните параметри и въобще не е сигурно дали е стабилна системата или добрите параметри са резултат от много добри единични сделки

[K_W]

Последните няколко месеца мисля, че търгуваме предимно фундамент - ковид, хеликоптерни пари, президентски избори в САЩ, Брекзит. Не казвам, че и в предишни години е липсвал силен фундамент, но печатане на пари като това през тази година и повсеместни локдауни мисля, че няма как да бъдат открити с бактестване за последните дори 20 г.

Света не е започнал, да се разболява, воюва и прави политически промени от 2020. Брекзит най-големите движения бяха 2016та. Изборите в САЩ може да погледнеш 2016, 2012, 2008, 2004, технически изглеждат доста близки, някои с по силни други с по слаби амплитуди, но като цяло не много различи, поне това си спомням от преди няколко месеца като ги гледах. А пък този локдаун и ковид как точно се търгува като индексите правят нови върхове след бързата и дълбока корекция от началото на годината, не бих казал, че пазара го отразва особено?
Както казва minkov ние търгуваме технически стъпи които са повтаряеми, не врачуваме събития.:frost:

[100]

Aз също харесвам и ползвам метотода на minkov с разделене на периодите при първоначален и последващ тест с доработки. Чак последния тест вече ми е за целия период.
Преди време още ако някой си спомня от минали дискусии все съм бил леко против да се правят ставнения на роботи и системи с 15-20 години извадка, просто в реалния живот 2-3 лоши години са много, а за този тест са напълно приемливи и дрои няма да обърнеш внимание.

Когато си тествал много нормално да разпределиш нещата на периоди, които си набелязал като добри, лоши, няккакви....по твоя си план. Започвайки да изследваш резултатите върху всеки конкретно можеш да добиеш в пъти по-добра представа как би изглеждало лошото, как да го подобриш, как да не влошиш хубавото и т.н. Реално и да направиш дългия тест пак ще трябва да ровиш в него за отчет по периоди и очевидно в автоматизиран вариант просто ще направиш и периодите един по един.

Тази година аз лично откривам разлика по моя план, има повече хаотични движения интрадей, по-резки промени от месец към месец, предишната която ми беше подобна на нея е 2012.

[K_W]

Aз също харесвам и ползвам метотода на minkov с разделене на периодите при първоначален и последващ тест с доработки. Чак последния тест вече ми е за целия период.
Преди време още ако някой си спомня от минали дискусии все съм бил леко против да се правят ставнения на роботи и системи с 15-20 години извадка, просто в реалния живот 2-3 лоши години са много, а за този тест са напълно приемливи и дрои няма да обърнеш внимание.

Когато си тествал много нормално да разпределиш нещата на периоди, които си набелязал като добри, лоши, няккакви....по твоя си план. Започвайки да изследваш резултатите върху всеки конкретно можеш да добиеш в пъти по-добра представа как би изглеждало лошото, как да го подобриш, как да не влошиш хубавото и т.н. Реално и да направиш дългия тест пак ще трябва да ровиш в него за отчет по периоди и очевидно в автоматизиран вариант просто ще направиш и периодите един по един.

Тази година аз лично откривам разлика по моя план, има повече хаотични движения интрадей, по-резки промени от месец към месец, предишната която ми беше подобна на нея е 2012.

То товаса си общоприетите методи, разделяш, пък WFO, ISO оптимизации и тн. Но реално, като се замисли човек не съществува такова нещо като out of sample тест. Просто защото и там правиш същото проверка на параметрите чрез тест. следователно си е загуба на време, чрез която единствено опитваме да обедим себе си, че правим нещо смислено и проверяваме стратегията. Много по продуктивно би било да търсим параметри за цялата извадка от данни която имаме, вероятността да намерим някоя постоянно присъстваща зависмост е по-висока, а и това става по-бързо.
Усещам че пак леко намекваш за някакъв недостатък на автоматичните тестове, пред ръчните в които човек е по вглабен , но няма такъв. Аз лично почти всяка стратегия която ползвам съм я гледал как търгува на графиката в тестера във визуален мод. Всяка стратегия я тествамстотици пъти, чрез машинна и в последствие ръчна финна оптизмизация. когато съм доволен, тествам със ММ и различне риск, тествам на други инструменти за да проверка, после правя тест с ММ година по година, после го сглобявам в портфолио без ММ и с ММ , година по година и си вадя показатели за всяка календарна година. Отнема доста време всичко това.