Първоначално написано от
Mateev
Аз имам съвсем друго разсъждение по отношение на тестовете в реално време. Ще се опитам да го обясня:
Знаем, че правилата на търговската стратегия във взаимодействие с движението на цените генерират някакви сделки. Цялото количество сделки от момента на създаване на финансовия инструмент до момента на неговото закриване в далечното бъдеще се нарича ГЕНЕРАЛНА СЪВКУПНОСТ. Тази генерална съвкупност си има разпределение и статистически параметри, които обаче ние не ги знаем в момента СЕГА. Ще ги научим чак в далечното бъдеще, когато инструмента бъда закрит, и тогава вече при пълен комплект от 100% сделки можем да си сметнем какъвто си искаме статистически параметър, и стойността му тогава и само тогава вече ще бъде вярна и точна.
Към днешна дата ние разполагаме само с една МАЛКА ИЗВАДКА от всички сделки на генералната съвкупност. Изчисляваме статистическите параметри на тази извадка, но трябва да сме наясно, че тези параметри ще се различават от параметрите на генералната съвкупност, и тази разлика може да е огромна.
Сега нека да си представим, че можем с машина на времето да отидем в бъдещето, и да научим истинските статистически параметри на цялата генералната съвкупност. След това можем да започнем да правим много на брой различни случайни извадки от тази генерална съвкупност, и да изследваме техните параметри. Ще се получи нещо такова:
Генерална съвкупност ==> Извадка 1 с параметри, в които има някаква Грешка 1
Генерална съвкупност ==> Извадка 2 с параметри, в които има някаква Грешка 2
Генерална съвкупност ==> Извадка 3 с параметри, в които има някаква Грешка 3
Можем да започнем да анализираме размера на грешките и да си изясним тяхното разпределение по стойности, както и да определим някакъв доверителен интервал, в който те попадат например с вероятност 99%. Това всъщност е правата задача, която трябва да се реши, и която бъдещите поколения ще могат лесно да го направят.
Ние обаче се сблъскваме с обратната задача, комбинирана с правата, но с двойно натрупване на грешката. Тоест нашата задача изглежда така:
Извадка 1 от историческите тестове ==> Генерална съвкупност, в която има Грешка 1
Генерална съвкупност с грешка ==> Извадка 2 (търговия 1 година в бъдещето) + грешка
Тоест ние първо се опитваме да си изясним параметрите на генералната съвкупност, но това можем да го направим само приблизително, като ги вместим в някакъв доверителен интервал с някаква вероятност. Тоест по отношение на генералната съвкупност не се сдобиваме само с един комплект параметри, а с цяла една голяма група такива, заключени в един диапазон от най-песимистичната до най-оптимистичната оценка. И от целия този диапазон вече трябва да решим правата задача с многото на брой случайни извадки, които могат да бъдат направени от генералната съвкупност. И например търговията за 1 година напред в бъдещето е само една от възможните извадки. Да, ама всички тези възможни извадки пак имат някаква грешка, която пак може да бъде оценена с някакви доверителни интервали. И така всъщност се натрисаме на задачата да търсим доверителен интервал на доверителния интервал.
Тоест нашата задача става следната:
1. Изчисляваме статистическите параметри на една от извадките (историческите тестове).
2. Изчисляваме статистическата грешка на тези параметри, която пряко зависи от Standard Deviation
3. С помощта на тази грешка определяме най-песимистичния сценарий за параметрите на генералната съвкупност, и това е долната граница на този интервал
4. По този песимистичен сценарий на генералната съвкупност втори път смятаме доверителен интервал, за да си изясним в какъв диапазон ще се движат параметрите на различните случайни извадки на тази генерална съвкупност (бъдещите сделки през различни периоди от бъдещето).
5. Отново вземаме долната граница (песимистичния сценарий) и се сдобиваме с комплект параметри, който като минимум ще го притежават например 99% от всички възможни бъдещи извадки.
6. Бъдещата търговия например за 1 година напред в бъдещето ще представлява един СЛУЧАЕН ИЗБОР на извадка от всички възможни бъдещи извадки на генералната съвкупност.
А сега изводите:
Тестовете в миналото и търговията в някакъв малък участък от бъдещето представляват само 2 случайни извадки от огромния обем възможни извадки на генералната съвкупност. Тези 2 извадки по нищо не се различават една от друга. И двете имат статистически параметри с вградена в тях грешка. И от двете можем да се опитаме да си изясним параметрите на генералната съвкупност, но и при двете тези параметри ще ги изчисляваме с грешка, която ще създаде някакъв диапазон от стойности (доверителен интервал). Това обаче почти с нищо няма да ни помогне да подобрим прогнозите си за генералната съвкупност и след това за следващата 3-та извадка (още 1 година търговия в бъдещето).
Не знам дали четохте внимателно и дали разбрахте какво искам да обясня, затова ще го изкажа като директно твърдение, пък който разбрал - разбрал. Твърденията ми са следните:
1. Тестовете в миналото са напълно достатъчни за преценка на качествата на една стратегия, стига да са направени по верния начин с отчитане на всички особености на реалната търговия.
2. Допълнителни тестове с реален акаунт с малки лотове въобще не са нужни. Те само ще създадат още една извадка, в която пак ще има натрупана грешка, при това тази грешка ще е много по-голяма от грешката на историческите тестове, защото ще съдържа много по-малък брой сделки.
3. Дори и да обединим и двете извадки по т.1 и т.2, пак ще се получи извадка с голяма натрупана грешка в нея, и тази извадка с нищо няма да е по-добра от алтернативата да ползваме само извадката по т.1 (само историческите тестове).
С едно изречение:
Безсмислени са всякакви допълнителни тестове на Demo или Real с малки лотове. Те няма да ни дадат никаква допълнителна информация към тази, която вече я знаем от историческите тестове. Би имал някакъв смисъл един втори допълнителен тест, но само ако той има продължителност, съизмерима с тази от историческите тестове. Тоест трябва да тестваме още 10 години в бъдещето, но това почти с нищо няма да помогне за допрецизиране на параметрите на генералната съвкупност и за прогнозиране на 3-тата извадка (още 10 години напред в бъдещето).
За пример ще дам прогнозирането на изборните резултати. Ако вместо 5000 човека (една извадка) разпитаме 10 000 (още една извадка от 5000), с колко според вас ще се промени точността на прогнозата, при положение че гласуващите са няколко милиона? Ами ще се подобри, но с нищожна стойност. Ако от първата извадка сме прогнозирали за дадена партия между 15% и 20%, с втората извадка ще подобрим прогнозата до диапазона 15.2% - 19.8%.
Ще дам пример и за това каква двойна задача всъщност се опитваме да решим, правейки исторически тестове в миналото:
Опитваме се от първата извадка от 5000 човека да прогнозираме изборните резултати на 5 милиона човека, и след това от тези 5 милиона случайно да изберем 5000 (втора извадка), и да прогнозираме какво ще гласуват хората от втората извадка. Тоест правим двойно натрупване на грешка или прогноза на диапазона на промяна на двете граници на първия диапазон. Резултата ще бъде още по-широк диапазон от първия диапазон.
В заключение:
В този постинг обяснявам и се опитвам да докажа защо няма никакъв смисъл да се правят каквито и да било допълнителни тестове освен тези, които са направени в исторически план, но по верния начин с тикова симулация с реален спред. Който разбрал - разбрал. Който не - нека да си губи времето и живота в реални тестове, от които няма да получи никаква допълнителна информация.