Невронни мрежи и изкувствен интелект

[Fafa]

Както казват всяко ново е забравено старо само, че трансформирано по друг начин.

[Mateev]

Невронните мрежи не са подходящи за търсене на зависимости по финансовите пазари, защото:
1. Невронните мрежи ЗАБРАВЯТ старата информация, за да могат да запомнят по-новата в ОГРАНИЧЕНИЯ СИ КАПАЦИТЕТ.
2. Въпреки това неронните мрежи ВИНАГИ ДАВАТ ОТГОВОР, дори и когато той е ГРЕШЕН.
3. Горните две точки важат и за човешкия мозък, който също е невронна мрежа.

Най-големия проблем при търсенето на зависимости е да се разпознае разликата между ФЛУКТУАЦИИТЕ НА СЛУЧАЙНОСТА и истинското движение, породено от ИСТИНСКА ЗАВИСИМОСТ. Това невронната мрежа (и хората) не могат да го направят, в резултат на което вземат ГРЕШНИ РЕШЕНИЯ за търговия.

Ще ви го обясня с един пример. Нека да хвърляме монетка, за която точно и ясно знаем, че е с 50% вероятност. Ако се падне стотинка, рисуваме един тик нагоре, а ако се падне герб - тик надолу. Получава се някаква графика, която е буквално същата като тази, която всеки ежедневно гледа на МетаТрадер-a.

Ако преброим колко герба и колко стотинки са паднали, ще открием например съотношение 57:43, или например 60:40, а не 50:50. Това ще подведе всички невронни мрежи (и хората), че са намерили зависимост. И ще започнат да търгуват по нея (нагоре), но в действителност всички знаем, че вероятноста е 50:50 и в безкрайноста графиката ще се приближи до нея. Тоест тренда няма да продължи нагоре, а след много колебания ще се върне в точка нула.

Та това е причината за самозаблудата на хората, а и на всички невронни мрежи, колкото и добри да са те. За да не се изпада в такава самозаблуда е необходим някакъв инструмент, който ДА РАЗПОЗНАВА ИСТИНСКАТА ЗАВИСИМОСТ и да не я бърка с псевдозависимостите, породени от естествените флуктуации на чистата случайност.

Математиката разполага с такива инструменти, като например ДОВЕРИТЕЛНИЯ ИНТЕРВАЛ. Чрез него можем да проверим каква е вероятноста една зависимост да е истинска, и да продължи и в бъдещето да бъде такава, каквато сме я наблюдавали в миналото. И понеже бъдещето е неопределено, то решението на задачата ще ни даде някакъв ИНТЕРВАЛ, в който с някаква вероятност ще се движи ПМО-то, намерено в миналото. И ако долната граница на този интервал е отрицателна, то тогава е само въпрос на време да си загубим акаунта.

Та това е накратко базовата концепция за печелившост на всяка една търговия (дори и извън финансовите пазари). Трябва да се намери зависимост и да се направи стратегия върху нея така, щото долната граница на доверителния интервал да е положителна. Не успеем ли да го постигнем това, въпрос на време е да си загубим акаунта (или бизнеса). И ако масовия трейдер (или търговец в бизнеса) си направи тези сметки върху историческите си сделки, с ужас ще открие, че неговата долна граница на доверителния интервал е отрицателна. Това е и причината само 5% от хората да успяват да направят стабилен бизнес (печеливша търговия).

[Mateev]

Другия проблем на повечето хора, търсещи стратегии, е НАДНИЧАНЕТО В БЪДЕЩЕТО. Те го правят това НЕВОЛНО, без дори да се усетят. Най-явната форма е да направят някакъв исторически тест и да видят положителни резултати, след което да си помислят, че са хванали господа за дръжката.

Правилния подход е друг:
1. Тества се стратегията например за първите 2-3 години
2. Подбира се най-добрата комбинация от параметри.
3. Търгува се с тези параметри 1 година.
4. В края на годината се правят нови тестове и се подбира нов комплект от параметри, и отново се връщаме в т.3 (търгува се 1 година).

Този цикъл се развърта по програмен път, и след това анализираме резултатите от търговията по т.3. За тези резултати вече е ясно, че не сме надничали в бъдещето, когато сме преоптимизирали стратегията. Това е паравилния път, но ако го реализирате като код, с ужас ще откриете, че нито една от потенциално печелившите ваши стратегии не е търгувала успешно по този метод.

Между другото тука можете да използвате невронна мрежа, просто за да се убедите, че тя наистина не може да върши никаква работа. Постъпвате по следния начин:
1. Обучавате невронната мрежа с първите 2-3 години от данните.
2. Търгувате 1 година с нея.
3. Преобучавате мрежата, като вече включвате и изминалата година
4. Връщате се в т.2

Метода може да се доразвие, като преобучаването (или новото търсене на зависимости) се извършва не веднъж годишно, а веднъж седмично (в уйкенда) или дори след всяка една сделка (преоптимизиране в реално време). При всички случаи в един и същи експерт ще се наложи да сложите както търговската част, така и часта за търсене на зависимости. Такъв един експерт ако се тества в исторически план, вече ще имате 100% гаранция, че НЕ СТЕ НАДНИЧАЛИ В БЪДЕЩЕТО.

[kypa]

Най-големия проблем при търсенето на зависимости е да се разпознае разликата между ФЛУКТУАЦИИТЕ НА СЛУЧАЙНОСТА и истинското движение, породено от ИСТИНСКА ЗАВИСИМОСТ.

Първото май може да се характеризира като рейндж, а второто - като тренд. И пазара да е смесица от двете във всеки един момент, като едното (обикновено рейнджа) преобладава. А трайдера, с ръчната търговия най-вече, да се опитва по структурата на движението на цената да познае кое от двете преобладава и в каква степен. По-точно кога започва ситуацията породена от зависимостта, т.е. кога пазара от рейндж преминава в тренд.
А структурата що-годе математически може би може да я определим като съотношения на наклона на графиката (ако представим поредицата тикове като начупена линия) и промените в тях, т.е. първа и втора производна.
Нещо в таз насока трябва да се подаде на неврологичните мрежи и ще изкарат интересен резултат, ама още не съм измислил какво.

[GeorgiRR]

Матеев, опитвам се да асимилирам това дет си написал и не мога да проумея някой противоречия........според мене "флуктуациите на случайността" са си част от истинското движение на пазара...........щото имаш неопределен брой субекти във всеки един момент, и няма механизъм с който да предвидиш в каква посока и с какви обеми влиза всеки един от тях, че да предвидиш каква ще е следващата свещ на графиката........примера с монетата не е много показателен според мене, на графиките разпознаваш трендово движение, следователно една от двете стойности задължително трябва да надвишава другата, няма логика резултата да е 50:50........това за доверителния интервал ми харесва, проблема е на време да се идентифицира пораждането на нова зависимост, т.е. нов тренд.........истинската зависимост и псевдозависимостите зависи от фрейма.....на малките фреймове преобладават псевдосависимостите, т.е. шума..........на часовите и дневните можем да очакваме по чисти, истински зависимости.......
......и в заключение, господства илюзията че може да се намери алгоритъм, дето да прогнозира и печели винаги, .......няма такъв според мене, .......загубата трябва да е част от този алгоритъм, но вече в некакви допустими, контролируеми граници.........
е така материята ми изглежда по приемлива и смилаема за редовия трейдер.....

[mck..]

Някой да подскаже на Матеев, че човечеството oтдавна решава нелинейни хаотични системи, една от които е проблемь с трите тела, задачка, зададена от Шведския крал И на база който, неговите крипто валути съществуват днес, а и рансъм вирусите де

[Mateev]

Първото май може да се характеризира като рейндж, а второто - като тренд. И пазара да е смесица от двете във всеки един момент, като едното (обикновено рейнджа) преобладава. А трайдера, с ръчната търговия най-вече, да се опитва по структурата на движението на цената да познае кое от двете преобладава и в каква степен. По-точно кога започва ситуацията породена от зависимостта, т.е. кога пазара от рейндж преминава в тренд.
А структурата що-годе математически може би може да я определим като съотношения на наклона на графиката (ако представим поредицата тикове като начупена линия) и промените в тях, т.е. първа и втора производна.
Нещо в таз насока трябва да се подаде на неврологичните мрежи и ще изкарат интересен резултат, ама още не съм измислил какво.

Явно не си ме разбрал. Това, която го наблюдаваме като графика на цените или на нашето Equity, може да го нарисува както чистата случайност, така и някаква зависимост. Това е основно свойство на вероятностите. Ще го напиша с червени букви, защото е много важно да се знае:

Всяка една вероятност може да нарисува всеки един възможен маршрут на движение !!!

Тоест дори и вероятноста за движение надолу може да нарисува голям тренд нагоре. И в това е основният наш проблем. Ние гледаме някаква графика и си мислим, че сме видели зависимост, но всъщност не знаем:
1. Има ли въобще зависимост, или графиката е плод на чистата случайност
2. Ако визуално преценим, че сме видели зависимост нагоре, дали всъщност тя не е породена от зависимост надолу

И тъй като не съществува никакъв начин да определим даден маршрут от каква вероятност е породен, можем да направим една друга хватка. Знаем например, че при вероятност от 50% всички маршрути са РАВНОВЕРОЯТНИ. Тоест в безкрайнопста се срещат еднакъв брой пъти. При вероятност от например 80% обаче маршрутите нагоре ще се срещат по-често от маршрутите надолу, а при 20% например ще е точно обратното. Следователно можем да определим каква е вероятноста дадена вероятност да е породила този маршрут.

Забележете - трябва да определим ВЕРОЯТНОСТА на ВЕРОЯТНОСТА (вероятноста даден маршрут да е породен от дадена вероятност). Звучи малко объркващо, но това е единственото, което може да направи математиката. И тука се намесва доверителния интервал като един от начините да се хвърли поне малко светлина върху този проблем.

[mck..]

Всеки да метне монеть, и да каже в ляво ли се е паднало да падне или в дясно се е паднало да падне, а математиката МУ да обясни, що не пада

[kypa]

Това със вероятността за вероятността случайност да нарисува тренд трябва да е ключовия момент. Язе си мисля, че ще клони към нула.
Такава случайна графика във всеки случай ще е интересно да се нарисува.

[Mateev]

Това със вероятността за вероятността случайност да нарисува тренд трябва да е ключовия момент. Язе си мисля, че ще клони към нула.
Такава случайна графика във всеки случай ще е интересно да се нарисува.

Точно случайноста рисува такива трендове, каквито ги гледаш всеки ден. Това чак сега ли го разбираш?

Ти вече можеш да програмираш. Напиши един код, с който да теглиш случайни тикове с вероятност 50%. След това например от всеки 100 тика изгенерирай барове, и ще видиш графика, неотличима от истинските графики. Ще има трендове, трендлинии, консолидации, флагове, триъгълници, подкрепи, съпротиви, фибоначита и всичко останало, както си му е реда.

Въобще човек трябва да го види с очите си, за да го повярва. И чак тогава вече може да си зададе въпроса "а дали и истинските графики не са случайни"? Този въпрос ме мъчи от 15 години и от тогава аз търся начини и методи да открия по какво се различава случайноста от истинските зависимости. И това-онова понаучих през годините. И една част от него дори публикувах по форумите, но срещнах тотално неразбиране. От цялата история само се сдобих с врагове, които ме обявиха за глупав, прост и тъп. Например Ангел или saxteen, които силно охладиха желанието ми да споделям с другите хора какво съм научил.