Testament posterior i proves posteriors: la importància de la correlació

Els comerciants que desitgen provar una idea de comerç en un mercat directe sovint cometen l’error de confiar completament en resultats de prova per determinar si el sistema serà rendible. Si bé el test de prova pot proporcionar als comerciants informació valuosa, sovint és enganyosa i només és una part del procés d'avaluació.

Les proves fora de mostra i les proves de rendiment endavant proporcionen una confirmació addicional sobre l'eficàcia del sistema i poden mostrar els colors reals del sistema abans que els efectius reals estiguin en línia. Una bona correlació entre els resultats de proves de test posterior, fora de mostra i de rendiment endavant és vital per determinar la viabilitat d’un sistema de negociació. (Oferim alguns consells sobre aquest procés que poden ajudar a perfeccionar les vostres estratègies de negociació actuals. Per obtenir més informació, consulteu: Testament posterior: interpretar el passat .)

Conceptes bàsics de backtesting

El backtesting fa referència a l'aplicació d'un sistema de negociació a dades històriques per verificar com s'hauria comportat un sistema durant el període de temps especificat. Moltes de les plataformes comercials actuals admeten proves. Els comerciants poden provar les idees amb algunes pulsacions de teclat i conèixer millor l'eficàcia d'una idea sense arriscar fons en un compte de negociació. El test de prova pot avaluar idees senzilles, com ara la realització d'un creuament mitjà en moviment en dades històriques o sistemes més complexos amb diversos inputs i desencadenants.

Sempre que es pugui quantificar una idea, es pot testar posteriorment. Alguns operadors i inversors poden buscar l'experiència d'un programador qualificat per desenvolupar la idea de forma verificable. Típicament, es tracta d’un programador que codifica la idea en el llenguatge propietari allotjat per la plataforma comercial. El programador pot incorporar variables d’entrada definides per l’usuari que permeten al comerciant “ajustar” el sistema. Un exemple d'això seria en el sistema de creuament de mitjana mòbil simple que s'ha indicat anteriorment: El comerciant seria capaç d'introduir (o canviar) les longituds de les dues mitjanes mòbils utilitzades en el sistema. El comerciant podria fer un test posterior per determinar quines longituds de les mitjanes mòbils haurien donat el millor rendiment a les dades històriques.

Estudis d’optimització

Moltes plataformes comercials també permeten estudis d’optimització. Això comporta introduir un rang per a l’entrada especificada i deixar que l’ordinador “faci les matemàtiques” per esbrinar quina entrada hauria obtingut el millor. Una optimització de diverses variables pot fer les matemàtiques per a dues o més variables per determinar quines combinacions haurien aconseguit el millor resultat. Per exemple, els comerciants poden indicar al programa quines entrades voldrien afegir a la seva estratègia; aleshores, s'optimitzarien els seus pesos idonis, donades les dades històriques provades.

El test de prova pot ser excitant perquè un sistema poc rendible sovint es pot transformar màgicament en una màquina de guanyar diners amb poques optimitzacions. Malauradament, ajustar un sistema per assolir el màxim nivell de rendibilitat passada sovint condueix a un sistema que tindrà un bon comportament en la negociació real. Aquesta sobre-optimització crea sistemes que només es veuen en paper.

L’adaptació per corbes és l’ús d’analítiques d’optimització per crear el nombre més gran d’operacions guanyadores amb major benefici en les dades històriques utilitzades en el període de prova. Tot i que sembla impressionant en els resultats de prova, l’ajustament de corbes condueix a sistemes poc fiables, ja que els resultats estan essencialment dissenyats a mida per a aquestes dades i períodes de temps concrets.

El test de prova i l’optimització proporcionen molts avantatges a un comerciant, però això només és part del procés quan s’avalua un potencial sistema de negociació. El següent pas d’un comerciant és aplicar el sistema a dades històriques que no s’han utilitzat en la fase de prova inicial.

In-Sample Versus Dades fora de mostra

Quan es prova una idea de dades històriques, és útil reservar un període de dades de dades històriques per a proves. Les dades històriques inicials en què es prova i s’optimitza la idea es coneixen com a dades de mostra. El conjunt de dades que s’ha reservat es coneix com a dades fora de mostra. Aquesta configuració és una part important del procés d’avaluació perquè proporciona una manera de provar la idea sobre dades que no han estat components del model d’optimització. Com a resultat, la idea no ha estat influenciada de cap manera per les dades fora de mostra, i els comerciants podran determinar el funcionament del sistema amb dades noves, és a dir, en la negociació real.

Abans d’iniciar qualsevol prova de prova o d’optimització, els comerciants poden deixar de banda un percentatge de les dades històriques a reservar per a proves fora de mostra. Un dels mètodes és dividir les dades històriques en terços i segregar un terç per utilitzar-les en proves fora de mostra. Només s'han d'utilitzar les dades de la mostra per a la prova inicial i qualsevol optimització. La figura 1 mostra una línia de temps en què un terç de les dades històriques es reserven per a proves fora de mostra i dos terços s’utilitzen per a proves en mostra. Tot i que la figura 1 representa les dades fora de mostra al començament de la prova, els procediments típics tindrien la porció fora de mostra immediatament anterior al rendiment endavant.

Figura 1: Línia de temps que representa la longitud relativa de les dades de la mostra i fora de la mostra utilitzades en el procés de test.

La correlació fa referència a similituds entre les actuacions i les tendències generals dels dos conjunts de dades. Les mètriques de correlació es poden utilitzar per avaluar els informes de rendiment de l'estratègia creats durant el període de prova (una característica que proporcionen la majoria de plataformes comercials). Com més forta sigui la correlació entre tots dos, millor serà la probabilitat que un sistema funcioni bé en proves de rendiment endavant i en negociació en directe.

La figura 2 il·lustra dos sistemes diferents que es van provar i optimitzar en dades in-mostra, i després es van aplicar a dades fora de mostra. El gràfic de l'esquerra mostra un sistema clarament en forma de corba per funcionar bé en les dades de la mostra i va fallar completament en les dades fora de la mostra. El gràfic de la dreta mostra un sistema que va funcionar bé a les dades de fora i de fora de mostra. Una vegada que s’ha desenvolupat un sistema de negociació amb dades de mostra, ja està preparat per aplicar-lo a les dades fora de la mostra. Els comerciants poden avaluar i comparar els resultats de rendiment entre les dades de la mostra i fora de la mostra.

Figura 2: Dues corbes de capital. Les dades de comerç abans de cada fletxa groga representen proves en mostra. Les operacions generades entre les fletxes grogues i vermelles indiquen proves fora de mostra. Les operacions posteriors a les fletxes vermelles provenen de les fases de proves de rendiment endavant.

Si hi ha poca correlació entre les proves en mostra i fora de mostra, com el gràfic esquerre de la figura 2, és probable que el sistema s’hagi optimitzat excessivament i no tingui un bon rendiment en la negociació en directe. Si hi ha una forta correlació en el rendiment, tal com es pot observar en el gràfic dret de la figura 2, la següent fase d'avaluació implica un tipus addicional de proves fora de mostra conegudes com a proves de rendiment endavant. (Per obtenir més informació sobre les previsions, consulteu: Previsió financera: el mètode bayesià .)

Fonaments de proves de rendiment endavant

Les proves de rendiment endavant, també conegudes com a comerç de paper, proporcionen als comerciants un altre conjunt de dades fora de mostra sobre les quals poder avaluar un sistema. La prova de rendiment endavant és una simulació del comerç real i consisteix en seguir la lògica del sistema en un mercat actiu. També s’anomena comerç de paper ja que totes les operacions s’executen només en paper; és a dir, les entrades i sortides comercials es documenten juntament amb qualsevol benefici o pèrdua del sistema, però no s’executen operacions reals.

Un aspecte important de les proves de rendiment endavant és seguir exactament la lògica del sistema; en cas contrari, és difícil, si no és impossible, avaluar amb precisió aquest pas del procés. Els comerciants haurien de ser sincers sobre les entrades i sortides comercials i evitar comportaments com ara comerços de cirera o no incloure un comerç sobre paper racionalitzant que "mai no hauria pres aquest comerç". Si el comerç s’hagués produït seguint la lògica del sistema, s’hauria de documentar i avaluar.

Molts corredors ofereixen un compte de negociació simulat on es poden realitzar operacions i calcular les pèrdues i guanys corresponents. L'ús d'un compte de negociació simulat pot crear una atmosfera semi-realista on practicar la negociació i avaluar encara més el sistema.

La figura 2 també mostra els resultats de les proves de rendiment endavant en dos sistemes. Un cop més, el sistema representat al gràfic de l’esquerra no aconsegueix molt més enllà de la prova inicial de les dades a la mostra. El sistema que es mostra al gràfic correcte, però, continua funcionant bé durant totes les fases, incloses les proves de rendiment endavant. Un sistema que mostra resultats positius amb una bona correlació entre proves de mostreig, fora de mostra i rendiment a distància està preparat per ser implementat en un mercat en viu. (Vegeu també: avantatges i contres del comerç de paper .)

La línia de fons

Backtesting és una valuosa eina disponible a la majoria de plataformes comercials. Dividir dades històriques en diversos conjunts per proporcionar proves en mostra i fora de mostra, pot proporcionar als operadors un mitjà pràctic i eficaç per avaluar una idea i un sistema de negociació. Com que la majoria de comerciants utilitzen tècniques d’optimització en el test de prova, és important avaluar el sistema en dades netes per determinar-ne la viabilitat.

Continuar la prova fora de la mostra amb proves de rendiment endavant proporciona una altra capa de seguretat abans de posar un sistema al mercat arriscant efectiu real. Els resultats positius i una bona correlació entre el test de retracte en mostra i fora de mostra i les proves de rendiment endavant augmenten la probabilitat que un sistema funcioni bé en la negociació real. (Per obtenir una visió general de l'anàlisi tècnica, vegeu: Fonaments de l'anàlisi tècnica .)