Sistemler ve piyasa Yapısının felsefesi.
@tradeshark güzel bir bir sohbet olmuş izledim hepsini.
@atakan ve diğer arkadaşlar
Piyasayı modellemeyle ilgili şöyle bir teorim var benim.
Hani diyoruz ya sistemimiz çalışacakmı nasıl bir sistem yazılmalı hep backtest vesaire diye.
1-Öncelikle back test yapılmayan sistem sistem olamaz olamaz yaw niye olamaz Siz bir kurgunun yada kendi kafanızdaki stratejinin manuelde nasıl trade ediyorsanız o stratejinizi algoritma olarka yazıyorsunuz doğrumuyum.
BU strateji doğru çalışıyormuymuş çalışmıyormuymuş bunu görmek istemezmisiniz yaw. Para koyacaksınız o modele, İnsanlar hisse senedi seçerken bile back testin yapıyor. Geçmiş grafiğe bakıyor bu iyi kazandırmış diye seçiyorsunuz.
Trade edilecek hisseyi neye göre belirliyorsunuz hacmine bakıyorsunuz ? bu back testing değil de nedir ? ozman rasgele hisse seçeydin ya back testing olmak zorunda hayatımızın her yerinde bu var hangi aracı kurumdan hesap açayım derken araştırıyorsunuz, araştırma dediğimiz şey aslında bir back testingdir. Tatile gideceğiniz hotel için back testing yapıyorsunuz yorumlara bakıyorsunuz burası ıyımış diyorlar diye gidiyorsunuz back testing değil mi bu bitti.
İşte sistem olayıda aynı hayatın içinden birşey back testingi yapar model uygun güzelse o modeli seçersiniz. Burada dikkat eilmesi gereken mesele sisteminizin ne kadar işlem açtığı hani bir hotel hakkında yorumları internetten buluyorsunuz. Başınıza mutlaka gelmiştir veya elektronık bir eşya alacaksınız yorumlara bakarsınız bu yorumlardaki sayıyada dikkat edersiniz 3-5 yorum yapılmış olanla 100 yorum yapılmış arasında bir fark vardır. 100 yorum yapılmış olana daha çok güvenirsiniz daha bi içinize siner. Değilmi işte sistemdede aynı mantık var ne kadar çok işleme girebilmişse modeliniz okadar güvenilir olacaktır okadar içinize sinecektir. getirisini götürüsü buna dikkat edin.
2-Bu back testing meselesi artık kapanmıştır herhalde Back testing yapmak zorundasınız rasgele bir model kullandığınız da garanti batacağınız. Gelelim istatistiklere çıkan istatistikler çok iyi bir şekilde irdelenmeli 3-5 tane istatistiksel sonuç yeterli değil bakın sayıyorum
TÜm hesaplamaları kayma ve komısyon dahil yapmalısınız tek işlem 35 puan çift işlem 70 puan olacak şekilde hesaplanması iyidir bence. Aşağıdaki saydıklarım net çıkan sonuçlara göre hesaplanmalı.
1-İşlem sayısı
2-İşlem başı kar
3-Aylık, yıllık ortalama getiriler
4-maxdd
5-en büyük tek işlemli kayıp
6-Sisteminiz Anlık işlem açıyorsa sabah açılışları ile vade geçiş gaplerinden gelen negatif ve pozitif getiriler silinmeli
7-en uzun yatay kalma süre zarfı kaç ay boyunca hiçbirşey üretememiş. olur ya siz robota bağladıgınız an grafik en tepede noktasındadır bağladınız kaç ay sonra o zırveyi KALICI olarak geçebildi.
8-Getiri eğrisinde doğrusallık var mı salınımlar ne kadar büyük aşağı ve yukarı eğilimler ne kadar sapma gösteriyor.
9-Üretilen getiri eğrisinde anormal getirili yıllar var mı eğer varsa genelde 2007-2008 bölgesi anormal fazla getiri sağlar bunları sisteminizin ortalamaları içine baz almamalısınız. o iki yıl çok yüksek puan ürettiği için ortalamayı getirilerinizi fazla gösterir. buda gelecek beklentinizin gerçekleşmemesi anlamına gelir.
10-Eski max dd yenilenmeye mahkumdur. Maxdd de puanının %50 si kadar sapma payı bırakmak sağlam olacaktır örnegın maxdd 10,000 ise sapma, ilerde bu değişecek %50 kadar artacak şeklinde düşünmeli ve maxdd 15,000 varsaymalısınız 30,000 ise maxdd 45,000 e çıkabilir demeniz gerekiyor.
11-Veriniz yeterince uzunsa ve aylık işlem sayısı 25 civarında ise istatistiklerden sapma yukarı veya aşşağı yönlü daha düşük olurken. Ayda 10 işlem açan sistemin istatistiklerinde sapma yukarı/aşağı yönde daha büyük gerçekleşir.
12-Sisteminizin tasarlarken modeliniz içerisinde 40 yılda bir gerçekleşecek stratejiler yer almamalıdır. Örneğin RSİ 95 e çıkınca şort aç demek gibi. BU durum belki mevcut veriler içinde 12 yılda sadece 1 bölgede çalışmıştır ve o bölgedede 15 20 bin puan getiri sağlamıştır. BU sisteminizin istatistiklerini manüpüle eder sistem oldugundan daha karlı gösterir. Çünkü rsi 95 e çıkma ihtimali gelecek 12 yılda oldukça düşüktür.
13-Aynı şekilde kar al ve stoploss mekanizmalarını yerleştirirken kar al içinde stoploss içinde oldukça çok sayıda gerçekleşmesi gerekir. İdealdaki genel kar al mantıgı sinyalden sinyale giden bölgeye kadar kuruluyor. Örneğin sistem long açtı kaç puan veya % kaç giderse kar alayım mantığıyla kurulur %10 dersiniz çok sayıda kar alır ancak getiri düşük çıkar %20 yapayım dersiniz getiri artar ancak 12 yılda 3 kere kar almıştır. Bu durum overfittinge yani sistemi oldugunda fazla karlı göstermekten başka bir işe yaramaz. Peki doğru kar alma sayısı kaç olmalıdır derseniz bunu nasıl belirleyeceğiz derseniz.
Mesela;
%7 kar al koyduğunuzda getiri 290,000 puan kar alma sayısı 30 adet çıkıyor diyelim.
modelinize %10 kar al koyduğunuzda getiri 300,000 puan, kar alma sayısı 10 adet çıkıyor diyelim.
%15 ile kar al dediğinizde getiri 350,000 puan, kar alma sayısı 3 adet çıkıyor diyelim.
%18 ile kar al dediğinizde getiri 280,000 puan, hiç kar alamamış şekilde çıkıyor diyelim.
Şimdi neyi tespit ettik sinyallerimizin maximum kar alma bölgesini ortaya çıkardık %15 yaparsam getiri 70 bin puan artıyor. Çok iyi gibi görünüyor değilmi ancak geçmişi overfitlemekten başka pekte manası yok bunun.
Yapmanız gerek sisteminiz kar almamış şekilde 280,000 üretiyorsa kar al eklenmiş halde 290 bilemedin hadi 300 bin üretsin. Tabi kar alma sayısıda önemli benim tercihim %7 olurdu 30 adet kar almış ve getiriyi 10 bin arttırabilmişim. Buradaki iyileşme sadece getiride değil sistemin max dd bölgesi getiri eğrisinin doğrusallığını düzeltmiştir aslında sadece getirinin yüksek olması için kar al ve stoploss kullanmayın diğer saydığım istatistiklerin düzelmesi için de kullanılabilir. sayıca fazla oldugunda ise hem güvenilirliği artar hemde sistemi manupule yani overfittinge sokmamış olursunuz.
14-Birden fazla sistem kurulularak riskler getiriler istatistikler daha düzenli bir şekle sokulabilir birden fazla sistem kurmak aynı zaman modeilinizin dolaylı yoldan para yönetim mekanizmali bir stratejiye dönüştürür. Tabi burada önemli noktalardan bir tanesi korelasyon ne kadar düşükse istatistikler o kadar doğrusal ve düzgün çıkacaktır.
Örnegın 5 adet sistem koyduğunuzda her birine eşit miktarlarla lot bağladıgınız Kullanılacka lot mıktarı 5 parçaya ayırdıgınız için sistemleriniz biri al verecek daha başkab ri tanesi al verecek daha sonra diğerleri al vereceği için bir nevi önce malın %20 sini sonra %4 ini sonra %60'ını vb şeklinde kamelı alım ve kamelı satım yaparak aslında dolaylı yolda para yönetimli bir mekanizma yapmış olacaksınız. ANcak bu durum risklerini düşürüp daha doğrusal düzenli olmasını sağlasa da getiriden de törpiler.
Aklıma gelen getiri eğrisi nokta nokta tek tek incelenmeli tek işlemle en büyük kayıpların oldugu bölgelere bakılmalı bu bölgeler genellikle gaplere denk gelir sisteminizin tepki verme süresi psikolojinizi bozacak şekilde yavaş mı ? gap sonrası geri dönüşte manuel mudahle etmek zorunda kalırmıydım. BU sisteme ne kadar uyum gösterebilir ve sabredebilirim. Çarpılırken nasıl çapılıyor yataydaki ne kadarlık marjda sistem tepki veriyor ve dayak yiyor. Geçmişte ne tür çarpılmalara maruz kalmış Genelde günde 3 4 işlem açtığı bölgeler veya haftada 3 5 işlem açtığı yerler yataylardır buralarda sinyalleriniz tepe ve diplere denk gelir bunların bilince olur geçmişte örneklerını görürseniz gelecekte bu nasıl sistem en tepeden aldım en dipten sattım diyemezsiniz bunu olgunlukla karşılayıp geçmişinde de var bu hareketlerın bir benzeri der soguk kanlılıgınızı koruyabilirsiniz.
En onemlı vermeniz gereken cevap bu sistem bana uygunmu psikolojım kaldırırmı sabrederek mudahle etmeden durablirmiyim. mudahle etmeye istekli olacagım bölgeler var mı bu bolgeler nereler ve bu bolgelerde algorıtma yerine siz olsanız ne yapardınız. yapacagınız şeyi modelinizin içine yerleştirmeye calısın. böylece sisteme mudahle etmek zorunda kalmazsınız.
Aklıma gelen şimdilik bunlar para yönetimi lot arttırılacak bolgeler lot azaltılacak bölgeler karın çekileceği ve dışardan robota para eklenecek bölgeler gibi stratejilerin tümü para yönetimi mekanizmasına girer burasıda ayrıca derya deniz kadar geniş bir konudur. Başka zaman anlatırız Genel olarak kz eğrisi tepedeyken lot arttırılmaz aynı şekilde dışardan para sokulıp lota çevrilmemelidir. Tam tersi kz egrisi dibe gelirken bunlar yapılmalıdır.
Ayrıca ORTLAMAYA GERİ DÖNÜŞ YASASINIDA ARAŞTIRABİLRİSNİZ Bizim iş için biçilmiş kaftandır aynı zamanda hayatın içinde de vardır.
Bir kaç makale paylaşayaım bununla ilgili.
bunu ilk olarak francis galton denen istatistik manyağı bir adam bulmuştur. aklı fikri her şeyi saymakta olan bu adam hiç olmayacak şeyleri saydıktan ve istatistiki veriler elde ettikten sonra kafayı zekaya takar ve zekanın doğuştan gelip gelmediğini araştırmaya kalkışır. fakat araştırmaları sonucunda zekanın kalıtsal olmadığını görür ve araştırmalarını bezelye taneleri üzerinde devam ettirir. bezelyeler üzerinde çalışırken de bu yasayı bulur. yani dediğim gibi ortalamanın üstünde veya altında olan herhangi bir şey, kendinden sonraki nesilde bu durumu devam ettirmiyor ve sonraki nesil ortalamayı geçemiyor.
francis galton un 1875 yılında gerçekleştirdiği bezelye soyu deneyi ile ispat ettiği iyinin sürekli iyi, kötünün sürekli kötü üretmeme durumu. yani bezelye çaplarını ölçerek, küçük ve büyük çaplı bezelyelerden binomial normal dağılımlı altsoylar elde edilmesi dünyanın cüce ve devlerden oluşmamadığının ispatı gibidir. bu sosyal antropolojik deney aynı zamanda merkezi limit teoreminin galton' un tahtası (bkz: quincunx) ile birlikte yeni bir ispatıdır.
bu yasa herhangi bir kötülük veya iyiliğin tümüyle kalıtımsal olmadığının, yetenekli anne-babanın çocuğunun en az kendisi kadar yetenekli olmayabileceğinin ya da hastalıklı anne-babadan tüm kusurların çocuğa geçmeyeceğinin ispatıdır. bir nevi galton öjeni çerçevesinde aradığı "mutlak iyi" nin olmadığını da ispat etmiştir.
------------------ Bunların haricinde benim TEORİM de şu
Kz eğrisi aslıdna piyasanın hareketlerini içermektedir Yani ha kz eğrisine bakmışsınız Ha piyasaya bakmışsınız aynı şey. Sİstem sinyali sayesınde aslında piyasanin eğrisi yukarı gitsin veya aşağı devam etmesin şeklinde yönünü değiştiriyor. Ama kz eğrisinde gördüğünüz şey aslında yine piyasanın hareketi dediğim gibi sadece yönü değişmiş şekilde görüyorsunuz. Tek fark bu, ben yapım gereği felsefeye çok ilgiliyimdir. Bu sebeple sistemler üzerine düşündüğüm gibi kz eğrileri üzerindede çokça düşündüm. Yani bir sistemin üst tarafta sinyalleri varken alt tarafta kz eğrisi açıkken resme bakıp yaklaşık yarım saat boyunca sadece düşünmekle geçirdiğim çok zamanlar oldu.
Sisteminmizin alım satımları sonucu ortaya çıkan kz eğrisi aslında yine piyasanın hareketi demiştik ya aslında modelinizle birleşmiş piyasa hareketini görüyorsunuz kz eğrisinde bu durumda piyasanın modeli iç yapısı dinamiği hakkında bilgi veriyor diye düşünüyorum.
Bu teorimi nasıl açıkladıgıma gelirsek Piyasanın Pi sayısı gibi bir sayısı var sürekli değişkenlik gösterek örnegın 20,565684864654656416....... şeklinde bir sayısı bir matematiği bir sonucu var. yanlız bu sayının küsüratı çok uzun oldugu gibi her dakıka ve her sanıye değişiyor. BU sayı nasıl oluşuyor dersenız 100 bınlerce parametreye baglı olarka oluştugunu varsayıyorum yani trumpun konuşmaları yatırımcıların algıları beklentılerı mehmetın alış yapması bir fonun çıkması yeni bir oyuncunun gelmesi vesiare vesaire gibi her türü tirilyonlarca parametrenın bır araya gelmesi sonucu bunların matematiksel olarak bölünüp çarpılılıp toplanıp ebobunun ekokononun alınması sonucunda böyle bir matematiksel sonuç ortaya çıkıyor. Varsayımım bu.
Peki bunu piyasayla ve sistemlerle nasıl uyarladın derseniz sistemlerin bir pi sayısı var modellerimiz sabit kurallı olduğu için sistemlerin pi sayısı değişmiyor sabit. Oysaki piyasa ilk bir ay ortalama 20,5656566489416541 pi sayısıyla hareket derken öteki ay veya öteki hafta ortalama 20,54568666641... pi sayısıyla yada matematik sonucuyla hareket ediyor.
Bir sistemin kz eğrisiyle bu pi sayısı (piyasanın matematiksel sonucu) değişikliklerini anlatmaya calısayım.
Aşağıda gördüğünüz eğri bir sistemin kz eğrisi bir nevi piyasa hareketinin yön değiştirmiş hali.
bu arada bu pi sayısı dediğim matematiksel sonuca frekansta diyebilirsiniz.
Beyaz renkte sistemin sabit olan frekansı yazmakta 20,546.... diye gidiyor virgülden sonrakı ilk 3 rakama dikkat edin. Getiri eğrisi grafiğinde piyasanın frekans değişimlerine özellikle dikkat etmenizi istiyorum.
getiri eğrisi aşağı giderken kırmızı bölgelerde frekans yada piyasanın pi sayısı yada matematiksel sonucu adına her ne derseniz bu sayı 20,356........ lara kadar düşüyor benim sistemimin frekansından daha uzak bir değerde oldugu için sistemim o bölgede zarar ediyor. SOnra piyasa frekansı benim modelimin frekansına yaklaşıyor 20,536... civarlarına çıkıyor buraya buralarda hareket ettiğinde benim modelim kar etmeye başlıyor.
Piyasanın frekansı benim modelimin frekansından uzaklaşırsa sistem zarar üretiyor yaklaşırsa da kar ediyor gidişatta gösterdim resimden anlarsınız.
https://i.imgyukle.com/2019/10/05/EVgYSp.jpg
Şimdi farkettiyseniz getiri eğrisi bir kanal içerisinde yukarı yönde gidiyor. Yani o bölgede dalgalanma içerisinde piyasa frekansı bi 20,122............... küsürlere düşüyor bi 20,546......... doğru çıkıyor bu aralıkta geziyor ve sistem düzenli olarka bir kar bir zarar ederek totalde kar koyarak yukarı tırmanıyor.
Daha sonra dikkat edin getiri eğrisinin kanaldan cıktı ve ciddi derecede bozuldugu bir bölge var. BU bolgede frekans çok ciddi bir değişm gösteriyor. ortalama frekansının dışına çıkıyor 19,999....... düşüyor. haliyle sistemin sabit frekansından oldukça uzak. bu piyasa frekansı x bir sebepten ötürü değişiyor yeni bir oyuncu giriyor ne bileyim yeni bir gelişme oluyor algılar değişiyor tombul parmak oyuna giriyor vesaire. Sistem zarar üretmeye başlıyor.
Daha sonrasında farekettiysenız sarı renklı bölge getiri eğrisi yataya dönüyor aslında frekans değişimi net görülüyor.
19,999..... lardan 20,511...... dolaylarına yükseliyor ancak dikkat edin benim modelimin frekansından hala uzak bu sebeple sistem kar etmesede zararda etmiyor yataya sarıyor. Yani bir işaret veriyor frekans ben tekrar eski seviyeme dönebilirim artık 19,999......... küsürüncü frekansta değilim diyor. Arından bakın ne oluyor ?
piyasa frekansı benim sistemimin frekansına yaklaşıyor yani 20,546 lara doğru hareket ediyor. Ve sistem deli dehşet kar etmeye başlıyor. Zaten bu sürekli her saniye değişen frekansı tam olarak tuturabilsek en tepeden satacak en dipten alabileceğiz. Ancak bu mılyon tane kritere bağlı olarak değiştiği için hiçbir zaman bu frekansı tuturamayacagız.
Benim teorim piyasanın böyle bir frekansının olduğunu söylüyor. Mesela sarı renkli bölgede farklı bir sistemim bu sıstemden daha yavaş hareket eden bir sistemim sarı bölgede yataya sarmayıp kar ediyor. çünkü o sistemim daha yavaş bir sistem ve frekansı 20,256......... küsürlerde kalıyor. Halıyle sarı bölgede frekans yavaş piyasanın frekansı sistemin frekansına daha yakın oldugu için o sistem kar ederken bu sistem sadece yataya sarabiliyor. Çok daha yavaş frekanslı sistemler de tam tersi hareket ediyor mesela çok yavaş sistemlerin frekansı 20,115...... dolaylarında onlarda 20,546 frekansında olan sistemin zarar ettiği bölgelerde 20,115 frekansında olan sistemler kar ediyor.
Bİzim sistem modellerken back test yaparken yaptığımız şey aslında piyasa frekansının ortalamasını bulmak. Piyasa frekansı en çok 20,546............ küsürlü frekansta ne kadar çok dolaşırsa benım sistemim o derece karlı oluyor.
Piyasa frekansı çoğunlukla 20,122.............. küüsrlü frekansta gezmişse benim sistemim kar üretemez.
YIlda 15.000 üreten bir sistem ortalama 20,356....... civarında bir frekansı var gibi düşünün. dolayısıyla ortalamaya geri dönüş yasasına göre piyasa ortlaamada bu frekansa geri döneceği için sisteminiz frekans değişikliği sebebiyle bazı bölgelerde zarar etsede doğru bır frekans oluşturduysanız piyasa frekansı geri döndüğünde eski günlere geri döneceksiniz.
Overfitting Sistem Nasıl Sinyaller açabilir?
Bir sistemin Overfitting olup olmadığını anlamak elbetteki zor.
Ancak yaptıgınız sistemin indikatörlerini koyduğunuz stratejiye az çok hakimseniz.
Sistemin mantıksız sinyaller açtığını anlayabilirsiniz.
Bu doğrultuda sisteminiz geleceği görüyormuş gibi veya geleceği öngörüyormuş gibi sinyaller varsa büyük olasılıkla overfittingdir.
Yine aynı şekilde optimizasyon sonucu getirilerin dağılımına bakarak getiri de normal dağılımın dışında kalan parametreler overfitting olasılığını arttırır.
Parametre sayısı arttıkça overfitting ihtimalleri artarak devam eder.
Tecrübesiz sistemciler genellikle Overfitting belası sistemleri tercih ederler çünkü amaçları en yüksek getiriyi elde etmektir.
BU tuzağa düşmemek adına overfitting oluğunu düşündüğüm bir sistemin sinyallerini göstererek durumu anlatmaya çalışacağım.
https://i.hizliresim.com/zGq187.png
https://i.hizliresim.com/kMRDrJ.png
https://i.hizliresim.com/bvR0Qj.png
https://i.hizliresim.com/mXZD8Z.png
https://i.hizliresim.com/QPGn4v.png
Umarım açıklayıcı olmuştur.
Tabi böyle sinyaller varsa herzman overfittingdir. diyemeyiz sistemin kullanılan indikatörleri iç yapısı ve dinamiğine göre değişir. Ben optimizasyon sonrası çıkan en iyi sonuç seçseniz bile nelere dikkat etmelisiniz kısmından bahsettim.
Ayrıca böyle bir sistem bile gelecek 3 yılda geleceği öngörmüş gibi sinyaller açarak hala daha kar üretmeye devamda edebilir ancak bu sistemin sürdürülebilir şekilde kar etmesini beklememek lazım bir yerden sonra raydan çıkacaktır. Bunun gibi geleceği tahmin etmeye çalışan sistemler tasarlanamaz mı aslen tasarlanır zaten normalden daha fazla kar etmek istiyorsanız sisteminizi geleceğe tahmin etmeye dayalı şekilde tasarlamalısınız. Başka türlü iyi bir trend takip eden sistemin getirisini geçme ihtimaliniz yok.
Grafik alınabilecek kar en yüksek düzeyde alabilecek ve trend takip sisteminin getirisi geçebilecek stratejiler nasıl yazılır konusu da başka bir zamana kalsın.
