Pagpapabuti ng Financial Sentiment Analysis gamit ang Machine Learning at Mga Proxy Server

Sa pananalapi, napakahalaga ng data: nagbibigay ito ng insight at nakakatulong na gumawa ng mas mahuhusay na desisyon. Ang data sa pananalapi ay nasa paligid natin, kaya ang pinakamatagumpay na kumpanya ay ang mga kung saan

1. alam kung paano tipunin ito, at

2. alam kung paano ito bigyang kahulugan.

Ang isang mahalagang subset ay data ng damdamin — impormasyon sa kung paano nakikita ng mga tao ang ibinigay na produkto, kaganapan, ideya, atbp. Ang mga pangunahing kategorya dito ay “positibong malasahan” at “negatibong nakikita” .

Hanggang kamakailan lamang, hindi nasusukat ang data ng damdamin : Imposibleng sukatin nang tumpak ang mga damdamin ng mga tao. Sa pagdating ng natural na pagpoproseso ng wika at pag-aaral ng makina, gayunpaman, ang gawaing ito ay sa wakas ay makakamit.

Sa artikulong ito, tuklasin namin kung paano mo magagamit ang pagsusuri ng damdamin at pag-scrape sa web upang makagawa ng mas mahusay na mga pasya sa pananalapi.

Pangkalahatang-ideya ng pagsusuri ng damdamin

Kahit na ang pinakamahusay na mga propesyonal sa industriya ay hindi makakasabay sa lahat ng pinakabagong balita, ulat, update, at tsismis. Ang data na ito ay kadalasang nagtutulak ng desisyon na, sabihin nating, bumili o magbenta ng stock ng ibinigay na kumpanya. Narito ang isang karaniwang halimbawa:

• Sa gitna ng lumalaking alalahanin tungkol sa COVID-19, nagpasya ang pamahalaan ng Bansa X na gumamit ng video conferencing sa halip na magdaos ng mga personal na pulong.

• Ang Video Conferencing Software Y ay isa sa mga pinakasikat na solusyon sa video conferencing sa merkado, kaya ang mga merkado ay umaasa sa Software Y na makakuha ng napakaraming bagong user.

• Software Y ay makikita sa presyo ng stock nito.

Ang senaryo sa itaas ay humiram nang husto mula sa kamakailang tagumpay ng Zoom , na maaaring ilarawan ng sumusunod na tsart:

Sa isang tiyak na antas, ang proseso ng pagsusuri sa data na ito — balita, ulat, update, at tsismis — ay maaaring i-automate

. Kapag napansin ang isang headline tulad ng “ Coronavirus : Mag-zoom ng Video para kumuha ng 500 bagong software engineer habang dumarami ang paggamit” , kikilos ang software na ito ayon sa mga alituntuning ibinigay namin ( hal. , bumili ng stock ng Zoom.)

Ang stock ng Tesla ay tumalon ng 2.5% pagkatapos sabihin ni Tencent na nakakuha ito ng 5% na stake sa tagagawa ng electric car. Tumalon si Ocwen ng 12% premarket pagkatapos ibunyag na naabot nito ang isang deal sa mga regulator ng New York na magtatapos sa pagsubaybay ng third-party sa negosyo nito sa loob ng susunod na tatlong linggo. Bilang karagdagan, ang mga paghihigpit sa pagbili ng mga karapatan sa pagbibigay ng mortgage ay maaaring mabawasan. Ang mga bahagi ng Cara Therapeutics ay tumaas ng 16% premarket, matapos ang biotech na kumpanya ay mag-ulat ng mga positibong resulta sa isang pagsubok ng isang paggamot para sa uremic pruritus.

Ang isa pang magandang halimbawa ay ang kamakailang tweet ni Elon Musk: “Ang presyo ng stock ng Tesla ay masyadong mataas sa iyo ”.

Nabawasan nito ang presyo ng stock ng Tesla. Pansinin ang paglubog sa ika-1 ng Mayo:

Ang sistema na ginagawang posible ang pagsusuri ng sentimento ay tinatawag na natural na pagpoproseso ng wika (o NLP para sa maikli.) Gaya ng iminumungkahi ng kanilang pangalan, ang mga NLP algorithm ay idinisenyo upang suriin ang kahulugan sa likod ng mga teksto sa natural ( ibig sabihin , gawa ng tao: English o Chinese) na mga wika.

Bagama't ang pagbuo at pagpapatupad ng isang NLP system ay nangangailangan ng maraming mapagkukunan, ang mga benepisyo ay ginagawang sulit ang pagsisikap na ito:'

• Ipinagmamalaki ng algorithm ang mahusay na oras ng reaksyon : nagsasagawa ito ng mga utos sa loob lamang ng millisecond at gumagana 24/7.

• Nag-aalok din ito ng scalability: Ang “kadalubhasaan” nito ay maaaring ilapat sa — bibigyan ng sapat na mapagkukunan sa pag-compute — bawat pinagmumulan ng data sa pananalapi.

Paano gumagana ang pagsusuri ng damdamin？

Ang bawat teksto ay may tiyak na saloobin, positibo, negatibo, o neutral. Nilalayon ng pagsusuri ng sentimento na matukoy ang saloobin ng ibinigay na teksto (sa karamihan ng mga kaso, ng mga indibidwal na parirala at pangungusap) sa pamamagitan ng paghahati nito sa mga indibidwal na salita (tinatawag na mga token ), pagtukoy sa kanilang saloobin, at pagkatapos ay pagtukoy sa pangkalahatang saloobin ng target na teksto.

Ang prinsipyong ito ay maaaring mukhang nakakalito, kaya paglaruan natin ang teknolohiyang ito sa ating sarili.

Ang Python programming language ay may library na nakatuon sa NLP na tinatawag na NLTK ( Natural Language Toolkit ). Nagtatampok ang website na ito ng interactive na pagpapatupad ng algorithm ng pagsusuri ng sentimento ng NLTK. Subukang maglagay ng iba't ibang mga pangungusap upang makita kung paano nakikita ng algorithm ang mga ito.

Subukan natin ang mga sumusunod na pangungusap:

• “Ang proyektong ito ay isang mahusay na tool para sa pagproseso ng raw data .” Tinutukoy ng algorithm na ang tekstong ito ay positibo .

• “Babago ng proyektong ito ang tech landscape.” Tinutukoy ng algorithm na ang tekstong ito ay neutral.

• “Ang proyektong ito ay nabigo upang maabot ang potensyal nito.” Tinutukoy ng algorithm na negatibo ang tekstong ito .

Mga pagkukulang ng mga algorithm ng pagsusuri ng damdamin

Dati, gumamit kami ng mga pangungusap na may mga tuwirang kahulugan sa interactive na prompt: Karaniwang minarkahan ng mga salitang tulad ng “mahusay” at “fail” ang buong konteksto. Paano ang tungkol sa isang bagay na mas kumplikado？ Subukan natin ito.

Kunin natin ang pariralang ito bilang isang halimbawa: “Ang industriya ng sasakyan ay nakakita ng mas mahusay na mga araw.” Tinutukoy ng algorithm na ang tekstong ito ay neutral .

Ipinapakita ng mga halimbawang ito na ang mga tradisyonal na NLP algorithm ay nahihirapang mag-parse ng mga implicit na kahulugan:

• Mga pariralang may kahulugan,

• Idyoma,

• Metapora, atbp.

Pagpapahusay ng pagsusuri ng damdamin gamit ang machine learning

Dito nanggagaling ang pag -aaral ng machine upang iligtas: Maaari naming sanayin ang isang ML algorithm sa hindi mabilang na mga halimbawa upang gawin itong “maunawaan” ang konteksto ng teksto. Narito ang isang blueprint para sa naturang proyekto:

1. Mangolekta ng dataset na tumutuon sa mga text ng damdaming pinansyal.

2. Markahan ang damdamin ng bawat teksto.

3. Bumuo ng modelo ng pagsusuri ng damdamin na na-optimize para sa “pinansyal na wika” .

Ang batayan para sa isang algorithm sa pag-aaral ng machine ay nakasalalay sa malaking dami ng data upang sanayin: Sa aming kaso, susuriin ng algorithm ang mga ulo ng balita at mga caption sa social media upang subukan at makita ang mga ugnayan sa pagitan ng mga teksto at mga kahulugan sa likod ng mga ito. Dahil sa sapat na materyal sa pagsasanay, ang algorithm ay maaaring “matuto” (kaya ang pangalan, machine learning ) tungkol sa konteksto sa paligid ng ibinigay na teksto.

Si David Wallach, ang lumikha ng iba't ibang mga scraper ng data sa pananalapi, ay nagpapahiwatig ng mga pagkukulang ng tradisyonal (hindi malalim na pag-aaral) na mga algorithm:

Ang isang pangunahing layunin ng proyektong ito ay ang pag-uri-uriin ang damdamin ng mga kumpanya batay sa mga na-verify na tweet ng user pati na rin ang mga artikulong inilathala ng mga mapagkakatiwalaang source. Gamit ang kasalukuyang (libre) text based sentiment analysis packages gaya ng nltk , textblob , at iba pa, hindi ko nagawang makamit ang disenteng pagsusuri ng sentimento patungkol sa pamumuhunan.

Halimbawa, ang isang tweet ay magsasabi na ang Amazon ay isang pagbili, dapat kang mamuhunan ngayon at ang mga aklatan na ito ay uuriin ito bilang negatibo o neutral na damdamin. Ito ay dahil sa mga set ng pagsasanay kung saan binuo ang mga classifier na ito. Dahil dito, nagpasya akong magsulat ng script (scripts/classify.py) na kumukuha ng representasyon ng json ng database na na-download mula sa Firebase console (gamit ang opsyon sa pag-export sa JSON) at hinahayaan kang manu-manong uriin ang bawat pangungusap.

Nakikita na natin ngayon ang kahalagahan ng data sa daloy ng trabaho sa pagsusuri ng damdamin. Ngunit paano natin ito makukuha？

Pangkalahatang-ideya ng web scraping

Sa terminong “pagsusuri ng damdamin”, ang bahagi ng “ pagsusuri” ay tumutukoy sa pag-unawa sa data — at ang mga NLP algorithm na na-explore namin kanina sa artikulo ay magagawa iyon. Ang web scraping , sa kabilang banda, ay nagbibigay-daan sa amin na aktwal na makuha ang data na susuriin.

Ang terminong ito ay tumutukoy sa proseso ng pagkuha at pag-aayos ng data mula sa mga website.

Paano gumagana ang web scraping？

Posible ang web scraping salamat sa paraan ng pag-aayos ng mga website ng data. Ang bawat elemento ng website — text, link, larawan, dynamic na functionality, at iba pa — ay kabilang sa kani-kanilang kategorya, na tinutukoy ng mga standardized na HTML tag.

Ang isang web scraper ay maaaring mag-navigate sa mga elementong ito nang madali, hanapin at i-save ang data na kailangan mong ipunin.

Mga aplikasyon ng NLP sa Fintech

Halimbawa, ang Stocker , software para sa pag-scrap ng data sa pananalapi, ay sumusunod sa mga prosesong binalangkas namin sa itaas:

1. Bumubuo ito ng mga query sa google, na kumukuha ng pinakabagong mga artikulo na nakatuon sa isang partikular na kumpanya.

2. Pagkatapos, pini-parse nito ang mga artikulo para sa impormasyon, sinusubukang tuklasin kung positibo o negatibo ang mahahalagang piraso ng impormasyon.

Maaari rin nating gamitin ang pagsusuri ng damdamin sa ibang mga lugar:

Pagsusuri ng credit score . Maaaring iproseso ng produkto ng software na tinatawag na LenddoScore ang data na available tungkol sa aplikante online: Maaaring kabilang dito ang kanilang mga profile sa social media, gawi sa pagba-browse, kasaysayan ng pagba-browse, at iba pang mga marker. Ang software pagkatapos ay nagre-rate ng creditworthiness ng borrower.

Pagsusuri ng mga kontrata . Nagpatupad si JP Morgan ng napakaraming algorithm ng machine learning para sa maraming gawain. Sinubukan ng kumpanya ang isang NLP algorithm na idinisenyo para sa pagsusuri ng kontrata - at ito ay nakatipid ng 360,000 oras ng tao sa isang taon.

Serbisyo sa customer . Ang Chatbots, ang pinaka-usong teknolohiya sa nakalipas na ilang taon, ay pinapagana ng mga NLP algorithm. Kadalasang ipinagmamalaki ng mga institusyong pampinansyal ang kanilang sarili sa pag-aalok ng mahusay na karanasan sa customer — at ang pag-scale ng kanilang suporta sa pamamagitan ng chatbots ay isang mahusay na paraan upang gawin ito.

Paggamit ng mga proxy upang matiyak na matagumpay na tumatakbo ang iyong pagsusuri

Karamihan sa mga website ay hindi pinapayagan ang web scraping para sa iba't ibang dahilan. Narito ang isang karaniwang halimbawa: sinusubukan ng isang aggregator ng presyo na mangolekta ng data ng presyo mula sa maraming negosyong e-commerce. Kapag na-publish na ang data na ito sa website ng aggregator, makikita ng mga potensyal na customer na nag-aalok ang Vendor M ng pinakamagandang presyo. Upang maiwasan ito, maaaring paghigpitan ng ibang mga vendor ang pag-scrap sa kanilang mga website kahit ano pa man.

Sa pagtanggap ng kahilingan sa kanilang website, sinusubukan nilang tuklasin kung ito ay nagmula sa isang tunay na user o mula sa isang web scraping bot. Habang nakakakuha ng pass ang tunay na user, na-block ang bot.

Gayunpaman, posibleng iwasan ang mga anti-bot system na ito: gamit ang mga proxy, maaari mong ipakita ang iyong mga scraper bilang mga tunay na user.

Sa lahat ng maraming uri ng proxy, ang mga residential proxy ay ang pinakamainam na solusyon: tulad ng iminumungkahi ng kanilang pangalan, pinapayagan nila ang iyong scraper na lumabas bilang isang tunay na user, isang residente ng bansang pinili mo. Nagbibigay-daan ito sa iyo na i-bypass ang mga anti-scraping system.

Konklusyon

Ang bawat mangangalakal ay nagpapasya kung aling uri ng pagsusuri ang gagamitin at kung aling mga diskarte sa pangangalakal ang ipapatupad. Ngunit sa aking isipan, ang pagpapabuti ng pagsusuri sa sentimento sa pananalapi sa AI at mga proxy server ay ang bagong salita sa pangangalakal.

Naghahanap upang mag-trade ng forex ngayon？ Ang WikiFX ay ang pinakamahusay na Opsyon!