A pandas csomag a Python nyelven adatelemzéseket végzők egyik leghasznosabb eszköze. A központi szerepet a DataFrame játszza, ami egy kétdimenziós, indexelhető adatstruktúra.
A pandas sok tekintetben hasonlít az R nyelv olyan népszerű elemző moduljaihoz, mint a data.frame, a plyr és a reshape, így a R-es fejlesztők könnyen boldogulnak vele.
Az Yhat blogja bemutatja ezeket a hasonlóságokat, számos példával illusztrálva a pandas használatát.
via blog.yhathq.com
A LinkedIn vezető elemzője, Daniel Tunkelang a Strata konferencián arról tartott előadást, hogyan kell interjúzni leendő Data Scientist kollégáinkat.
A legfontosabb dolgok:
A teljes prezentáció a hajtás után.
A 2013-as Strata konferencián beszélt az Electronic Art szakértője, Rajat Taneja arról, hogy a globálisan is népszerű online videójátékok milyen adatelemzési kihívásokkal járnak.
Néhány fontos statisztika:
Az előadás videója a következő oldalon található.
Az Index cikkében a Dice.com állásportál által gyűjtött fizetési statisztikákat mutatja be. A Big Data itt is a legnépszerűbb területek között van.
A lista szerint Amerikában ma legjobban a Hadoop szakértőit fizetik meg (115 ezres átlagkereset), ez egy nyílt forráskódú rendszer, amivel nagy méretű adatbázisokból lehet aránylag olcsó hardveres háttérrel fontos információkat kinyerni.
Szintén érdekes, hogy a doktori végzettség is magas keresetet ígér:
Érdekes megfigyelni, hogy a magasabb iskolai végzettség egyenes arányban van az átlagfizetéssel, vagyis hosszú távon megéri iskolába járni. A doktori végzettség átlagosan 113 ezres fizetéssel jár, utána a legmagasabb fokú közgazdász képzés, az MBA diploma következik, amivel az IT-iparban átlagosan évi 107 ezerért lehet elhelyezkedni.
Amerikában tehát a legjobb IT karrierlehetőségek a Phd végzettségű Hadoop gurukat várják. És nálunk?
via index.hu
A startup Big Data módszerekkel azonosítja a vállalatok ellen folyó online támadásokat, amelyhez a különböző logokat, bejelentkezési adatokat és egyéb eseményeket dolgozza fel.
A cég Real-time Security Analytics platformja valós időben szűri és elemzi a gyanús online viselkedésre utaló jeleket és szükség esetén riasztásokat ad ki.
A Click Security 2011. szeptemberében kapta induló tőkéjét, és azóta főleg a pénzügyi, kereskedelmi és oktatási szektorban aktív.
A Syracuse University oktatója, Jeffrey Stanton készítette könyv, a Introduction to Data Science az R nyelv segítségével vezeti be az olvasókat az elemzések világába.
A könyv letölthető PDF formátumban a szerző weboldaláról, vagy interaktív formátumban az Apple iTunes boltjából (szintén ingyenes).
A Syracuse egy, a könyvre alapozó ingyenes online kurzust is indított, az 500 hely azonban igen hamar elfogyott.
PLAYNOMICS CLOSES $5M IN SERIES B FUNDING FOR PLATFORM EXPANSION
A Playnomics a hagyományos, a webes és a mobil játékosok viselkedését elemzi és jelzi előre.
A Big Data technológiával foglalkozó Hapyrus startup cég készített egy rövid összehasonlítást a Redshift és a Hadoop/Hive páros teljesítményéről.
A benchmark nem nevezhető ugyan tökéletesnek, például nem a legfrissebb Hive verziót használták hozzá, de mindenképp érdekes.
Ez alkalommal a MIT Technology Review készített egy alapos cikket arról, hogyan használta az Obama kampány a Big Data módszereket a választók meggyőzése során.
Néhány érdekes idézet:
Alex Lundry created Mitt Romney’s data science unit. It was less than one-tenth the size of Obama’s analytics team.
Az eredeti, meglehetősen hosszú cikk itt olvasható:
How President Obama’s campaign used big data to rally individual vote
Egy 5 klipből álló humoros reklámsorozat, ami az Oracle Big Data termékeit népszerűsíti.
A SailThru közel 300 ügyféllel rendelkezik, közte olyan nevekkel mint az AOL vagy a Huffington Post.
A legfontosabb Big Data eszközökről készített egy összeállítást a spanyol Pragsis csapata.
A következő prezentációt a LinkedIn egyik archiktektje, Allen Wittenauer tartotta az Intel számára arról, hogy érik el az igen magas CPU kihasználtságot Hadoop rendszereiknél.
Continuum Analytics Receives $3M in DARPA XDATA Funding
A befektetés a DARPA XDATA programjának részeként jött létre.
Érdekesség, hogy nem termékfejlesztő, hanem szolgáltató cégről van szó.
Nathan Yau cikke néhány egyszerű példát mutat be grafikonok készítésére R környezetben.
A példák az adatok beolvasásával kezdődnek, és egészen komplex, ám mégis néhány sor R kód segítségével előállítható ábrázolásokat is bemutatnak.
via flowingdata.com
A LinkedIn adatelemzői tették közzé azt a DataFu névre hallgató igen praktikus Pig eljárásgyűjteményt, amelynek segítségével könnyen elvégezhető számos gyakran felmerülő statisztikai és adatbányászati feladat Hadoop adatokon.
A LinkedIn több népszerű funkciója (pl. Skills, People You May Know) is a DataFu-ra támaszkodik.
A nyílt forráskódú DataFu letölthető a GitHub-ről és egy levelezőlista is van hozzá, ahol az aktuális kérdéseket lehet megtárgyalni.
Dave Feinleib elkészítette a Big Data világának szereplőit bemutató infótáblája új, 2013-as verzióját.
A 2012 nyarán publikált első változat itt olvasható.
A graph-Tool segítségével Python környezetben végezhetünk hálózat szerkezetű adatokon (azaz gráfokon) elemzéseket.
A graph-Tool eljárásai segítségével létrehozhatunk és módosíthatunk gráfokat, különböző jellemzőket rendelhetünk az egyes élekhez és csomópontokhoz és számos statisztikai és topológiai algoritmus is rendelkezésre áll.
Nagy előnye a bremeni egyetemen dolgozó Tiago de Paula Peixoto által fejlesztett könyvtárnak, hogy a lényegesebb adatszerkezetek és algorimutmusok C++ nyelven készültek, így meglehetősen gyorsak.
Derrick Harris a következő hasznos programokat és szolgáltatásokat ajánlja azoknak, akik Big Data jellegű fejlesztésekbe vágták a fejszéjüket:
via gigaom.com
A StatAlgo.com 2011-es írása néhány fontos különbséget mutat be a Python és az R adatkezelésében.
A listában szerepelnek az elemi adattípusok működése, az értékadás különbözősége, és a tömbök, listák és szótárak használatának sajátosságai.
via statalgo.com
A VINTlabs - The Sogeti Trendlab videója a Big Data világáról
Big Data App Platform Continuuity Raises $10M
A cég alapítói között korábbi Teradata, Yahoo, Facebook and Microsoft mérnökök találhatóak. A fő terméke az AppFabric Big Data platform, amely lehetővé teszi a felhőben futó Hadoop alapú alkalmazások fejlesztését.
A Bit.ly linkmegosztó szolgáltatás elemzési műhelyéből származik az a csomag, ami néhány jó minőségú, nyilvánosan elérhető, kutatási célokra is alkalmas adatforrást tartalmaz.
A listában:
....és még sok minden más. Az adatok nem feltétlenül frissek, a Facebook-féle válogatás például 2005-ből származik, de ez például algoritmusok tesztelésénél önmagában nem jelent még problémát.
via bitly.com
Az open source big data eszközöket bemutató ábrát készített a bigdata-startups.com:
Az eredeti változat még jobb, mert ott az egyes cégek logói is kattinhatóak.
