A prediktív modellek fejlesztésével foglalkozó céget olyan szakértők alapították, akik rendszeresen az élen végeznek a Kaggle adatbányászati versenyein.

Az új cég most a többi piaci szereplő számára szolgáltatásként szeretné értékesíteni az alapítól adatelemzési és -modellezési tudását.

A kockázati befektetők hisznek az ötletben, hiszen többen is szívesen finanszírozták volna a DataRobotot. Az új cégül végül 21 millió dollárnyi forrást vont be, 60 millió dolláros értékelés mellett.

via blog.wsj.com

Egy részletes benchmark Julien Theulier blogjából,amely az új, SSD alapú Redshift fürtök teljesítményét hasonlítja össze a hagyomány HDD alapú konfigurációk teljesítményével.

REDSHIFT: BENCHMARKING DENSE STORAGE & DENSE COMPUTE CLUSTERS

Ez pedig a Flydata benchmarkja:

Két hasznos link Excel illetve Tableau felhasználóknak:

Setting up Excel to analyze Snowplow data

Amazon Redshift and Tableau Whitepaper 

Job hunting is a matter of Big Data, not how you perform at an interview

via The Guardian

Mostantól az Amazon Elastic MapReduce  felhasználói is bevethetik a Cloudera SQL gyorsítóját az adataik lekérdezésére.

Vigyázni kell azonban arra, hogy csak a Hadoop 2.0-át futtató virtuális gépek (AMI-k) számára érhető el a szolgáltatás.

A bejelentéshez részeként megjelent egy Developer Guide, egy  FAQ és egy tutorial is.

A Bamboo REST api segítségével teszi lehetővé valós idejű kezelését és lekérdezését.

Az adatok tárolására MongoDB szolgál, a feldolgozást végző logika jelenleg Pythonban van megvalósítva. A Bamboo rendelkezik egy egyszerű saját lekérdezőnyelvvel is a számítások és összesítések támogatására.

bamboo.io

Ron Zacharski ingyens online adatbányászati könyve, Python nyelvű kódolási példákkal.

Jelenleg a következő fejezetek vannak kész:

• Chapter 1: Introduction
• Chapter 2: Get Started with Recommendation Systems
• Chapter 3: Implicit ratings and item-based filtering
• Chapter 4: Classification
• Chapter 5: Further Explorations in Classification
• Chapter 6: Naïve Bayes
• Chapter 7: Naïve Bayes and unstructured text

guidetodatamining.com

Az MIT Big Data Initiative versenyt hirdetett Boston taxiforgalmának előrejelzésére.

A versenyzők feladata annak megjóslása, hogy mekkora lesz a taxik iránti igény a város különböző részeiben egy adott időpillanatban. A jósláshoz rendelkezésre állnak több millió régebbi taxiút információi, amit tömegközlekedési, időjárási és szociális média adatok egészítenek ki.

A verseny november elején indult, a végső beadási határidő 2014. január 30. 

Az adatbányászati versenyhez kapcsolódik egy vizualizációs feladat is, ahol a történeti adatok látványos és informatív megjelenítése a cél. 

Chris Stucchio blogbejegyezésre arról, hogy sok gyakorlati esetben a Hadoop helyett jobban használható  egy Python/Pandas vagy PostGreSQL alapú megközelítés.

Csak az 5 terabájtot meghaladó adatmennyiségek esetében válik többé-kevésbé elkerülhetlenné a Hadoop, de ekkor sem minden feladatra optimális.

via chrisstucchio.com

A Lambdoop Java API használatával tetszőleges architetúrájú Big Data  alkalmazásokat lehet fejleszteni.

A Lambdoop egyaránt támogatja a hagyományos batch, a real-time, és a Lamda Architektúra (hibrid) jellegű alkalmazásokat.

lambdoop.com 

A Genie nevű szoftver feladat- és erőforráskezelő szolgáltatásokat nyújt felhőben futó Hadoop fürtökhöz.

A Genie szolgáltatásainak egy része Hadoop feladatok távoli végrehajtását és monitorozását segíti (Executive Services). A másik fontos részterület a Configuration Services, amely a különböző fürtök konfigurációs beállításait tartja nyilván.

A Netflix a júniusi Hadoop Summit konferencián mutatja be a Genie-t. 

via netflix.com

A CB Insight adatai szerint az elmúlt 5 évben összesen közel 5 milliárd dollár befektetést kaptak az adatokra specializálódó vállalkozások.

A 2012-es év mérlege: 

• 164 befektetés
• 1.39 milliárd dollárnyi forrás bevonás
• 20 sikeres exit, közte több IPO

A legtöbb pénzt kapó cégek listáján olyan jól ismert nevekkel találkozhatunk, mint  Cloudera (65 millió dollár) és 10gen (42 millió dollár) 

via cbiinsights.com és gigaom.com

A szociális média elemzéssel és archiválással foglalkozó DataShift elkészítette a  legnépszerűbb cégeket, témákat és hírforrások ábrázolását.

Az infógrafika Twitter   2012-es forgalma alapján készült. Külön érdekesség, hogy az egyik legnépszerűbb cikk magával a Datasifttel foglalkozott.

Az Apache licensz alatt elérhető  Cloudera ML egy Java könytár, amely az adatok előkészítésében és a modellek kiértékelésében nyújt hasznos segítséget.

A Cloudera ML által támogatott első algoritmus a K-közép clusterezési eljárás. Az aktív fejlesztés alatt lévő könyvtár hamarosan újabb funkciókkal is bővülni fog.

via blog.cloudera.com

Sok minden segíti azokat, akik  Pythonk környezetben szeretnék végezni adatelemzési feladataikat:

• Jól szervezett közösség:a  PyData, SciPy, EuroSciPy konferenciák és a NumFOCUS non-profit szervezet igen hasznosak
• Jól használható segédeszközök: Anaconda, Wakari, PiCloud.
• Adatvizualizációs modulok egyre szélesebb köre
• Nagy teljesítményű, jól skálázható adatfeldolgozó algoritmusok és könytárak megjelenése

További részletek az  oreilly.com blogposztjában.

A Glassdoor.com szerint évi 110 és 145 ezer dollár között.

via analyticbridge.com

Az SAP infógrafikája a legfontosabb tényeket szedi össze.

A teljes, "Make Intelligent Decisions with Big Data" infógrafika a hajtás után található.

A Wall Street Journal cikke a Big Data üzleti hatásairól szól, számos példát hozva az adatorientált döntések különböző alkalmazási területeiről.

A cikk egyik illusztrációja a a vállalatok által kezelt adatok mennyiségét szemlélteti 1950-től napjainkig.

 via wsj.com

A Skill Endorsements funkció csak néhány hónapja jelent meg a LinkedIn szolgáltatásai között. A felhasználók egymás  szakmai képességeiről tudnak egy-egy kattintással elismerően nyilatkozni.

Kevesebb mint 6 hónap alatt összesen 1 milliárd ajánlást osztott ki a szolgáltatás 58 millió aktív felhasználója. 

A Skill Endorsement háttéreről a LinkedIn Strata konferencián bemutatott prezentációjából lehet többet megtudni, ami a hajtás után olvasható.

A Big Data Republic infógrafikája a vállalatok felkészültségét mutatja be:

A Wall Street Journal grafikája szerint az adatok és az adatelemzés iránti igények növekedésével egyre nagyobb a diákok érdeklődése is a terület iránt.

via @WSJGraphics