C’est là que l’action réelle dans l’intelligence artificielle a lieu – les jeux de casino post-bitcoin washington

SAN FRANCISCO – Des nuées de journalistes ont récemment vu des sommités de la technologie comme Jeff Bezos et Elon Musk discuter de l’affaire Gawker, des lancements de fusées vers l’espace et de l’obsession du jour de la Silicon Valley, l’intelligence artificielle.

Là-bas, des centaines d’ingénieurs (2500 pour être précis), se sont penchés sur des discussions au coin du feu sur des sujets tels que «diffuser des données en temps réel» et «construire des accélérateurs dans des bases de données». les développeurs qui travaillent avec Spark, peut-être le logiciel d’exploration de données le plus chaud aujourd’hui.

Une façon de comprendre l’avenir de intelligence artificielle et comment il va transformer l’économie est de regarder ce dont tout le monde parle au Sommet Spark.


Pas qu’un profane puisse comprendre la plupart de ces discussions. Les ingénieurs de sociétés telles que Capital One à Airbnb ont parlé de leurs projets de big data réussis en ingénierie pure.

Mais le fait que les keynotes étaient de vénéré intelligence artificielle Les chercheurs Andrew Ng et Jeff Dean parlent de la valeur de Spark. Des entreprises comme Siemens affirment qu’elles ont l’habitude d’analyser les données transmises par des capteurs afin de prédire quelles éoliennes vont se casser. NBC Universal recueille des données sur le comportement des consommateurs et utilise des algorithmes, croqués dans Spark, pour prédire quelles séries télévisées résonneront auprès des consommateurs.

Au cours des quatre dernières années, l’obsession de la Silicon Valley pour le Big Data et l’exploration de données a explosé en un véritable engouement pour l’intelligence artificielle. Regardez l’industrie du voyage. Aujourd’hui, des entreprises comme Expedia veulent collecter vos centres d’intérêt et votre historique de voyage, analyser les données dans une application ou une autre plate-forme et créer des agents de voyages virtuels qui vous aideront à utiliser votre technologie de reconnaissance vocale. Ce changement, dans lequel l’automatisation et les algorithmes se déplacent dans toutes les industries, est déjà en cours. Il est alimenté par un nombre croissant de technologies dorsales et de startups visant à établir des contacts lucratifs avec les entreprises américaines, dont les noms n’ont jamais été communiqués à la plupart des consommateurs; Au moins l’un d’eux peut devenir le prochain Microsoft, Oracle ou IBM.

L’exemple récent le plus frappant de ces technologies big data backend hyped s’appelle Hadoop. Le logiciel, nommé d’après un éléphant jouet appartenant au fils du programmeur Yahoo qui a aidé à le développer, est apparu au milieu des années 2000 lorsque Google et Yahoo étaient au coude à coude dans une bataille pour être le moteur de recherche dominant.

Hadoop a été utilisé par les deux sociétés pour indexer l’énorme quantité de données que les consommateurs jetaient sur le «Web». En 2008, les investisseurs pensaient que le logiciel d’exploration de données était mûr pour Entreprise amérique, et les armées des vendeurs ont commencé à le présenter comme un outil d’analyse de Big Data tout usage. Ils ont dit, par exemple, qu’il pourrait aider les sociétés de cartes de crédit et les banques à détecter les fraudes et autres anomalies dans les transactions financières massives, ou les sociétés de commerce électronique à créer des fonctionnalités de recommandation sur leurs sites Web. ce.”

En 2014, les investisseurs avaient versé plus de 2 milliards de dollars dans des dizaines de sociétés vendant des services basés sur Hadoop. Hadoop étant open source, ce qui signifie que le logiciel de base est gratuit pour les développeurs à partager et à modifier, les entreprises gagnent de l’argent en vendant du support technique et d’autres services sur Hadoop. Mais Hadoop a eu des problèmes parce que la technologie maladroite n’a pas toujours tenu ses promesses. Quatre ans après le début de l’engouement pour le Big Data, la majorité des projets Big Data échouent ou ne sont jamais terminés, selon InfoChimps.

Spark permet le traitement d’algorithmes d’apprentissage machine plus avancés, et fonctionne plus efficacement que certaines parties de Hadoop, et il est plus facile à utiliser dans le cloud, disent les ingénieurs. Ce n’est pas une bonne nouvelle pour les promoteurs de Hadoop, et reflète à quel point la dernière technologie innovante peut rapidement passer. Bien sûr, le même résultat pourrait arriver à Spark aussi.

Le projet Spark, qui est aussi Open source, origine dans un laboratoire d’informatique à l’Université de Californie, Berkeley. Le capital-risqueur Ben Horowitz a découvert la technologie par l’intermédiaire d’un professeur du département, qui a appelé Horowitz pour lui dire que le créateur de Spark était l’informaticien le plus talentueux de Berkeley depuis une décennie. Presque immédiatement, Horowitz a sauté pour aider les ingénieurs Spark, la plupart qui étaient des étudiants diplômés qui n’avaient jamais dirigé une entreprise, à construire une entreprise. Grâce à sa société de capital-risque Andreessen Horowitz, Horowitz et d’autres investisseurs ont investi 47 millions de dollars dans la société, appelée Databricks.

Quarante-huit pour cent des développeurs de Spark disent qu’ils n’utilisent plus Hadoop, dit Databricks, même si le projet était initialement considéré comme un moyen de le compléter. IBM a récemment annoncé que la société consacrait 3 500 développeurs à des projets liés à Spark.

Mais Spark est open source, ce qui signifie que c’est gratuit. Microsoft est devenu l’une des sociétés les plus riches dans l’histoire de la vente de logiciels propriétaires. Databricks et d’autres doivent encore trouver un moyen de générer des revenus réels en vendant des technologies que personne ne possède. Comme Peter Levine, un autre partenaire d’Andreessen qui investit dans des sociétés open-source aime dire, Open source les entreprises n’ont jamais valu une fraction de leurs homologues propriétaires. Les startups open source comme Databricks tentent de gagner de l’argent en vendant des services spécialisés et des produits propriétaires qui se greffent sur les logiciels open source, y compris le support technique et les produits de sécurité personnalisés, aux grandes entreprises. Mais ils ont un long chemin à parcourir.

De plus, les créateurs de Spark et d’autres intelligence artificielle Les technologies semblent penser aux implications de ce qu’elles construisent d’une manière différente de celle de Microsoft ou d’Oracle. Ces géants d’héritage ont voulu capturer la richesse de Entreprise amérique. Certes, les entreprises d’aujourd’hui aspirent aussi à cela, mais aujourd’hui les entrepreneurs de l’IA se préoccupent également d’un ensemble différent de questions – sur le type d’avenir que l’intelligence artificielle apportera.

À mesure que les entreprises deviennent plus rapides et plus efficaces, des millions d’emplois peuvent disparaître. Elon Musk et l’incubateur de démarrage de la Silicon Valley, Y-Combinator, ont récemment consacré un milliard de dollars à la création d’OpenAI, une organisation à but non lucratif dédiée à la création d’une intelligence artificielle open source puissante au service du bien public. Le débat actuel au sein de la communauté IA, a déclaré le PDG de Databricks, Ali Ghodsi, est de savoir si les changements apportés par l’IA libéreront les gens pour leur permettre de se consacrer à des activités créatives, ou leur dépouiller leurs moyens.