La vérité selon l’IA

 

hacker

 

Note du compilateurG.P.T.

L’engouement pour l’IA (intelligence artificielle) ne date pas d’octobre 2023 mais est déjà présent depuis août 2016, certains "futuristes" nous mettaient en garde contre l’utilisation abusive et les dangers induisent par l’IA. De plus, cela fait au moins depuis 2019 que d’éminent professeurs, scientifiques, philosophes nous rendent attentifs au fait que ces nouvelles technologies qui envahissent notre quotidien peuvent présenter des dangers insoupçonnés et avoir des conséquences inattendues. Si certains aspects de l’IA peuvent, par exemple, refaire marcher des handicapés – ce qui peut paraître merveilleux –, nous ne devons jamais oublier que cette technologie qui peut lire dans le cerveau peut aussi servir à des fins de domination, de manipulation de nos choix et désirs et ainsi renforcer les manières dont l’IA pourrait se substituer à l’humain pour l’amener à faire de lui une marionnette sous contrôle et de faciliter l’avènement de la société de consommation poussée à son extrême. Mais en lisant entre les lignes des publications favorables à l’IA, on s’apercevra que derrière cette nouveauté, il y a effectivement la notion de «l’amélioration des capacités sur le plan relationnel ou celui de la santé mentale» de cette humanité défaillante. Soit un nouvel exemple d’une tentative d’eugénisme, une de plus mais cette fois-ci, virtuelle...

D’ailleurs, malgré le fait que «cette technologie pourrait offrir une plus-value» et même si les programmateurs précisent qu’ils ont mis en place des mesures pour prévenir les mauvaises intentions en faisant très attention, il ne reste pas moins que celle-ci sera employée avec des intentions autres quelques soient les précautions prises et cela dès qu’elle sera mise sur le marché, cette technologie pouvant être utilisée comme un outil de surveillance des individus et de leur contrôle... entre autre...

Les phrases soulignées indiquent où cela fait problème, toujours sans le dire...

 

 

Sommaire :

  1. L’IA   -   peut hacker le cerveau !
  2. Le développement de l’IA   -   n’est pas écologique
  3. Gerd Leonhard   -   Nous transférons notre pouvoir aux machines !

 


  

date
  
titre
 
Yuval Noah Harari, historien israélien et auteur du best-seller «Sapiens», était à l’EPFL pour une conférence publique. Rencontre avec un visionnaire
 
Yuval Noah Harari
 

Marianne Grosjean

 

Yuval Noah Harari est «booké» comme un premier ministre. Sur l’agenda de sa collaboratrice chargée de la promotion de ses livres en Chine, on aperçoit la liste de tous les médias, nationaux et internationaux, que l’auteur israélien a rencontrés le 11 juillet dans sa chambre d’hôtel du Royal Savoy, à Lausanne. La veille, il a fait un tabac au SwissTech Convention Center de l’EPFL, où il était invité par l’Empowerment Foundation. Le lendemain, on nous a accordé vingt-cinq minutes, top chrono, pour poser des questions à l’auteur de «Sapiens: une brève histoire de l’humanité», «Homo Deus» et plus récemment «21 questions pour le XXIe siècle», traduits dans 45 langues et écoulés à plus de 12 millions d’exemplaires.

 

24h : Celui qui aspire à la vérité doit renoncer au pouvoir et vice versa, écrivez-vous. Auteur influent, pensez-vous dire la vérité ou raconter une histoire ?

  

J’essaie de faire les deux. La vérité a besoin de prendre la forme d’une histoire pour être compréhensible. Prenons l’exemple de l’une des histoires les plus en vogue sur la planète en ce moment, celle des nationalismes. C’est une façon très limitée de voir le monde. Personnellement, j’essaie d’observer l’histoire humaine au travers d’un spectre bien plus large que celui d’un pays, en temps et en lieu. Ce qui est sûr, c’est qu’aucune des nations existant aujourd’hui – l’Allemagne, la Pologne, les États-Unis, etc. – n’existait il y a cinq mille ans. Et cinq mille ans n’est qu’une toute petite période, sachant que les humains se baladent ici depuis des millions d’années. Cela dit, mes livres soulèvent des questions plus que des réponses et je ne m’attends pas à ce que les gens les prennent pour une vérité absolue.

 

En Suisse, vos livres ont contribué à créer une fondation, la «Geneva Science and Diplomacy Anticipator», présidée par l’ex-PDG de Nestlé et qui réunit des membres issus de la science, de l’économie et des relations internationales. Son but: identifier les thèmes des prochaines décennies en termes de nouvelles technologies, d’agriculture, d’intelligence artificielle (IA), de data, de bioingénierie, etc. Une bonne idée ?

 

L’intention initiale est louable: on doit être au fait de ces enjeux du XXIe siècle. Notamment ceux qu’amènent la crise écologique et la fusion du big data et de la biotechnologie (lire ci-dessous). Pourtant, ce n’est pas suffisant de ne réunir que des universitaires et des industriels. Cela devrait être une discussion suivie par le grand public, réunissant des personnes du gouvernement, des médias, de l’industrie, de la recherche, mais aussi des historiens, des philosophes, des sociologues. Car si les ingénieurs sont excellents pour comprendre la technique de l’IA et les industriels pour imaginer le profit que peuvent générer des innovations, ils le sont beaucoup moins pour comprendre en quoi ces innovations bouleverseront le système politique, la société ou encore l’éthique. C’est pour cela que le point de vue des sciences humaines et sociales est indispensable. Il serait très dangereux de ne pas les inclure. Il faut aussi compter avec des activistes sociaux et des représentants de diverses communautés ou diverses tranches d’âge. Ce n’est pas juste pour cocher la case de la diversité, mais plutôt pour imaginer toutes les perspectives que ces changements vont apporter à différentes catégories de personnes. Par exemple, ceux qui travaillent dans les nouvelles technologies ont tous la vingtaine ou la trentaine. Pourtant, leurs découvertes vont aussi influencer des personnes de 70 et 80 ans. Si les échanges monétaires ne devaient circuler qu’à travers une application, cela deviendrait beaucoup moins évident pour des aînés qui n’ont jamais possédé de smartphone que pour des adolescents.

 

Une des grilles actuelles de lecture est l’intersectionnalité, qui met l’identité de «race» et de genre au centre du débat. Qu’en pensez-vous ?

 

Dans certains débats, il est important de prendre conscience de l’expérience des personnes qui n’ont pas la même vie que vous. Mais vous ne pouvez pas vivre l’expérience d’un Noir si vous êtes un Blanc, ou d’une femme qui a avorté si vous n’avez pas d’utérus. L’un des travers de l’intersectionnalité serait donc de couper la voix au chapitre de ceux qui ne connaissent pas la situation de l’intérieur. Or, cela bloque la communication: comment peut-on débattre si l’on ne peut pas se comprendre parce que l’on ne partage pas la même expérience de vie? Je pencherais pour une version modérée de l’intersectionnalité, qui serait de prendre conscience de la réalité des personnes différentes de soi en investissant du temps et des efforts pour se renseigner, pour écouter les personnes concernées. Par exemple, si l’on vote une loi interdisant l’avortement, il faut réfléchir aux plus faibles: quel sera l’impact de cette loi sur les personnes trop pauvres pour voyager dans un autre pays afin d’avorter, et que le fait d’avoir un enfant condamne à une vie précaire ?

 

Vous êtes admiré par le PDG de Facebook et par beaucoup de chercheurs qui travaillent justement à la fusion entre biotech et infotech, au sujet de laquelle vous mettez en garde. Inquiétude ou soulagement ?

 

Ils s’intéressent à ce que j’écris, c’est plutôt bon signe. Ils comprennent qu’ils ont un immense pouvoir, mais prennent aussi conscience de l’impact de leurs innovations. Les ingénieurs pouvaient avoir une vision assez naïve de ce qu’internet ou les réseaux sociaux allaient apporter au monde. Maintenant, ils constatent que connecter les gens entre eux et permettre l’échange d’informations ne va pas forcément vers plus de liberté, de vérité et une meilleure vie, mais que cela mène autant aux fake news, au radicalisme, etc. C’est suite à ce constat que les ingénieurs sont plus ouverts aux sciences sociales qu’auparavant.

  

citation

  


  

sous titre
 

«Lève-toi et marche», ordonnait Jésus au paralysé dans la Bible. «Science sans conscience n’est que ruine de l’âme», écrivait Rabelais dans «Pantagruel». Ces deux épisodes fictionnels (que Dieu me pardonne) ont connu un face-à-face inattendu, lors de la conférence publique de Yuval Noah Harari au SwissTech Convention Center de l’EPFL, le 10 juillet devant une salle comble. Deux professeurs, Grégoire Courtine (EPFL) et Jocelyne Bloch (UNIL), ont présenté le résultat incroyable de leur recherche, à savoir de faire marcher des personnes aux jambes paralysées à cause d’un blocage de la moelle épinière. Ils ont expliqué, vidéo à l’appui, qu’ils sont parvenus à installer des capteurs dans le cerveau de la personne pour interpréter ses intentions – celle de marcher par exemple – et envoyer l’ordre directement aux jambes par le biais de codes informatiques.

 

Largement applaudie par l’audience, cette innovation a été mise en perspective par l’essayiste israélien, qui en a donné une image plus nuancée. «C’est évidemment merveilleux dans ce cas. Mais une technologie qui permet de lire dans le cerveau peut aussi servir des fins bien moins louables. Bientôt, on pourra hacker les humains. Des entreprises pourraient ainsi savoir ce que l’on aime pour nous vendre des choses, pour manipuler nos choix et nos désirs. Des régimes politiques peuvent contrôler leur population, ou leur faire subir un lavage de cerveau directement dans le crâne. Imaginez un Kim Jong-un en possession de cette technologie. Dans vingt ans, chaque Nord-Coréen pourrait porter une puce dans le cerveau qui permettrait au régime de surveiller non seulement ses actions, mais surtout ses pensées et ses émotions. C’est encore plus extrême que le régime de Staline ou que tout ce qu’avait imaginé Orwell dans «1984».»

  

Voilà qui a douché les espoirs d’une «technologie au service du bien», que la fondatrice de l’Empowerment Foundation, qui organisait l’événement, tentait de souligner dans ses questions...

 

MAR.G

 


  

tiré du journal «solidaritéS» du 19.07.2024

  

Le développement de l’IA n’est pas écologique et de loin

  

sous titre

  

En effet, les émissions de CO2 dues à l’IA ont bondi entre 29% à 48% en moins de quatre ans. C’est bien le résultat le plus spectaculaire de l’IA car pour faire marcher celle-ci, il faut de «data centers» (DC) extraordinairement voraces en énergie. Une requête de type «ChatGPT», moteur de l’IA, consomme énormément d’énergie faisant de l’IA généralisée un puits sans fond énergétique et une grande consommatrice d’électricité. Cette technologie n’est nullement sobre et son extension multiplie les besoins de courant. Car pour cela, il faut construire de nouveaux DCs dont les unités de calcul nécessitent 6 à 10 fois plus d’énergie, soit l’équivalant d’une centrale nucléaire.

  

L’IA n’est pas gratuite

  

Le besoin de calcul informatique pour l’IA a été multiplié par un million en six ans et il décuple chaque année alors que nous sommes supposément rentrés dans une ère de «sobriété énergétique». Ces nouvelles infrastructures posent deux enjeux majeurs : comment produire rapidement le surplus d’électricité et comment réduire les émissions de CO2.

  

L’IA, un choix intelligent ?

  

Le développement de l’IA ne résulte pas d’un vaste débat répondant à des priorités sociales et environnementales. Au contraire, elle est le produit de l’économie capitaliste où seul compte le rendement et les bénéfices. Son usage et sa croissance sont portés par une poignée de dirigeants et de grandes compagnies en quête de croissance continue et de nouveaux produits obnubilés par les prévisions de rendements faramineux et de futurs profits, présentés comme couvrant les intérêts de l’ensemble de la société et adossés à la notion du «progrès» technologique et financier.
Pour l’instant, et même pour le futur, les retombées attendues de l’IA sont spéculatives et malgré la justification de pouvoir améliorer les modèles de réchauffement climatique ou les progrès médicaux, la pertinence de ces améliorations est douteuse alors qu’il s’agirait de répondre à l’extension des soins et de l’éducation de qualité pour les populations qui en sont encore largement privées...

  


  

tiré du "Le Temps" du lundi 22 Août 2016

 

«Nous transférons notre pouvoir aux machines»

  

  

Face aux suppressions massives d’emplois, le futuriste Gerd Leonhard, un des 100 leaders les plus influents en innovation technologique, craint que l’homme ne devienne de plus en plus une machine. Ancien guitariste professionnel en Californie, Gerd Leonhard, basé à Zürich, a très tôt anticipé la quasi-suppression de l’industrie de la musique. À l’inverse du futurologue, lequel prévoit l’avenir, le futuriste rassemble des informations sur l’avenir et conseille les entreprises, dont d’innombrables médias, comme le New York Times, sur la meilleure manière de se préparer à l’avenir. Le 8 septembre a eu lieu, à Londres, le vernissage de son nouveau livre «Technology versus Humanity». Celui-ci plaide pour un comité d’éthique en technologie et la création de nouveaux droits humains comme le droit d’être inefficient et lent, le droit d’engager des hommes plutôt que des machines et le droit d’être déconnecté.

 

Comment l’humanité prévaudra-t-elle face à un changement technologique rapide et global ?

  

Notre monde entre dans une période de changement véritablement transformateur, et beaucoup d’entre nous seront surpris par l’ampleur et le rythme des développements que nous n’avions tout simplement pas anticipés. Un énorme potentiel réside dans ces avancées technologiques exponentielles, mais ces nouvelles opportunités viennent également d’énormes nouvelles responsabilités. Une avalanche de changements technologiques va remodeler l’essence même de l’humanité et toucher tous les aspects de la vie de notre planète.

Dans le passé, chaque changement radical dans la société humaine a été principalement motivé par un facteur de changement clé de la possibilité – du bois, de la pierre, du bronze et du fer à la vapeur, à l’électricité, à l’automatisation des usines et à l’internet. Aujourd’hui, cependant, un ensemble combinatoire de méga-changements basés sur la science et la technologie se réunira qui redessinera non seulement le commerce, la culture et la société, mais aussi notre biologie et notre éthique.

Permettez-moi d’être clair sur ce livre : "Technologie vs. L’humanité" n’est ni une célébration de la révolution technologique qui s’est rapidement imposée ni une lamentation de la chute de la civilisation. Si, comme moi, vous êtes un film, alors vous avez probablement déjà eu plus que suffisant des visions utopiques d’Hollywood et des avertissements dystopiques. L’avenir ne sera pas créé sur la base de la peur.

 

Mon objectif avec ce livre est d’amplifier et d’accélérer le débat sur la manière de guider, d’exploiter et de contrôler le développement de la science et de la technologie afin qu’ils remplissent leur objectif premier qui – à mon avis – est de servir l’humanité, et de continuer à fleurir tout autour du monde. Mon ambition est d’aller au-delà des domaines des technologues exubérants ou des analystes et universitaires réfléchis pour exprimer une série de préoccupations qui sont loin d’être prises en compte, ou même reconnues par la population dans son ensemble. En tant que futuriste – et de plus en plus pressant – j’espère également donner une présence réelle et une urgence actuelle à un avenir qui semble encore incompréhensible et indigne pour beaucoup d’attention. En tant que tel, ce livre est délibérément conçu pour être un début de discussion passionné pour ce que je crois être actuellement la conversation la plus importante au monde. Je crois que mon rôle ici est d’ouvrir et de catalyser le débat, c’est pourquoi j’ai entrepris d’élaborer un manifeste animé plutôt qu’un guide. Et bien sûr, à l’avenir, beaucoup de mes discours, de mes discours et de mes films vont également s’étendre sur les thèmes esquissés dans le livre. Je pense que nous devons prendre du recul par rapport à un débat d’experts sur ce qui est possible et comment y parvenir, et commencer par une exploration plus fondamentale du but et du sens, et définir le rôle que nous voulons que ces technologies transformatrices jouent au service de l’humanité: ce n’est pas parce que nous le pouvons, cela ne veut pas dire que nous le devrions.

Dans le livre, j’ai exposé ce que je crois être les forces motrices du changement, et je présente une évaluation de leurs impacts et implications potentiels. J’ai mis en lumière de nombreuses questions fondamentales soulevées par l’accélération et le rythme exponentiel du développement dans de multiples domaines de la science et de la technologie. Je soutiens de placer le bonheur et le bien-être humains au cœur des processus de prise de décision et de gouvernance qui façonneront les investissements futurs dans la recherche scientifique et technologique, le développement et la commercialisation – parce qu’en fin de compte, la technologie n’est pas ce que nous recherchons, mais notre recherche.

 

UNE PROLOGUE À L’AVENIR

 

L’humanité changera davantage au cours des 20 prochaines années qu’au cours des 300 années précédentes.

Les êtres humains extrapolent souvent l’avenir du présent, voire du passé. L’hypothèse est que tout ce qui a bien fonctionné pour nous jusqu’à présent devrait, sous une forme ou une forme légèrement améliorée, nous servirait aussi bien à l’avenir. Pourtant, la nouvelle réalité est qu’en raison de l’impact accru des changements technologiques exponeniels et combinatoires (comme je l’expliquerai tout au long de ce livre), l’avenir est en fait très peu susceptible d’être une extension du présent. Au contraire, il est certain d’être totalement différent – parce que le cadre et la logique sous-jacente ont changé. Par conséquent, dans mon travail en tant que futuriste, j’essaie d’intuiter, de m’imaginer et de m’immerger dans le quasi-futur 5 mois (5 à 8 ans) et ensuite je me fraye un chemin de retour de là plutôt que vers lui.

Ce livre est à la fois un rapport de cet avenir et une sorte de manifeste, un appel passionné à s’arrêter et à réfléchir avant que nous ne soyons tous balayés dans le vortex magique de la technologie, et finalement de devenir moins qu’ils ne deviennent plus humains. En ce moment, le moment est venu de se rappeler que l’avenir ne nous arrive pas seulement - il est créé par nous, tous les jours, et nous serons tenus responsables des décisions que nous prenons en ce moment même.

J’ai le sentiment que nous vivons l’une des périodes les plus excitantes de l’histoire de l’humanité, et je suis généralement très optimiste quant à l’avenir. Toutefois, nous devons absolument définir et mettre en pratique une approche plus holistique de la technologie afin de préserver l’essence même de ce que signifie être humain.

Nous sommes au point d’inflexion d’une courbe exponentielle dans de nombreux domaines de la science et de la technologie, un point où le doublement de chaque période de mesure à l’autre devient beaucoup plus important (voir loi de Moore). Ce rythme exponentiel de développement est maintenant évident partout, y compris dans des domaines tels que l’apprentissage profond, la génétique, les sciences des matériaux. Le temps nécessaire pour chaque étape de performance exponentielle diminue également dans de nombreux domaines, ce qui est le moteur d’un changement fondamental pour chaque activité de la planète. En termes pratiques, nous avons maintenant dépassé la phase de la vie de la courbe où il était difficile de mesurer que quelque chose se passe, c’est-à-dire que nous ne passons plus en petits pas de 0,01 à 0,02 ou de 0,08 à 0,08.

En même temps, heureusement, nous n’en sommes pas encore au point où ces doublements sont si grands que les résultats dépasseront notre compréhension et entraveront notre capacité d’agir. Pour mettre les choses en perspective, à mon avis, nous sommes à un niveau de performance relatif d’environ quatre dans la plupart des domaines, et la prochaine étape exponentielle nous mènera à huit, plutôt qu’à une montée plus linéaire à cinq. C’est précisément le moment où les augmentations exponentielles commencent à avoir de l’importance, et la technologie entraîne maintenant des changements exponentiels dans tous les secteurs de notre société, de l’énergie, des transports, des communications et des médias, en passant par la médecine, la santé, l’alimentation et l’énergie.

En témoigne les récents changements intervenus dans l’industrie automobile – au cours des sept dernières années, nous sommes passés des voitures électriques avec une portée de moins de 50 miles en passant par les dernières Tesla et BMWi8 promettant plus de 300 miles avec une seule charge. Nous sommes également passés d’une poignée d’emplacements de recharge au fait stupéfiant que la ville de New York a déjà plus de stations de recharge pour véhicules électriques (VE) que les stations-service. Presque chaque mois, il y a une nouvelle percée dans l’efficacité des batteries, une limitation qui a été l’un des plus grands obstacles à l’adoption massive de véhicules électriques au cours des dernières décennies. Bientôt, nous ne facturons nos VE qu’une fois par semaine, puis une fois par mois, et finalement une fois par an – et très peu de gens seront encore intéressés par les voitures de luxe traditionnelles avec de bons vieux moteurs à gaz.

En témoigne la baisse encore plus spectaculaire des coûts du séquençage du génome humain, avec une baisse du prix d’environ 10 millions de dollars en 2008 à environ 800 dollars aujourd’hui. Imaginez ce qui pourrait arriver lorsque des superordinateurs plus puissants de manière exponentielle s’installer dans le nuage et deviennent disponibles pour chaque installation médicale ou laboratoire : le coût du séquençage du génome d’un individu devrait rapidement descendre en dessous de 50 dollars. Ensuite, imaginez les profils génomiques de quelque 2 milliards de personnes téléchargées dans un nuage sécurisé (avec d’un bon avis, d’une manière anonymisée) pour une utilisation dans la recherche, le développement et l’analyse ‐ une grande partie de celui-ci réalisé par l’intelligence artificielle (IA) fonctionnant sur ces mêmes superordinateurs. Les possibilités scientifiques qui se dévoileront en éclateront tout ce dont nous avons rêvé tout en apportant d’énormes défis éthiques : la longévité dramatique augmente pour ceux qui ont le budget, la capacité de reprogrammer le génome humain et, potentiellement, la fin du vieillissement, voire la mort. Les riches vivront-ils éternellement alors que les pauvres n’auront même pas les moyens de payer des pilules antipaludiques ?

De telles évolutions exponentielles suggèrent que continuer à imaginer notre avenir de manière linéaire conduira probablement à des hypothèses catastrophiquement erronées sur l’échelle, la vitesse et les impacts potentiels du changement. Cela peut s’expliquer par la raison pour laquelle tant de gens ne peuvent pas comprendre les préoccupations croissantes concernant la technologie qui l’emporte sur l’humanité - tout semble si loin, et, pour l’instant, plutôt inoffensif parce que nous ne sommes qu’à quatre sur cette courbe. Des questions telles que la perte croissante de la vie privée, le chômage technologique ou la déqualification humaine ne sont pas encore suffisamment en face ‐ mais cela ne peut que très rapidement changer.

Il est également important de se rendre compte que les plus grands changements se produiront en raison de l’innovation combinatoire, c’est-à-dire en exploitant plusieurs méga-changements (comme expliqué au chapitre 4) et des éléments de perturbation en même temps. Par exemple, nous voyons de plus en plus les entreprises combiner les concepts de données massives et l’Internet des objets (IdO) ainsi que l’IA, la mobilité et le cloud pour créer de nouvelles offres extrêmement perturbatrices (voir chapitre 4 sur les méga-shifts).

Il suffit de dire que rien et personne ne seront épargnés par les changements qui nous attendent, qu’ils soient réalisés avec la bonne volonté, tout en ignorant ou en négligeant de prendre en compte les conséquences imprévues, ou avec une intention nuisible. D’une part, des percées technologiques inimaginables pourraient améliorer considérablement nos vies et florissantes humaines considérables (voir chapitre 10, sur le bonheur et pour ce que l’épanouissement exactement peut signifier à l’avenir). D’autre part, certains de ces changements technologiques exponentiels sont tout à fait susceptibles de menacer le tissu même de la société et, en fin de compte, de remettre en question notre humanité même.

En 1993, l’informaticien (et célèbre auteur de science-fiction) Vernor Vinge a écrit : Dans 30 ans, nous aurons les moyens technologiques de créer une intelligence surhumaine. Peu de temps après, l’ère humaine prendra fin. Ces progrès sont-ils évitables? Si nous ne devons pas éviter, les événements peuvent-ils être guidés pour que nous puissions survivre ?

 

Bienvenue à HellVen

 

Il devient rapidement évident que l’avenir des relations homme-machine dépend dans une large mesure du système économique qui les crée. Nous sommes confrontés à ce que j’aime appeler HellVen (c’est-à-dire un mélange de défis en enfer/ciel). Nous nous avançons à la vitesse de la chaîne vers un monde qui, d’une part, peut-être ressembler au Nirvana, où nous n’avons peut-être plus à travailler pour gagner notre vie, la plupart des problèmes sont résolus par la technologie, et nous jouissons d’une sorte d’abondance universelle – parfois appelée "Économie Star Trek".

Ou d’autre part, l’avenir pourrait inaugurer une société dystopique qui est orchestrée et supervisée par des superordinateurs, des bots en réseau et des agents logiciels super-intelligents - machines et algorithmes, cyborgs et robots – ou plutôt, par ceux qui les possèdent; un monde où les humains non-augmentés pourraient être tolérés comme des animaux de compagnie ou comme une nuisance nécessaire au mieux, ou en esclavage par une cabale et tout à fait déshumanisé.

Comme disant en son temps Nikola Tesla – «Vous pourrez vivre pour voir des horreurs causées par l’homme au-delà de votre compréhension.»

  

S’agit-il d’une vision parano ?

  

Considérons ce que certains d’entre nous sont déjà témoins dans notre vie quotidienne : les technologies numériques peu coûteuses et omniprésentes nous ont permis d’externaliser notre réflexion, nos décisions et nos souvenirs à des appareils mobiles toujours plus chers et aux nuages intelligents derrière eux. Ces «cerveaux extérieurs» se transforment rapidement, passant de savoir-moi à représenter-moi à être moi. En fait, ils commencent à devenir une copie numérique de nous – et si cette pensée ne vous préoccupe pas encore, imaginez ce 100x amplifié dans les 5 prochaines années.

Vous naviguer dans une ville étrange ? Impossible sans Google Maps. Ne peut-on pas décider où manger ce soir ? TripAdvisor me le dira. Pas le temps de répondre à tous mes mails ? Le nouvel assistant intelligent de Gmail le fera pour moi.

En ce qui concerne la convergence homme-machine, nous ne sommes pas tout à fait dans un monde où nous restons chez nous alors que notre cyborg double vit nos vies pour nous, comme dans le film de Bruce Willis de 2009 Surrogates. Nous ne sommes pas non plus en mesure d’acheter des synthétiseurs semblables à l’homme qui peuvent entreprendre une gamme de tâches et fournir une compagnie comme dans la série télévisée Humans de l’AMC de 2015, mais nous ne sommes pas si loin non plus.

Dans ce livre, je vais expliquer pourquoi je ne pense pas que le scénario dystopique est susceptible de se produire. Dans le même temps, je soutiendrai que nous sommes maintenant confrontés à des choix fondamentaux lorsqu’il s’agit de décider et de planifier dans quelle mesure nous permettrons à la technologie d’impacter et de façonner nos vies, la vie de nos proches et la vie des générations futures. Certains experts peuvent dire que nous sommes déjà au-delà du point d’empêcher de tels changements, et que ce n’est que la prochaine étape de notre évolution «naturelle». Je ne suis pas du tout d’accord et je vais expliquer comment je pense que les humains peuvent émerger en tant que gagnants dans ce prochain affrontement entre l’homme et les machines.

 

La technologie et l’humanité convergent, et nous sommes à un point pivot

 

Alors que je commençais à écrire ce livre et à tisser les thèmes dans mes conférences, trois mots importants se sont hissés au sommet et se sont distingués – exponentiel, combinatoire et récursif.

1. Exponentiel. La technologie progresse de façon exponentielle, par exemple. 1-2-4-8-16, pas 1-2-3-4-5, etc. Même si les lois de base de la physique peuvent empêcher les micropuces de devenir nettement plus petites qu’elles ne le sont déjà aujourd’hui, les progrès technologiques en général suivent toujours la loi de Moore. La performance par rapport à la courbe des coûts continue d’augmenter de façon exponentielle, et non pas de la manière progressive ou linéaire dont les humains ont tendance à comprendre et à s’attendre. Cela représente un énorme défi cognitif pour nous : la technologie croît exponentiellement, tandis que les humains (j’espère, j’ajouterais) restent linéaires.

2. Combinatoire. Les progrès technologiques sont combinés et intégrés. Les progrès qui changent les jeux tels que l’intelligence artificielle et l’apprentissage profond, l’Internet des objets (IdO) et l’édition du génome humain commencent à se croiser et à s’amplifier. Ils ne sont plus simplement appliqués dans des domaines individuels spécifiques – ils provoquent plutôt des ondulations dans une multitude de secteurs. Par exemple, les technologies avancées d’édition de gènes humains telles que CRISPR-Cas9 pourraient nous permettre de lutter contre le cancer et d’augmenter considérablement la longévité. Ce sont des développements qui finiraient toute la logique des soins médicaux et de la santé, de la sécurité sociale, du travail et même du capitalisme lui-même. (Note: le tableau utilisé dans ma diapositive ci-dessous s’inspire de Frank Diana)

3. Des technologies telles que l’IA, l’informatique cognitive et l’apprentissage profond pourraient finalement conduire à des améliorations récursives (c’est-à-dire auto-amplificatrices). Par exemple, nous voyons déjà les premiers exemples de robots qui peuvent reprogrammer ou améliorer eux-mêmes ou contrôler le réseau électrique qui les maintient en vie, conduisant potentiellement à ce que l’on a appelé une explosion d’intelligence. Certains, comme l’universitaire d’Oxford, Nick Bostrom, pensent que cela pourrait conduire à l’émergence de systèmes de super-intelligence et d’IA qui pourraient un jour apprendre plus rapidement, et périr les humains à presque tous égards. Si nous pouvons concevoir des IA avec un QI de 500, qu’est-ce qui nous empêcherait d’en construire d’autres avec un QI de 50'000 ‐ et que se passerait-il si nous le faisions ?

Heureusement, la super-intelligence récursive n’est pas encore à l’horizon immédiat. Cependant, même en l’absence de tels défis, nous sommes déjà aux prises avec certaines questions qui s’aggravent rapidement, comme le suivi constant de nos vies numériques, la surveillance par défaut, la perte de capacité manuel de nos enfants, la diminution de la vie privée, la perte de l’anonymat, l’usurpation d’identité numérique, la sécurité des données, et bien plus encore. C’est pourquoi je suis convaincu que l’avenir de l’humanité – positif ou dystopique – est mis ici aujourd’hui.

Nous sommes à un carrefour crucial, et nous devons agir avec beaucoup plus de prévoyance, avec une vision résolument plus holistique, et avec une gestion beaucoup plus forte alors que nous libérons des technologies qui pourraient finir par avoir infiniment plus de pouvoir sur nous que nous ne pourrions l’imaginer.

Nous ne pouvons plus adopter une attitude d’attente si nous voulons garder le contrôle de notre destin et des développements qui pourraient le façonner. Au contraire, nous devons accorder la même attention à ce que cela signifiera ou rester humain à l’avenir (ce qui nous définit en tant qu’humains) que ce que nous dépensons pour développer des technologies infiniment puissantes qui changeront l’humanité pour toujours.

Nous devrions prendre grand soin de ne pas nous contenter de laisser ces décisions à des «marchés libres», aux capital-risqueurs, aux technologues d’entreprise ou aux organisations militaires les plus puissantes du monde. L’avenir de l’humanité ne devrait pas être à peu près à tout prix un paradigme générique de l’âge industriel du profit et de la croissance, ou un impératif technologique dépassé qui nous a peut-être bien servi dans les années ’80. Ni la Silicon Valley ni les nations les plus puissantes du monde ne devraient finir par devenir – le contrôle de mission pour l’humanité – simplement parce qu’elle génère de nouvelles sources de revenus.

Heureusement, je crois que nous sommes toujours au point 90/10 en ce moment: 90% des possibilités incroyables présentées par la technologie pourraient se dérouler pour le bien l’humanité, et 10% pourraient déjà être gênants ou négatifs. Si nous pouvons maintenir cet équilibre, ou le porter à 98/2, cela vaudrait la peine. Dans le même temps, ce 10% inquiétant (même si la plupart du temps n’est pas non plus intentionnel en ce moment) peuvent rapidement gonfler jusqu’à 50% ou plus si nous ne sommes pas d’accord sur la manière exacte dont nous voulons que ces technologies servent l’humanité – ce n’est manifestement pas le moment venu de faire avancer et de voir ce qui se passe.

 

L’intelligence artificielle et l’édition du génome humain sont les deux principaux transformateurs du jeu.

 

La première force majeure dans le domaine des technologies exponentielles est l’IA, simplement définie comme la création de machines (logiciels ou robots) intelligentes et capables d’auto-apprentissage, c’est-à-dire des machines plus à penser à l’homme. La capacité d’IA devrait croître deux fois plus vite que toutes les autres technologies, dépassant la loi de Moore et la croissance de la puissance de calcul, en général.

«De loin, le plus grand danger de l’intelligence artificielle est que les gens concluent trop tôt pour la comprendre.» Eliezer Yudkowsky

Le deuxième transformateur du jeu de l’IA c’est l’ingénierie du génome humain, soit la modification de l’ADN humain pour mettre fin à certaines, sinon toutes, le reprogramme de notre corps et peut-être même la fin de la mort. Ces deux transformateurs du jeu, et leurs voisins (ce que j’appelle les Megashifts), auront un impact énorme sur ce que les humains peuvent et seront dans moins de 20 ans.

 

Devenir Dieu ?

 

Dr. Ray Kurzweil, actuellement directeur de l’ingénierie de Google, a une grande influence sur tous les futuristes et sur mon travail, mais quelqu’un que je dois néanmoins contredire souvent dans ce livre. Kurzweil prédit que les ordinateurs dépasseront la puissance de traitement d’un seul cerveau humain d’ici 2025, et qu’un seul ordinateur pourrait correspondre à la puissance de tous les cerveaux humains combinés d’ici 2050.

Kurzweil suggère que ces développements annonceront l’avènement de la soi-disant singularité, le moment où les ordinateurs l’emportent enfin et surpassent ensuite les cerveaux humains dans la puissance de calcul. C’est le moment où l’intelligence humaine peut devenir de plus en plus non biologique, où il sera possible pour les machines d’aller de manière indépendante et probablement récursive au-delà de leur programmation initiale – un moment décisif dans l’histoire de l’humanité.

Ray Kurzweil a déclaré à son auditoire à l’Université Singularity à la fin de 2015 : «À mesure que nous évoluons, nous nous rapprochons de Dieu. L’évolution est un processus spirituel. Il y a de la beauté, de l’amour, de la créativité et de l’intelligence dans le monde, tout vient du néocortex. Nous allons donc élargir le néocortex du cerveau et devenir plus divins.»

Je crois aussi que l’intérêt des ordinateurs ayant la capacité du cerveau humain n’est pas loin, mais ‐ Dieu ou pas Dieu ‐ contrairement au Dr. Kurzweil, je ne pense pas que nous devrions volontairement renoncer à notre humanité en échange de la possibilité d’obtenir une intelligence non biologique illimitée. Cela me semble être un très mauvais marché, un déclassement plutôt qu’une mise à niveau, et dans ce livre, je vais expliquer pourquoi je crois passionnément que nous ne devrions pas aller sur cette voie. Pour une bonne compréhension du terme "The Singularity".)

À l’heure actuelle, en 2016, les ordinateurs n’ont tout simplement pas l’énergie, les puces sont encore trop grandes, les réseaux n’ont toujours pas la vitesse, et le réseau électrique dans les grands ne supporte pas les machines qui auraient besoin de cette grande puissance. Évidemment, ce sont des obstacles temporaires : presque tous les jours apporte des annonces de grandes avancées scientifiques, et en outre de nombreuses avancées non médiatisées se produisent certainement dans des laboratoires secrets du monde entier.

Nous devons être prêts pour la Singularité : ouverte mais critique, scientifique mais humaniste, aventureuse et curieuse mais armée de précaution, entrepreneuriale mais collectivement.

 

La science-fiction devient un fait scientifique

 

Très bientôt, les machines seront en mesure de faire des choses qui autrefois étaient le seul domaine des travailleurs humains ‐ col bleu et col blanc ‐ comme la compréhension du langage, la reconnaissance d’images complexes, ou l’utilisation de notre corps de manière très flexible et adaptative. D’ici là, nous serons sans aucun doute totalement dépendants des machines dans tous les aspects de notre vie. Nous assisterons également à une fusion rapide de l’homme et de la machine via de nouveaux types d’interfaces telles que la réalité augmentée, la réalité virtuelle et les hologrammes, les implants, les interfaces cerveau-ordinateur et les parties du corps conçues avec la nanotechnologie et la biologie synthétique.

Si et quand des choses telles que des nanobots dans notre circulation sanguine ou des implants de communication dans notre cerveau deviennent possibles, qui décidera de ce qui est humain ? Si (comme je veux dire) la technologie n’a pas (et ne devrait probablement pas) avoir de l’éthique, qu’adviendra-t-il de nos normes, de nos contrats sociaux, de nos valeurs et de nos mœurs quand les machines vont tout pour nous ?

Dans un avenir prévisible, l’intelligence artificielle n’inclurait pas l’intelligence émotionnelle ou les préoccupations éthiques, qui sont certains, parce que les machines ne sont pas des êtres ‐ ce sont des dons. Pourtant, en fin de compte, les machines seront capables de lire, d’analyser et peut-être de comprendre nos systèmes de valeurs, nos contrats sociaux, notre éthique et nos croyances, mais elles ne seront jamais en mesure d’EXIT, ou d’être une partie du monde comme nous le sommes (ce que les philosophes allemands appellent Dasein).

Néanmoins, vivrons-nous dans un monde où les données et les algorithmes triompheront de ce que j’appelle et androrithmes, c’est-à-dire tout ce qui nous rend humain? (oui, je définirai exactement ce qu’un "androrithme" est plus tard dans ce livre – pour l’instant, voir ce que j’ai écrit ces dernières années sur un terme similaire, des "humarithmes".)

Encore une fois, doublant de 4 à ajouter 16 à 32 un lot entier différent de doublement de 0,1 à 0,2. C’est l’un de nos défis les plus difficiles aujourd’hui : nous devons imaginer un avenir de manière exponentielle, et nous devons devenir les intendants d’un avenir dont la complexité pourrait bien aller bien au-delà de la compréhension humaine actuelle. D’une certaine manière, nous devons devenir exponentiellement imaginatifs.

 

Progressivement, puis soudainement

 

Pour moi, cette ligne de «The Sun Also Rises» d’Ernest Hemingway décrit parfaitement la nature du changement exponentiel : «Comment avez-vous fait faillite ? – Deux voies – progressivement, puis soudainement.»

Lorsque l’on pense à créer notre avenir, il est essentiel de comprendre ces mèmes jumeaux d’exponentialité et progressivement puis soudainement, et les deux sont des messages clés dans ce livre. De plus en plus, nous verrons les humbles débuts d’une énorme opportunité ou d’une menace énorme. Et puis, tout d’un coup, soit il est parti et oublié, soit ici, maintenant, et beaucoup plus grand que ce qu’on imagine. Pensez à l’énergie solaire, aux monnaies numériques et à la blockchain, ou aux véhicules autonomes : tout cela a pris beaucoup de temps pour se dérouler, mais tout d’un coup, ils sont là et ils sont en train de rugir. L’histoire nous dit que ceux qui s’adaptent trop lentement ou ne parviennent pas à prévoir les points pivots en subiront les conséquences.

«Attendez et voyez» signifiera très probablement attendre de devenir inutile, ou simplement d’être ignoré, dépassé et de se dérouler. Nous avons donc besoin d’une autre stratégie pour définir et retenir ce qui fait de nous des êtres humains dans ce monde de numérisation rapide.

J’ai tendance à penser que les marchés ne s’autoréguleront pas et traiteront ces questions au moyen d’une «main invisible». Au contraire, les marchés ouverts traditionnels axés sur le profit et la croissance ne feront qu’aggraver les défis de l’humanité par rapport à la technologie parce que ces mêmes technologies sont susceptibles de générer des opportunités d’une valeur de milliers de milliards de dollars par an. Le remplacement des qualités humaines, des interactions ou des particularités par la technologie est tout simplement une trop grande possibilité commerciale de remettre en question. Par exemple, Peter Diamandis, membre du conseil d’administration de Human Longevity Inc., proclame souvent que la longévité croissante créerait un marché mondial de 3,5 billions de dollars. De nouvelles frontières irrésistibles, en effet.

 

main invisible

 

Au-delà du contrôle de mission

 

En fin de compte, nous parlons de la survie et de l’épanouissement de l’espèce humaine, et je crois que ce ne sera pas le cas d’avoir des capital-risqueurs, des marchés boursiers et de l’armée qui dirigent le spectacle par eux-mêmes.

Dans un avenir proche, nous assisterons certainement à des batailles très difficiles entre des visions et des paradigmes opposés du monde avec des intérêts économiques gigantesques face les uns aux autres. Par exemple, maintenant que le pétrole et les combustibles fossiles sont en déclin en tant que force motrice de la politique et des préoccupations militaires, les États-Unis et la Chine sont à l’avant-garde d’une course aux armements en cours technologique. Les nouvelles guerres seront numériques et la bataille est menée pour le leadership dans les changements de jeu exponentielles tels que l’IA, la modification du génome humain, l’IdO, la cybersécurité et la guerre numérique. L’Europe (y compris et surtout la Suisse, où je vis) est quelque peu coincée au milieu, plus préoccupée par ce que beaucoup considéreraient comme de nobles questions telles que les droits de l’homme, le bonheur, l’équilibre, l’éthique, le bien-être durable et collectif. Comme je vais l’expliquer, je crois que répondre à ces préoccupations est en fait notre grande opportunité ici en Europe.

Il y a déjà des tribus mondiales de leaders d’opinion, d’entrepreneurs en série, de scientifiques, de capital-risqueurs et divers gourous de la technologie (et oui aussi, futuristes) qui sont occupés à promouvoir un départ volontaire de l’humanisme. Ces techno-progresseurs nous exhortent à transcender l’humanité» et à embrasser la prochaine étape de notre évolution – qui est, bien sûr, de fusionner la biologie avec la technologie, de modifier et d’augmenter nos esprits et nos corps et, en effet, de devenir surhumain, de mettre fin à la maladie (bon) et même la mort (une quête séduisante mais bizarre, selon moi).

L’intérêt pour cette notion de transhumanisme est en hausse, et c’est pour moi l’un des développements les plus troublants que j’ai observés au cours de mes 15 années d’avenir. À mon avis, c’est une idée plutôt délirante d’essayer d’atteindre le bonheur humain en cherchant à transcender complètement l’humanité par des moyens technologiques.

 

Pour le contexte, voici deux positions contrastées sur le transhumanisme, comme l’a exposé le défenseur du transhumanisme, le protagoniste et candidat à la présidence américaine de 2016 Zoltan Istvan qui a écrit dans son roman de 2013 The Transhumanist Wager :

«Le code en gras du transhumaniste s’élèvera. C’est un fait inévitable et indéniable. Elle est ancrée dans la nature antidémocratique de la technologie et de notre propre évolution téléologique. C’est l’avenir. Nous sommes l’avenir, qu’il aime ou non. Et il doit être moulé, guidé et géré correctement par la force et la sagesse des scientifiques transhumanistes avec leurs nations et leurs ressources derrière eux, les facilitant. Il faut l’appuyer d’une manière qui nous permettra d’y faire une transition réussie, et de ne pas nous sacrifier, soit par son pouvoir écrasant, soit par la crainte d’exploiter ce pouvoir. Vous devez mettre vos ressources dans la technologie. Dans notre système éducatif. Dans nos universités, nos industries et nos idées. Dans le plus fort de notre société. Dans la plus brillante de notre société. Dans le meilleur de notre société. Pour que nous puissions atteindre l’avenir.»

 

...et le philosophe humaniste Jesse I. Bailey. Il écrit dans The Journal of Evolution and Technology :

«Je soutiens qu’en menaçant d’occulter la mort en tant que possibilité fondamentale pour la dasein [existence humaine, le transhumanisme représente le danger de dissimulation de la nécessité de développer une relation libre et authentique avec la technologie, la Vérité, et finalement le dasein elle-même. Les transhumanistes font souvent l’une des deux affirmations suivantes : soit le corps que nous habitons maintenant sera capable de vivre pendant des centaines d’années, soit notre conscience sera téléchargeable dans plusieurs corps. L’une ou l’autre de ces positions (de ces positions (de subtilement, mais surtout, différentes) aliène l’expérience humaine à partir d’aspects centraux de la finitude de l’incarnation. Heidegger localise l’être à la mort en tant que central de l’appel à l’authenticité, et loin de la perte dans le soi (pour lequel l’encadre technologique règne); en menaçant notre conscience de notre propre mortalité, le transhumanisme menace donc d’occulter l’appel à l’authenticité, tout comme il le rend nécessaire.» (Via The Journal of Evolution and Technology, Vol. 24, numéro 2, juillet 2014, p. 44-62.)

  

Pour moi, il est clair que le déterminisme technologique n’est pas la solution et que l’idéologie dominante de la Silicon Valley qui soutient «Pourquoi ne faisons-nous pas simplement sortir de cela, nous amusons beaucoup, gagner beaucoup d’argent tout en améliorant la vie de milliards de personnes avec ces nouvelles technologies étonnantes ?» pourrait s’avérer tout aussi paresseux et dangereux que le luddisme qui est une réaction où les ouvriers en viennent à briser leurs outils de travail. (voir Wikipedia).

Par respectable, contrairement aux vues plutôt cartésiennes ou réductionnistes de certains transhumanistes sur l’avenir de l’humanité, ce livre s’efforcera de définir un état d’esprit et une philosophie de l’âge numérique que j’appelle parfois l’humanisme exponentiel. Grâce à cette philosophie, je pense que nous pouvons trouver une voie équilibrée qui nous permettra d’adopter la technologie mais pas de devenir la technologie, de l’utiliser comme un outil et non comme un but. Pour préserver l’avenir de l’humanité, nous devons investir autant dans l’humanité que dans la technologie. Je pense que si nous voulons un monde qui reste un bon endroit pour les humains, avec toutes nos imperfections et inefficacités, nous devons consacrer des ressources importantes (monétaires et autres) à la définition de ce qu’un nouveau type d’«humanisme exponentiel» pourrait réellement impliquer. Il ne suffira pas d’investir dans les technologies qui promettent de nous rendre super-humains alors que nous montons sur les épaules de machines dont nous ne comprenons plus le fonctionnement. Je crains qu’une explosion exponentielle, incontrôlée et incontrôlée de l’intelligence dans la robotique, l’IA, la bio-ingénierie et la génétique ne conduise finalement à un mépris systématique de certains principes de base de l’existence humaine. La technologie n’a pas d’éthique, mais une société sans éthique est condamnée.

Cette dichotomie naît partout : à peu près tout ce qui peut être numérisé, automatisé, virtualisé et robotisé sera probablement, mais il y a certaines choses que nous ne devrions pas essayer de numériser ou d’automatiser ‐ parce qu’elles définissent ce que nous sommes en tant qu’humains. Ce livre explore où des technologies exponentielles et convergentes pourraient nous emmener dans les dix prochaines années, souligne ce qui est en jeu, et explore ce que nous pouvons faire à ce sujet aujourd’hui. Peu importe votre conviction philosophique ou religieuse, vous conviendrez probablement que la technologie est déjà entrée dans notre vie quotidienne à un degré si omniprésent que tout progrès exponentiel supplémentaire exigera certainement un nouveau type de conversation sur l’endroit où les avancées nous font, et pourquoi. Tout comme la technologie est littéralement sur le point d’entrer dans notre corps et nos systèmes biologiques, il est temps de faire un pow-wow tribal.

 

Merci d’avoir lu ce manifeste, et j’espère que vous participerez activement à cette conversation. S’il vous plaît, interrogez-moi à tout moment avec des commentaires, des commentaires ou des questions.

 

Cher lecteur-lectrice, en tant qu’être humain, je vous invite à prendre part à ce qui pourrait être la conversation la plus importante que notre tribu aura jamais eue – Technology vs. L’humanité. Quel que soit votre point de vue personnel, sur l’échelle mobile allant de la transhumaniste passionnée à la Cassandra de l’ancien monde, le moment est venu de vous joindre à nous et de parler des éléments essentiels qui valent la peine pour vivre – ou même pour évoluer. Ce site web sera bientôt transformé en un forum/communauté où nous pourrons tous débattre et partager de nouveaux contenus. S’il vous plaît, abonnez-vous pour être avertis lorsque nous lancerons cette prochaine itération.

 

Merci.

 

Gerd Leonhard, Zürich, Suisse, juillet 2016

  

  

Autres liens :

Le nouveau livre du futurist Gerd Leonhard’s "TECHNOLOGIE vs. HUMANITÉ" et la page de Gerd Leonhard

Concernant les idées de Gerd Leonhard : essai sur La transformation de l’avenir de l’humanité

  

  

Pour bien se faire une opinion, lisons aussi des textes dithyrambiques vantant les mérites de l’IA :

  

Technologies – L’ère des technosciences est arrivée. Elle repose sur des instruments que l’homme est loin de maîtriser, mais auxquels il accorde toute sa confiance. Il est urgent de débattre de leur contrôle, écrit Solange Ghernaouti, directrice du Swiss Cybersecurity Advisory and Research Group.

 

et de ses démérites :

Le capitalisme libéral serait selon le journaliste Emmanuel Garessus «vertueux», aurait un «cœur», et nous «rendrait meilleurs», demande une réponse de la part de Sami Coll et Myret Zaki Publié dans "Bilan" 17.12.2021

 

 


 

GPT

 

page compilée par G.P.T.

 

Dossiers préparés par ©Georges Tafelmacher & SuisseForum

 

  ce site est hébergé par
LeVillage.Org