Les Crises Les Crises
1.juillet.20221.7.2022 // Les Crises

Les GAFAM veulent contrôler nos émotions. Peut-on les arrêter ?

Merci 307
J'envoie

Maurice Stucke, auteur et professeur de droit, explique pourquoi les pratiques de Google, Amazon, Facebook et Apple sont si dangereuses et ce qu’il faut vraiment faire pour les maîtriser. Indice : les propositions actuelles ont peu de chances de fonctionner.

Source : Institute for New Economic Thinking, Lynn Parramore
Traduit par les lecteurs du site Les-Crises

Google. Amazon. Facebook. Apple. Nous vivons dans les mondes numériques qu’ils ont créés et, de plus en plus, nous avons peu de chances d’y échapper. Ils connaissent nos personnalités. Ils enregistrent si nous sommes impulsifs ou sujets à l’anxiété. Ils comprennent comment nous réagissons aux histoires tristes et aux images violentes. Et ils utilisent ce pouvoir, qui découle de l’exploitation incessante de nos données personnelles, tous les jours, pour nous manipuler et nous rendre dépendants.

Maurice Stucke, professeur de droit à l’université du Tennessee, fait partie d’une avant-garde progressiste et anti-monopole d’experts qui se penchent sur la vie privée, la concurrence et la protection des consommateurs dans l’économie numérique. Dans son nouveau livre, Breaking Away : How to Regain Control Over Our Data, Privacy, and Autonomy [Se libérer : comment regagner le contrôle sur nos données personnées, notre intimité et notre autonomie, NdT], il explique comment ces géants de la technologie se sont métastasés en « monopoles de données », qui sont bien plus dangereux que les monopoles d’hier. Leur invasion de la vie privée est sans commune mesure avec ce que le monde a jamais vu, mais, comme l’affirme Stucke, leur potentiel de manipulation est encore plus effrayant.

Face au pouvoir massif et sans précédent de ces quatre entreprises, de quels outils disposons-nous pour les défier efficacement ? Stucke explique pourquoi les propositions actuelles visant à les démanteler, à réglementer leurs activités et à encourager la concurrence ne sont pas à la hauteur de ce qui est nécessaire pour faire face à la menace qu’elles représentent non seulement pour nos portefeuilles et notre bien-être individuels, mais aussi pour l’ensemble de l’économie – et pour la démocratie elle-même.

Lynn Parramore : Les grandes entreprises qui collectent et trafiquent les données – les « monopoles de données » comme vous les appelez – pourquoi représentent-elles un tel danger ?

Maurice Stucke : Les gens avaient l’habitude de dire que les entreprises dominantes comme Google doivent être bénignes parce que leurs produits et services sont gratuits (ou à bas prix, comme Amazon) et qu’elles investissent beaucoup dans la R&D et aident à promouvoir l’innovation. Le juriste Robert Bork a soutenu que Google ne pouvait pas être un monopole parce que les consommateurs ne peuvent pas être lésés lorsqu’ils n’ont pas à payer.

J’ai écrit un article pour la Harvard Business Review, dans lequel je revisite ce raisonnement et demande quels dommages les « monopoles de données » peuvent causer. J’ai proposé une taxonomie de la manière dont ils peuvent porter atteinte à notre vie privée, entraver l’innovation, affecter indirectement notre porte-monnaie, et même saper la démocratie. En 2018, j’ai parlé de ces préjudices potentiels devant l’assemblée législative canadienne et je m’attendais à beaucoup de réactions négatives. Mais l’un des législateurs a immédiatement dit : « Ok, alors qu’est-ce qu’on va faire pour ça ? »

Au cours des cinq ou six dernières années, nous avons assisté à un changement radical dans la perception des « monopoles de données ». Les gens avaient l’habitude de dire que la vie privée et la concurrence n’étaient pas liées. Aujourd’hui, on s’inquiète du fait que non seulement ces entreprises technologiques géantes représentent un risque grave pour notre démocratie, mais aussi que les outils actuels pour y faire face sont insuffisants.

J’ai fait beaucoup de recherches et j’ai parlé devant de nombreuses autorités de la concurrence et entendu les propositions qu’elles envisageaient. Je me suis rendu compte qu’il n’y avait pas de solution simple. C’est ainsi qu’est né le livre. J’ai vu que même si toutes les propositions étaient adoptées, il y aurait toujours des lacunes.

LP : Qu’est-ce qui rend les « monopoles de données » encore plus potentiellement nuisibles que les monopoles traditionnels ?

MS : Tout d’abord, ils ont des armes que les monopoles antérieurs n’avaient pas. Un ancien monopole ne pouvait pas nécessairement identifier toutes les menaces concurrentielles naissantes. Mais les monopoles de données ont ce que nous appelons un « radar de prévision ». Cela signifie que, grâce au flux de données, ils peuvent voir comment les consommateurs utilisent les nouveaux produits et comment ces nouveaux produits prennent de l’ampleur, et comment ils se développent. Par exemple, Facebook (FB) avait, ironiquement, une application de protection de la vie privée que l’un des dirigeants a appelé « le cadeau qui ne cesse de rapporter ». Grâce aux données collectées par l’application, ils ont reconnu que WhatsApp était une menace pour FB en tant que réseau social, car il commençait à se transformer en un simple service de messagerie.

Un autre avantage est que même si les divers monopoles de données ont des modèles d’entreprise légèrement différents et traitent de différents aspects de l’économie numérique, ils s’appuient tous sur la même boîte à outils anticoncurrentielle – je l’appelle « ACK – Acquire, Copy, or Kill » [Acquérir, copier ou tuer, NdT]. Elles disposent de mécanismes plus importants pour identifier les menaces potentielles et les acquérir, ou, en cas de refus, les copier. Les anciens monopoles pouvaient copier les produits, mais les « monopoles de données » peuvent le faire d’une manière qui prive le rival de l’échelle, ce qui est essentiel. Et ils disposent de plus d’armes pour tuer les menaces concurrentielles naissantes.

L’autre différence majeure entre les monopoles de données d’aujourd’hui et les monopoles d’autrefois est la portée des effets anticoncurrentiels. Un ancien monopole (autre que, disons, une entreprise de presse), pourrait simplement apporter moins d’innovation et des prix légèrement plus élevés. General Motors pourrait vous offrir des voitures de moins bonne qualité ou moins d’innovation et vous pourriez payer un prix plus élevé. Dans l’industrie de l’acier, vous pourriez avoir des usines moins efficaces, des prix plus élevés, et ainsi de suite (et n’oubliez pas que nous, en tant que société, payons pour ces monopoles). Mais avec les monopoles de données, le préjudice n’est pas seulement pour nos portefeuilles.

Vous pouvez le voir avec FB. Il ne s’agit pas seulement d’extraire plus d’argent de la publicité comportementale, mais aussi de l’effet que leurs algorithmes ont sur le discours social, la démocratie et l’ensemble de notre économie (les Facebook Files du Wall Street Journal ont vraiment mis cela en évidence). Les dommages causés à notre bien-être sont considérables.

LP : En quoi la publicité comportementale est-elle différente de la publicité ordinaire ? Une publicité pour une barre de chocolat veut que je modifie mon comportement pour acheter plus de barres de chocolat, après tout. Qu’est-ce que cela signifie pour une entreprise comme Facebook de vendre la possibilité de modifier le comportement d’une adolescente ?

MS : La publicité comportementale est souvent présentée comme un simple moyen de nous proposer des publicités plus pertinentes. On pense que les gens ont des exigences et des désirs préconçus et que la publicité comportementale consiste simplement à leur proposer des publicités plus pertinentes et plus réactives. Mais le changement avec la publicité comportementale est que vous ne vous contentez plus de prédire le comportement, vous le manipulez.

Disons qu’une adolescente va entrer à l’université et a besoin d’un nouvel ordinateur portable. FB peut la cibler avec des ordinateurs portables pertinents qui répondraient à ses besoins particuliers, en réduisant ses coûts de recherche et en l’améliorant en conséquence. Ce serait bien – mais nous n’en sommes pas là. Les innovations visent à comprendre les émotions et à les manipuler. Une adolescente pourrait être ciblée non seulement par des publicités, mais aussi par des contenus destinés à accroître et à maintenir son attention. Elle commencera à être inondée d’images qui tendent à renforcer sa croyance en son infériorité et à la faire se sentir moins en sécurité. Son bien-être s’en trouve réduit. Elle devient plus susceptible d’être déprimée. Chez certains utilisateurs d’Instagram, on constate une augmentation des pensées suicidaires.

Et il n’y a pas que les monopoles de données. Les applis de jeux d’argent sont orientées vers l’identification des personnes sujettes à la dépendance et les manipulent pour qu’elles jouent. Ces applications peuvent prédire combien d’argent elles peuvent gagner avec ces personnes et comment les inciter à revenir, même lorsqu’elles ont des difficultés financières. Comme le dit un avocat, ces applications de jeu transforment la dépendance en code.

C’est très inquiétant, et cela va encore s’aggraver. Les monopoles de données passent de la réponse à des demandes préconçues à la stimulation et à la création de demandes. Ils demandent, qu’est-ce qui va vous faire pleurer ? Qu’est-ce qui vous rendra triste ? Microsoft a mis au point une innovation qui consiste à utiliser une caméra pour suivre les événements qui vous font éprouver des émotions particulières, ce qui permet d’obtenir une vue personnalisée des stimuli pour des individus particuliers. C’est comme si je frappais votre jambe ici, je peux obtenir ce réflexe. Il y a un dicton marketing, « Si vous les faites pleurer, vous les faites acheter. » Ou, si vous êtes le type de personne qui réagit aux images violentes, on vous enverra sur un marché ciblé sur votre psyché pour induire le comportement d’acheter, disons, une arme.

Ce qui est effrayant dans tout cela, c’est que ces outils ne sont pas réservés à la publicité comportementale ; les partis politiques utilisent des outils similaires pour influencer le comportement des électeurs. On en a un aperçu avec Cambridge Analytica. Il ne s’agissait pas seulement de cibler un individu avec un message sur mesure pour l’inciter à voter pour un candidat particulier ; il s’agissait de cibler d’autres citoyens qui n’étaient pas susceptibles de voter pour votre candidat afin de les dissuader de voter. Nous avons déjà vu dans les fichiers FB que les algorithmes créés par les monopoles de données amènent également les partis politiques à faire des messages plus négatifs parce que c’est ce qui est récompensé.

LP : Jusqu’où pensez-vous que la manipulation peut aller ?

MS : La prochaine frontière consiste à lire réellement les pensées des individus. Dans un livre à paraître avec Arial Ezrachi, How Big Tech Barons Smash Innovation and How to Strike Back [Comment les barons de la technologie écrasent l’innovation et comment répliquer, NdT], nous parlons d’une expérience menée par l’Université de Californie, San Francisco, où pour la première fois ils ont pu décoder les pensées d’un individu. Une personne souffrant de paralysie de la parole essayait de dire une phrase, et lorsque l’algorithme décryptait les signaux du cerveau, les chercheurs étaient alors capables de comprendre ce que la personne essayait de dire.

Lorsque les chercheurs demandaient à la personne « Comment allez-vous ? », l’algorithme pouvait déchiffrer sa réponse à partir de son activité cérébrale. L’algorithme a pu décoder environ 18 mots par minute avec une précision de 93 %. Dans un premier temps, la technologie déchiffrera les mots que nous essayons de dire et identifiera à partir de nos schémas cérébraux subtils un lexique de mots et de vocabulaire. Lorsque l’IA s’améliorera, elle décodera ensuite nos pensées. Il s’avère que FB était l’un des contributeurs finançant la recherche – et nous nous demandions pourquoi. Eh bien, c’est parce qu’ils préparent ces casques pour le métavers qui non seulement transmettra probablement toute la violence et les conflits des médias sociaux, mais pourra potentiellement décoder les pensées d’un individu et déterminer comment il aimerait être perçu et se présenter dans le métavers. Il y aura un tout autre domaine de personnalisation.

Nous sommes vraiment dans une course aux armements où les entreprises ne peuvent pas se permettre de désamorcer unilatéralement la situation, car elles perdent alors un avantage concurrentiel. C’est une course pour mieux exploiter les individus. Comme on l’a dit, les données sont collectées sur nous, mais pas pour nous.

LP : Beaucoup de gens pensent qu’une plus grande concurrence aidera à freiner ces pratiques, mais votre étude est assez sceptique quant à l’idée qu’une plus grande concurrence entre les grandes entreprises de plateformes permettra de remédier à bon nombre de ces problèmes. Pouvez-vous expliquer pourquoi vous êtes de cet avis ? En quoi la concurrence elle-même est-elle toxique dans ce cas ?

MS : L’hypothèse est qu’il suffit de contrôler les monopoles de données, voire de les démanteler ou de réglementer leur comportement, pour que notre situation s’améliore et que notre vie privée soit renforcée. Il y avait, dans une certaine mesure, une plus grande protection de notre vie privée lorsque ces monopoles de données en étaient encore à leurs débuts. Lorsque MySpace était encore un facteur important, FB ne pouvait pas se permettre d’être aussi rapace dans sa collecte de données qu’il l’est maintenant. Mais aujourd’hui, toute la chaîne de valeur repose sur l’extraction de données pour manipuler le comportement. Même si la concurrence s’intensifie, rien ne garantit que nous en tirerons profit. Au lieu d’avoir Meta, nous pourrions avoir FB séparé d’Instagram et de WhatsApp. Eh bien, vous auriez toujours des entreprises dépendant des revenus de la publicité comportementale qui se feraient concurrence pour trouver de meilleurs moyens de nous attirer, de nous rendre dépendants, puis de manipuler notre comportement. Vous pouvez voir comment cela s’est passé avec TikTok. L’ajout de TikTok au mélange n’a pas amélioré notre vie privée.

LP : Donc un joueur de plus ne fait qu’ajouter une attaque de plus sur votre vie privée et votre bien-être ?

MS : C’est exact. Ariel et moi avons écrit un livre, Competition Overdose, dans lequel nous explorons les situations où la concurrence peut être toxique. Les gens ont tendance à penser que si le comportement est pro-concurrentiel, il est bon, et que s’il est anti-concurrentiel, il est mauvais. Mais la concurrence peut être toxique de plusieurs façons, par exemple lorsqu’il s’agit d’une course vers le bas. Parfois, les entreprises ne peuvent pas désamorcer unilatéralement la situation, et en ajoutant simplement plus d’entreprises au mélange, vous allez avoir une course plus rapide vers le bas.

LP : Certains analystes ont suggéré que donner aux gens des droits de propriété plus larges sur leurs données aiderait à contrôler les entreprises de big data, mais vous êtes sceptique. Pouvez-vous expliquer les sources de vos doutes ?

MS : Un marché qui fonctionne correctement nécessite que certaines conditions soient réunies. Lorsqu’il s’agit de données personnelles, plusieurs de ces conditions sont absentes, comme l’explore le livre.

Tout d’abord, il y a le déséquilibre des connaissances. Les marchés fonctionnent bien lorsque les parties contractantes sont pleinement informées. Lorsque vous achetez une vis dans une quincaillerie, par exemple, vous connaissez le prix avant de l’acheter. Mais nous ne connaissons pas le prix que nous payons lorsque nous transmettons nos données, parce que nous ne connaissons pas toutes les façons dont nos données seront utilisées ni le préjudice qui pourrait en résulter pour nous. Supposons que vous téléchargez une application apparemment gratuite, mais qui collecte, entre autres, votre géolocalisation. Aucune liste de contrôle ne dit que ces données de géolocalisation pourraient potentiellement être utilisées par des harceleurs ou par le gouvernement ou pour manipuler vos enfants. Nous ne le savons tout simplement pas.

Nous nous lançons dans ces transactions à l’aveuglette. Quand vous achetez une boîte de vis, vous pouvez rapidement évaluer sa valeur. Vous multipliez simplement le prix d’une vis. Mais vous ne pouvez pas faire ça avec des points de données. Un grand nombre de points de données peut être beaucoup plus dommageable pour votre vie privée que la somme de chaque point de données. C’est comme essayer d’évaluer un tableau de Georges Seurat en évaluant chaque point. Il faut avoir une vue d’ensemble, mais lorsqu’il s’agit de données personnelles, la seule personne qui possède cette vue d’ensemble est l’entreprise qui collecte ces données, non seulement sur ses propres sites web, mais aussi en acquérant des données de tiers.

Nous ne connaissons donc même pas le préjudice supplémentaire que chaque point de données supplémentaire peut causer à notre vie privée. Nous ne pouvons pas évaluer la valeur de nos données, et nous ne connaissons pas le coût de l’abandon de ces données. Nous ne pouvons pas vraiment dire ensuite, très bien, voici l’avantage que je reçois – je peux utiliser FB et je comprends les coûts pour moi.

Un autre problème est que, normalement, un droit de propriété implique quelque chose qui est excluable, définissable et facile à céder, comme le fait d’avoir un droit de propriété sur un terrain. Vous pouvez mettre une clôture autour et empêcher les autres de l’utiliser. Il est facile d’identifier ce qui vous appartient. Vous pouvez ensuite le céder à d’autres. Mais avec les données, ce n’est pas toujours le cas. Il existe une idée appelée « vie privée en réseau », selon laquelle les choix que font les autres en termes de données qu’ils vendent ou cèdent peuvent avoir un effet négatif sur votre vie privée. Par exemple, vous décidez peut-être de ne pas céder vos données ADN à 23andMe.

Si un proche donne son ADN, votre vie privée sera mise en cause. La police peut regarder une correspondance d’ADN et dire, ok, c’est probablement quelqu’un d’une certaine famille. Le choix de l’un peut avoir un impact sur la vie privée des autres. Ou peut-être quelqu’un publie-t-il sur FB une photo de votre enfant que vous ne vouliez pas voir publiée. Ou encore, quelqu’un vous envoie un message personnel avec Gmail ou un autre service offrant peu de protection de la vie privée. Ainsi, même si vous avez un droit de propriété sur vos données, les choix des autres peuvent avoir un impact négatif sur votre vie privée.

Si nous avons des droits de propriété sur vos données, en quoi cela change-t-il les choses ? Lorsque Mark Zuckerberg a témoigné devant le Congrès après le scandale de Cambridge Analytica, on lui a constamment demandé à qui appartiennent les données. Il n’arrêtait pas de dire que l’utilisateur en était le propriétaire. C’était difficile à comprendre pour les sénateurs, car les utilisateurs n’ont certainement pas consenti à ce que leurs données soient partagées avec Cambridge Analytica pour contribuer à influencer une élection présidentielle. FB peut vous dire que vous êtes propriétaire des données, mais pour parler avec vos amis, vous devez être sur le même réseau que vos amis, et FB peut facilement vous dire : « Ok, vous êtes peut-être propriétaire des données, mais pour utiliser FB, vous allez devoir nous donner un accès illimité à ces données. » Quel choix avez-vous ?

L’écosystème numérique a de multiples effets de réseau par lesquels les gros deviennent plus gros et il devient plus difficile de changer. Si l’on me dit que je suis propriétaire de mes données, il me sera toujours très difficile d’éviter les monopoles de données. Pour effectuer une recherche, je continuerai à utiliser Google, car si je vais sur DuckDuckGo, je n’obtiendrai pas d’aussi bons résultats. Si je veux voir une vidéo, je vais aller sur YouTube. Si je veux voir des photos de la pièce de théâtre de l’école, il est probable qu’elles soient sur FB. Ainsi, lorsque l’inégalité du pouvoir de négociation est si profonde, posséder les données ne signifie pas grand-chose.

Ces monopoles de données tirent des milliards de revenus de nos données. Même si vous donnez aux consommateurs la propriété de leurs données, ces puissantes entreprises auront toujours une forte incitation à continuer à obtenir ces données. Un autre domaine qui préoccupe aujourd’hui les décideurs est celui des « modèles sombres ». Il s’agit en fait d’utiliser l’économie comportementale à mauvais escient. Les entreprises manipulent le comportement dans la manière dont elles encadrent les choix, en mettant en place toutes sortes d’obstacles procéduraux qui vous empêchent d’obtenir des informations sur la manière dont vos données sont utilisées. Elles peuvent rendre très difficile la possibilité de refuser certaines utilisations. Ils font en sorte que le comportement souhaité soit sans friction et que le comportement non souhaité ait beaucoup de friction. Ils vous épuisent.

LP : Vous insistez sur les nombreuses bonnes choses qui peuvent découler du partage des données et qui ne menacent pas les individus. Vous fondez votre argumentation sur ce que les économistes appellent le caractère « non rival » de nombreuses formes de données – que l’utilisation des données par une personne ne porte pas nécessairement atteinte à d’autres bonnes utilisations des données par d’autres. Vous notez comment les entreprises de big data, cependant, s’efforcent souvent de garder leurs données privées d’une manière qui empêche la société de les utiliser pour notre bénéfice collectif. Pouvez-vous nous expliquer votre argument ?

MS : Cela peut se produire à plusieurs niveaux différents. D’une part, imaginez toutes les connaissances dans de nombreuses disciplines différentes qui pourraient être glanées à partir des données de FB. Si les données étaient partagées avec plusieurs universités, les chercheurs pourraient glaner de nombreuses informations sur la psychologie humaine, la philosophie politique, la santé, etc. De la même manière, les données provenant des trackers de fitness pourraient également changer la donne dans le domaine de la santé, en nous donnant de meilleurs prédicteurs de maladies ou de meilleurs identificateurs des choses à éviter. Imaginez toutes les percées médicales si les chercheurs avaient accès à ces données.

À un autre niveau, le gouvernement peut réduire le temps et le coût d’accès à ces données. Considérez toutes les données exploitées sur les sites Web gouvernementaux, comme le Bureau of Labor Statistics. Cela nous ramène à l’idée de John Stuart Mill selon laquelle l’une des fonctions du gouvernement est de collecter des données de toutes les sources, de les agréger, puis de permettre leur diffusion. Ce qu’il a compris, c’est la nature non rivale des données et la façon dont elles peuvent contribuer à l’innovation, à la démocratie et à d’autres aspects bénéfiques.

Ainsi, lorsque quelques entreprises puissantes thésaurisent des données personnelles, elles s’approprient une partie de leur valeur. Mais une grande partie de la valeur potentielle n’est pas exploitée. Cela est particulièrement problématique lorsque les innovations en matière d’apprentissage profond pour l’IA nécessitent de grands ensembles de données. Pour développer cette technologie d’apprentissage profond, il faut avoir accès aux ingrédients bruts. Mais ceux qui possèdent ces grands ensembles de données les donnent de manière sélective aux institutions pour les recherches qu’ils souhaitent. Cela conduit à la création de « nantis » et de « démunis » en matière de données. Un monopole des données peut également affecter le chemin de l’innovation.

Une fois que vous voyez l’accumulation de données, vous voyez que beaucoup de valeur pour la société est laissée de côté.

LP : Donc, avec les monopoles de données, les choses socialement utiles qui pourraient découler de la collecte de données personnelles sont bloquées tandis que les choses socialement nuisibles sont poursuivies ?

MS : Oui. Mais le fait que les données ne soient pas rivales ne signifie pas nécessairement que nous devrions donner les données à tous ceux qui peuvent en tirer de la valeur. Comme le livre l’explique, beaucoup de personnes peuvent tirer de la valeur de vos données de géolocalisation, y compris les harceleurs et le gouvernement qui surveille ses citoyens. Le fait qu’ils en tirent une valeur ne signifie pas que la société dans son ensemble tire une valeur de cette utilisation. La Cour suprême a statué dans l’affaire Carpenter vs United States que le gouvernement doit obtenir un mandat de perquisition étayé par une cause probable avant de pouvoir accéder à nos données de géolocalisation.

Mais l’administration Trump a dit, attendez, pourquoi avons-nous besoin d’un mandat alors que nous pouvons simplement acheter des données de géolocalisation par le biais de bases de données commerciales qui cartographient chaque jour nos mouvements grâce à nos téléphones portables ? Donc ils ont effectivement acheté des données de géolocalisation pour identifier et localiser ces personnes qui étaient dans ce pays illégalement.

Une fois que le gouvernement a accès à nos données de géolocalisation via des sources commerciales, il peut les utiliser à différentes fins. Pensez à la façon dont ces données pourraient être utilisées en rapport avec les cliniques d’avortement. Roe vs Wade a été construit sur l’idée que la Constitution protège la vie privée, ce qui est ressorti de Griswald vs Connecticut où la Cour a formulé un droit à la vie privée pour permettre aux couples mariés d’utiliser le contrôle des naissances. Certains juges estiment maintenant que la Constitution ne dit rien sur la vie privée et qu’il n’existe pas de droit fondamental et inaliénable à celle-ci. Si c’est le cas, les préoccupations sont grandes.

LP : Votre livre est une appréciation critique des récentes lois californiennes et européennes sur la confidentialité des données. Qu’est-ce que vous pensez qui est bon dans ces lois et qu’est-ce que vous pensez qui n’est pas utile ?

MS : La loi californienne de 2020 sur le droit à la vie privée était définitivement une avancée par rapport à la loi de 2018, mais elle ne nous permet toujours pas d’aller jusqu’au bout.

L’un des problèmes est que la loi permet aux clients de se retirer de ce qu’on appelle la « publicité comportementale intercontexte. » Vous pouvez dire : « Je ne veux pas d’un cookie qui me suit lorsque je passe d’un site Web à un autre. » Mais cela n’empêche pas les monopoles de données ou toute plateforme de collecter et d’utiliser des données de première partie pour la publicité comportementale, sauf si elles sont considérées comme des informations personnelles sensibles. FB peut donc continuer à collecter des informations sur nous lorsque nous sommes sur son réseau social.

En fait, cela va faire pencher la balance encore plus en faveur des monopoles de données, car les petits acteurs doivent désormais compter sur le suivi de plusieurs sites Web et sur les courtiers en données pour collecter des informations, car ils ne disposent pas d’autant de données de première main (données qu’ils collectent directement).

Prenons un exemple. Le New York Times va disposer de bonnes données sur ses lecteurs lorsqu’ils lisent un article en ligne. Mais sans trackers tiers, il ne disposera pas de beaucoup de données sur ce que font les lecteurs après avoir lu l’article. Ils ne savent pas où les lecteurs sont allés – quelle vidéo ils ont regardée, quels autres sites web ils ont visités.

Comme nous passons plus de temps dans les écosystèmes des monopoles de données, ces entreprises vont avoir plus d’informations sur notre comportement. Paradoxalement, le fait de refuser la publicité comportementale inter-contexte va profiter aux acteurs les plus puissants qui collectent davantage de données de première main – et il ne s’agit pas de n’importe quelles données de première main, mais de celles qui peuvent les aider à mieux manipuler notre comportement.

L’argument du livre est donc que si nous voulons vraiment faire les choses correctement, si nous voulons réajuster et retrouver notre vie privée, notre autonomie et notre démocratie, alors nous ne pouvons pas nous contenter des outils existants de la politique de concurrence. Nous ne pouvons pas nous fier uniquement aux nombreuses propositions de l’Europe ou d’autres juridictions. Elles sont nécessaires mais pas suffisantes. Pour redresser la barre, nous devons aligner les politiques de protection de la vie privée, de la concurrence et des consommateurs.

Il y aura des moments où la vie privée et la concurrence entreront en conflit. C’est inévitable, mais nous pouvons minimiser ce conflit potentiel en commençant par harmoniser les politiques. Une façon de le faire est de s’assurer que la concurrence que nous obtenons est une forme saine de concurrence qui nous profite plutôt que de nous exploiter. Pour ce faire, il s’agit de s’attaquer à la publicité comportementale. Si vous voulez corriger ce problème, vous devez vous y attaquer. À ce jour, aucune proposition politique ne s’est vraiment attaquée à la publicité comportementale et aux incitations perverses qu’elle crée.

Lynn Parramore – Analyste de recherche senior, INET

Source : Institute for New Economic Thinking, Lynn Parramore, 31-05-2022

Traduit par les lecteurs du site Les-Crises

Nous vous proposons cet article afin d'élargir votre champ de réflexion. Cela ne signifie pas forcément que nous approuvions la vision développée ici. Dans tous les cas, notre responsabilité s'arrête aux propos que nous reportons ici. [Lire plus]Nous ne sommes nullement engagés par les propos que l'auteur aurait pu tenir par ailleurs - et encore moins par ceux qu'il pourrait tenir dans le futur. Merci cependant de nous signaler par le formulaire de contact toute information concernant l'auteur qui pourrait nuire à sa réputation. 

Commentaire recommandé

Urko // 01.07.2022 à 08h11

Google, dur d’y échapper tant sa domination paraît totale et ses services de qualité, ne l’oublions pas, mais Facebook, rien n’oblige à s’y inscrire : je n’ai ainsi pas de compte sur ce réseau social et a priori, je parviens toujours à respirer, à m’alimenter normalement, à avoir des relations humaines, à me déplacer… Apple, idem : se passer de ses produits n’a rien d’un exploit. Quant à Amazon, je n’y ai jamais rien acquis et là encore, je n’en ai pas attrapé la peste bubonique pour autant. En clair : il est à la portée de chacun de se passer de ces applications, réseaux sociaux, services. Cela ne présente pas la moindre difficulté. Et dissuader son entourage de se livrer à ces addictions d’une futilité consternante ne représente pas un défi si compliqué.

24 réactions et commentaires

  • Urko // 01.07.2022 à 08h11

    Google, dur d’y échapper tant sa domination paraît totale et ses services de qualité, ne l’oublions pas, mais Facebook, rien n’oblige à s’y inscrire : je n’ai ainsi pas de compte sur ce réseau social et a priori, je parviens toujours à respirer, à m’alimenter normalement, à avoir des relations humaines, à me déplacer… Apple, idem : se passer de ses produits n’a rien d’un exploit. Quant à Amazon, je n’y ai jamais rien acquis et là encore, je n’en ai pas attrapé la peste bubonique pour autant. En clair : il est à la portée de chacun de se passer de ces applications, réseaux sociaux, services. Cela ne présente pas la moindre difficulté. Et dissuader son entourage de se livrer à ces addictions d’une futilité consternante ne représente pas un défi si compliqué.

      +22

    Alerter
    • Orhan // 01.07.2022 à 13h08

      Non. Vous faites de votre cas particulier, de votre individu, une généralité de l’espèce humaine, ce qu’il n’est pas. Le recul qu’on peut avoir sur la technologie, l’utilisation qu’on peut en faire ou non, comme beaucoup d’autres choses, dépendent de facteurs aussi divers que le degré d’éducation, le niveau de vie, les relations, votre milieu social, etc, etc.

      Il n’est donc pas à la portée de chacun, puisque encore faut-il en avoir conscience. Si on n’en a pas conscience, comment peut-on avoir l’idée de s’en défaire ?

      La responsabilité individuelle ne marche pas quand il s’agit de comportements massifs. Vous êtes au mieux une anomalie statistique, vous pouvez en être fier (quoique a priori pas tant que ça puisque vous utilisez Google en vous justifiant en parlant de « services de qualité ») si ça arrange votre conscience, mais vos efforts seront vains.

        +11

      Alerter
      • jp // 01.07.2022 à 15h28

         » Vous êtes au mieux une anomalie statistique » il n’est pas le seule !

        Franchement, vivre sans gogole amaz et cie, ce n’est pas si difficile non ?
        c’est comme pour la drogue, il ne faut pas commencer, ce dont on n’a pas l’habitude ne manque pas.

        « FB peut la cibler avec des ordinateurs portables pertinents qui répondraient à ses besoins particuliers »
        au vu des spams que je reçois, ça me fait rire, (pour FB je ne sais pas) : « on » ne connait ne mon age ni mon sexe !

        Je pense que c’est plus lié à une culture familiale : on ne raconte pas sa vie à tout le monde ni en vrai ni sur internet (un reste de la Résistance, moins on en dit, moins on risque..)
        . Mes enfant font comme moi : pas de tv ni de FB ni autres.

        Les militants d(opposition sont suffisamment prudents pour se défier de ces espions, sauf les gilets jaunes qui ont eu la bêtise de servir de FB, c’est pour cela qu’ils n’ont pas réussi entre autres.

        Et puis l’obfuscation c’est amusant à pratiquer aussi.

          +4

        Alerter
      • Urko // 01.07.2022 à 17h39

        Ouh là, je ne voulais pas évoquer mon cas sinon comme d’une simple illustration de ce qu’il n’apparaît pas si difficile de renoncer à ces gafam (hormis Google, notamment parce que des employeurs utilisent ses services en effet impressionnants). Je maintiens qu’il s’agit d’un objectif à la portée de tout un chacun que de ne pas posséder d’Apple, de ne pas poster sur Facebook, de ne pas acheter sur Amazon. Je n’en tire donc pas de fierté particulière, puisque cela, je réitère, me paraît assez aisé. Essayez, vous verrez : vos facultés vitales ne cesseront pas, et il se peut même que vous en obteniez davantage de temps de qualité. Je ne désespère pas de continuer à en donner l’idée à mes connaissances en tout cas, ce sans exprimer trop crûment ce que je pense de Facebook, ce soda des esprits, qui créé de la mauvaise matière grise comme lez boissons sucrées de la mauvaise graisse.

          +6

        Alerter
        • Linder // 02.07.2022 à 08h58

          En tant qu’enseignant, je peux vous dire qu’il est très difficile d’apprendre à des lycéens ou à des élèves d’IUT à se passer des produits de Microsoft. Dans la région Grand Est, les élèves reçoivent un ordinateur en seconde, avec la suite de Microsoft installée (« gratuitement », mais payé par nos impôts). Les faire repasser à Libre Office est un combat extrêmement difficile, que je perds trop souvent …

            +5

          Alerter
          • Jean // 03.07.2022 à 09h15

            Linder,

            Microsoft réussi à se faire payer par l’État français pour s’assurer un quasi monopole sur le marché des suites bureautiques. C’est moi ou il y a comme une odeur de corruption ?

              +4

            Alerter
        • Cévéyanh // 05.07.2022 à 22h33

          A Urko,
          Au moins, pour le moteur de recherche, nous pouvons nous en passer. Il y a d’autres moteurs de recherche comme le français Lilo respectant les données personnelles (partenariat avec Microsoft Bing et Pages jaunes) qui permet d’acquérir des « gouttes » que nous pouvons attribuer à des associations de notre choix (solidaires, sites de journaux, animaux…) de leur liste. « Vos recherches sur internet génèrent chaque année de l’argent grâce aux liens sponsorisés et aux annonces présentes en haut de chaque page de résultats. […] Chez Lilo, nous avons décidé de développer un moteur de recherche qui vous permette de reprendre la main sur cet argent en finançant des projets solidaires. Tous les mois 50% de l’argent généré par les recherches internet est ainsi redistribué aux projets solidaires. Les autres 50% servent au bon fonctionnement de Lilo.
          Depuis la création de Lilo, ce sont ainsi 2 700 350 d’euros qui ont déjà permis de financer des projets solidaires. » (https://www.lilo.org/faq/)

          Les Crises (via DiaCrisis), en tant qu’association peut peut-être être candidat pour devenir un projet solidaire sur leur site. Ainsi, cela peut être, en plus, une autre manière d’y contribuer financièrement. Aussi cela peut être une autre manière de le faire connaître.

          De plus, le moteur de recherche Google peut aussi sélectionner les résultats en fonction de l’internaute (âge, sexe, géocalisation…). Ce qui contribue à un effet bulle. Bon Pote le décrit dans son article au paragraphe « Eli Pariser et les filter bubbles » : https://bonpote.com/pourquoi-sortir-de-leffet-bulle-et-des-biais-de-confirmation/

            +0

          Alerter
    • 6422amri // 01.07.2022 à 15h02

      QUAND C’EST GRATUIT SUR INTERNET VOUS TRAVAILLEZ GRATUITEMENT.

      Utilisez-vous Windows ? Oui. Microsoft collecte en permanence ce que vous faites, en arrière-plan. Un téléphone utilisant Android, système qui est la propriété de Google ? Idem.

      Il ne s’agit pas de futilité mais de fétichisme, bien expliquè par Karl Marx.

        +3

      Alerter
      • RGT // 02.07.2022 à 11h50

        Vous feriez mieux de dire « Quand c’est gratuit, c’est toi le produit »…

        J’évite comme la peste tous les produits dont j’ignore la provenance et dont je ne maîtrise pas le comportement.

        Et ça ne date pas d’hier. J’ai commencé à utiliser Linux dans la première moitié des années 90 (version 0.99, distribution YGGDRASIL) car je souhaitais m’émanciper du monopole Micro$oft.

        Puis Internet à la fin des années 90 (c »était le « Far West » à l’époque)…

        Ensuite sont apparus Google puis les réseaux asociaux…

        Désormais nous sommes fliqués par tous les moyens, particulièrement par « nos gouvernements bienveillants » via les croisements de données de fichiers qui devraient être interdits par le « machin » qu’on appelle la CNIL…

        Pour moi, ce danger est bien plus grand que les GAFAM dans notre vie quotidienne, en particulier depuis la création du « dossier médical » censé faciliter le travail des soignants mais qui sera une arme redoutable pour le gouvernement ET les « fuites » vers les assurances et les banques qui pourront utiliser ces données à votre encontre pour accroître leurs profits.

        Sans compter les fuites possibles vers des bonimenteurs de « médecines alternatives » ou des sectes qui profiteront de l’aubaine pour faire du « marketing ciblé » auprès de personnes en situation de faiblesse.

        La centralisation de données diverses facilement accessibles par les dirigeants ou les gros « investisseurs » nous mène directement vers « 1984 2.0 ».

        La seule solution pour s’en prévenir consiste simplement à dynamiter TOUS les datacenters de la planète.
        Vu leur nombre ça ne sera pas facile.

          +4

        Alerter
  • calal // 01.07.2022 à 08h14

    Article interessant. Encore uen fois il faut remercier le site les crises et ob pour leur travail de diffusion de contenus selectionnes et pertinents pour aider le commun des mortels a prendre conscience de la realite du monde qui l’entoure et de ses dangers. Il est beaucoup plus facile de se controler et de se desaliener quand on est conscient de ses biais et des biais des technologies et de la societe qui nous entourent.

    ps1: Il est important que le plus de gens possible comprennent les bases de la psychologie et du marketting pour eviter de se faire manipuler par la publicite comportementale et les reseaux sociaux.
    ps2: les hommes sont anesthesies par la pornographie et les femmes par les reseaux sociaux. et ca c’est une reussite de la publicite comportementale…plus vite on le comprend plus vite on s’en libere…

      +18

    Alerter
    • 6422amri // 01.07.2022 à 14h37

      Vous devriez lire Karl Marx, ce que j’ai fait. Rien de ceci n’est nouveau et rien de ceci n’est le fait de Google ou des autres, dont les idées, les orientations sont tout simplement du capitalisme.

      Une citation de l’ouvrage – Le Capital – pour remettre les choses à leur place – Marx parle du fétichisme de la marchandise, la psychologie (des foules ou individuelle), les réseaux dit sociaux ne sont que des erstaz et non pas l’essentiel.

      Le fétichisme de la marchandise est la théorie développée par Karl Marx dans le chapitre premier de son ouvrage Le Capital, selon laquelle la marchandise aurait la faculté de posséder une valeur par elle-même. Le concept de « fétichisme » est similaire, par certains aspects, à celui d’aliénation dans la pensée de Marx. Le fétichisme de la marchandise désigne le fait que la valeur des produits finit par être attribué à leurs qualités intrinsèques, faisant ainsi oublier qu’ils ont été fabriqués par des hommes. La conséquence de cette illusion est de transformer peu à peu les rapports entre les hommes en simples rapports entre les choses. Le monde des objets, devenu autonome, finit alors par dominer les hommes : c’est une « domination impersonnelle ». Sous le capitalisme, l’argent (étant également une marchandise) devient ainsi une véritable puissance divine dont le pouvoir s’exerce sur l’ensemble des pensées et des actions humaines. Le sociologue hongrois marxiste Georg Lukács parlera à ce propos de la « réification » des rapports sociaux(sachant que la force de travail est également une marchandise selon Marx). Ainsi, le fétiche-marchandise ne concerne pas simplement des objets fixes, mais également des activités (elles-mêmes réifiées, chosifiées).

      Ainsi, cette théorie repose sur son analyse de la notion économique de la valeur ; elle fait comprendre la place qu’occupe la marchandise dans la vie quotidienne et comment par son fonctionnement, le système capitaliste dérobe son fondement à notre compréhension.

      Marx via son concept de fétichisme de la marchandise, fait également un certain parallèle avec les fétichismes religieux antérieurs au capitalisme : « dans le monde religieux, l’homme est dominé par l’œuvre de son cerveau, il l’est, dans le monde capitaliste, par l’œuvre de sa main ».

      On peut se conter de lire les premier livre et pour aller plus loin la lecture des situatiionistes , Guy Ernest Debord principalement, est importante. Ce sont les situationistes qui ont été les véritables inspirateurs de la publicité moderne, de transformer l’objet en spectacle.

      https://fr.wikipedia.org/wiki/Guy_Debord

      On peut ajouter la lecture des ouvrages de Henri Leclerc, philosophe, précurseur de Guy Debord.

      Errata..Il ne s’agit pas de Henri Leclerc mais de Henri Lefebvre – La vie quotidienne dans le monde moderne – ouvrage publié en 1968, en même temps que l’ouvrage séminal de Guy-Ernest Debord – La Société du Spectacle – peu de temps avant les évènements de Mai 1968.

        +9

      Alerter
  • rem4s // 01.07.2022 à 08h27

    Et si on demandait aux collecteurs de données de nous les acheter.
    Je vais sur facebook, je leur laisse accès à mes données, mais il me payent en échange. et pour tout les trackers de même. ca les calmeraient surement sur la collecte…

      +4

    Alerter
    • John V. Doe // 01.07.2022 à 12h35

      Non, la valeur de ces données est énorme mais à terme et en réseau. Et quand il y a une masse de vendeurs inconscients, trop jeunes & incompétents en cette matière ou simplement à court d’argent, c’est l’acheteur en situation de monopole ou d’oligopole qui fait la loi commerciale.

      Sans compter les actions des groupes de pressions, alimenté, par sa sur-richesse, sur les gouvernements pour aménager la loi civile en sa faveur.

      Le deuxième problème est que la fiction légale de l’égalité des parties dans un contrat est corrosivement nocive quand les parties sont à ce point en déséquilibre. C’est alors à la loi de gérer ces échanges. Et elle ne le fait pas ou trop tard et ce pour les raisons expliquées à mon 2e §

        +3

      Alerter
    • jp // 02.07.2022 à 01h36

      même pour des millions je ne donnerais pas d’infos ni de photos de mes enfants sur FB ou un autre de ce genre !

        +4

      Alerter
      • Paul // 03.07.2022 à 10h58

        mais votre famille ou vos « proches » le feront….

          +4

        Alerter
  • 6422amri // 01.07.2022 à 14h29

    Il y a UNE chose essentielle, au-delà des lamentations permanentes sur ce sujet, UN SEUL fait à retemir.

    QUAND C’EST GRATUIT SUR INTERNET VOUS TRAVAILLEZ GRATUITEMENT.

    Cet article cible bien-entendu les firmes américaines, les autres ne font RIEN de différent.

    Il y a une attitude très simple à avoir. PERSONNE ne vous force à utilise Facebook, Whats App, Twitter, Google. PERSONNE ne vous force à utiliser Windows ou Mac OS.

    La responsabilité individuelle existe, il vous appartient de l’exercer.

      +1

    Alerter
    • pseudo // 01.07.2022 à 15h58

      du coup, qd tu switches sur linux tu bosses gratuit ?

      La citation est : qd c gratuit c toi le produit

      > La responsabilité individuelle existe, il vous appartient de l’exercer.

      Dans l’absolu, ce serait bien, mais tu penses que la majorité des gens
      n’a que cela à faire que de prendre du temps,
      1/ se renseigner
      2/ faire le switch
      3/ apprendre le nouveau système
      4/ regretter ce qu’ils avaient avant
      5/ trouver des alternatives

      Ils ont déjà plus le temps de s’oqp de leurs gosses, de leurs parents,
      de leurs politiciens, plongés qu’ils sont à chercher en eux la source
      de leurs malheurs distillés par l’organisation culturel et social.

      Et tant bien même ferait il le switch, il n’est plus du tout évident de dire
      ce que fait précisément un OS libre. Le «  » » »pros » » » » peinent déjà avec leurs
      propres systèmes (c’est un peu technik déso l’audience)
      https://www.youtube.com/watch?v=je5ucbZHks0

      Et de toutes façons, tant bien même, tout serait clean de ce côté,
      l’informatique est « made insecure », ce n’est pas une boutade dont vous devriez rire,
      https://www.youtube.com/watch?v=PJSdIviY9x4

      Alors, pour être réaliste, suggères tu que chaque utilisateur devienne
      un expert en génie logiciel système, option réseau, électronique et reverse engineering.

      diantre.. on doit vivre dans un pays de génies qui s’ignorent ou ya un bug, sûrement des HPI…

      Qu’ils s’oqp déjà de leurs politiciens et tout ira mieux, si c’est encore possible…..

        +5

      Alerter
      • 6422amri // 01.07.2022 à 19h38

        Je n’utilise pas le tutoiement et je fais l’effort d’écrire en français bien que je sois parfaitement anglophone, pas du globish et anglophile. Je n’utilise pas de termes anglophones.

        Linux ?..non. Il n’est nul besoin d’être une génie pour celui-ci, Il existe des distributions ou même un novice sans aucune connaissance, peut installer un système qui possède tout ce qu’il faut à un utilisateur de base, pour faire tout ce qui lui est nécessaire.

        Ni Windows, depuis plus de 20 années, ni Mac OS, un téléphone portable sans Android, sans IOS,

        Cherchez…

        Se plaindre c’est bien, agir c’est mieux.

        Si vous avez du talent (beaucoup) vous pouvez coder, si vous êtes un artiste vous pouvez produire des icones, des thèmes.

        Si vous n’avez rien de tout ceci vous pouvez produire des documentations, utiles à tout le monde.

        On peut aussi former d’autres utilisateurs, recycler des ordinateurs gratuitement pour les moins nantis, etc.

          +8

        Alerter
        • vert-de-taire // 02.07.2022 à 16h25

          C’est la croyance que Micro$oft est simple versus Linux compliqué
          qui permet de dire ces bêtises.

          La propagande des bandits fonctionne.

          Il faut préciser une chose :
          Ce n’est pas en utilisant Linux pas Android etc
          que l’on se débarrassera de l’espionnage généralisé des vies privées.

          C’est en se débarrassant de la puissance des bandits qui le font.
          Il y aura toujours des bandits
          MAIS PAS TOUJOURS AU POUVOIR ..
          .. que nous acceptons.

          Nous les mettons au pouvoir.
          ET nous les aidons en les laissant agir.

          La pub partout c’est la propagande d’une minorité de puissants partout.
          Et l’accepter en la laissant, c’est se laisser dominer.

          SI la CENSURE (des bandits) explose ces temps, c’est bien Qu ILS SONT CONSCIENTS
          que l’expression libre EST un DANGER contre EUX.

          C’est donc qu’ils utilisent le matraquage de la propagande pour nous asservir.
          Et s’il existe une alternative à leur matraquage, leur matraquage RATE.

          C’est donc à nous de refuser non pas les outils et moyens
          MAIS LEUR POUVOIR !

          Accepter que le propriétaire (des moyens de production) décide est a-social, a-démocratique, c’est dictatorial.
          Accepter que nos FAUX représentants décident alors qu’ils ne représentent au mieux qu’une minorité EST se soumettre à l’arbitraire du puissant.
          à l’arbitraire du meilleur propagandiste, le plus riche qui achète du temps, des médias, nos moyens de survie.

            +3

          Alerter
          • vert-de-taire // 02.07.2022 à 16h35

            TOUS nos accès numériques sont d’évidence enregistrés.
            mais pas seulement.

            Donc avoir un téléphone radio EST exploitable.
            Qu’il soit de système X ou Z, chez W ou K.
            Les fournisseurs d’accès participent du pouvoir.
            Idem des box internet. Pas un accès qui ne soit connu de votre fournisseur.

            Idem des cartes de paiment.
            Idem des achats pharmacie (sauf liquide et pour les produits d’épicerie).
            Idem des transports avec abonnement (quasi tous donc) ..
            Idem des usages de l’electricité (Linky),
            etc etc

            Il n’y a PLUS de vie privée possible
            car nous acceptons un pouvoir de propriétaire,
            de dominant.
            Etat ou privé. Cela ne change rien ici vue la collusion et la trahison des élites.

              +3

            Alerter
  • Christian Gédeon // 02.07.2022 à 19h57

    Oh les grands méchants loups😂 . Oui on peut les arrêter et même les arrêter très facilement. On éteint sa tablette et autres engins. Du moins on ne passe pas son temps à la consulter frénétiquement. Et au hasard on lit, on se balade, on fait du sport, on bavarde avec les potes, on jardine, on bricole, on fait de la musique, on va au théâtre etc… pas bien compliqué non? Ceux qui se plaignent sont les scotchés aux réseaux asociaux, les obsédés du clavier! Ils sont leurs propres malheur.

      +2

    Alerter
    • Paul // 03.07.2022 à 10h54

      faux les scotchés ne se plaignent pas

      ils en redemandent ( enfin ceux que je connais )

        +2

      Alerter
  • Hiro Masamune // 03.07.2022 à 10h37

    Si on n’achetait plus les produits de tout les gens qui font de la pub à gogo, ils arrêteraient la pub ?

      +0

    Alerter
  • Paul // 03.07.2022 à 10h52

    L’Homme objet, marchandise comme une autre. Lui restait encore sa pensée.
    Ce tabou étant tombé, Chaînes psychologiques

    Esclavage total.

      +1

    Alerter
  • Afficher tous les commentaires

Les commentaires sont fermés.

Et recevez nos publications