46 myśli na temat niedalekiej przyszłości: AI, roboty i zmiany cywilizacyjne

Autor: bayes

Tłumaczenie: Felix, PANews

W artykule systematycznie przedstawiono 46 kluczowych spostrzeżeń dotyczących niedalekiej przyszłości, koncentrując się na skokowym rozwoju algorytmów AI, komercjalizacji inteligentnych łańcuchów dostaw oraz eksplozji robotyki.

Inteligencja

1. Ludzie będą zaskoczeni postępem algorytmów. Cały świat, w tym rynki, rządy, armie, firmy i osoby prywatne, próbuje zrozumieć AI i jego wpływ, opierając się na wydajności produkcji i trendach z przeszłości. Nawet kilka innowacyjnych laboratoriów, które twierdzą, że wierzą w "RSI (rekurencyjne samodoskonalenie)", wydaje się myśleć, że będzie to jak zawsze model biznesowy, tylko z dodaniem agentów. Moim osobistym przypuszczeniem jest, że w zakresie inteligentnej produkcji algorytmy mają jeszcze wiele poziomów (OOMs) do rozwoju, być może (tylko być może) aż 10, ale 4 do 7 wydają się bardziej realistyczne. Teoretycznie możliwe jest również przekroczenie dziesięciu. Jeśli to prawda, to rzeczywistość nie rozwija się tak, jak się wydaje, a ogromny skok jest tuż za rogiem. Cokolwiek wydarzy się wzdłuż tej ścieżki, stanie się znacznie dziwniejsze, niż ktokolwiek mógłby się spodziewać.

2. Jesteśmy na wczesnym etapie startu. AI poprawiające AI może stać się jednym z najważniejszych kamieni milowych w historii. To jest niepewne, ponieważ nie wiemy, jak daleko jesteśmy od fizycznych i obliczeniowych granic inteligencji.

3. Obecnie jesteśmy na etapie startu, a badania nad algorytmami przyspieszają. Zasoby obliczeniowe są nadal ograniczone, ale koszt okazji dla badaczy jest niższy, ponieważ można wysłać agentów do wykonania dowolnych zadań lub pozornie bezsensownych eksploracji. Może to przynieść rezultaty. Wszystkie nowe pomysły niosą ze sobą dług optymalizacyjny, który teraz można spłacić za pomocą niesuperwizyjnego zużycia tokenów. Wiele badań rozszerzających krzywe prawa zostanie przekroczonych.

4. Modele AI, szczególnie te na czołowej pozycji, będą nieustannie się poprawiać. Jedyną prawdziwą barierą jest fizyka. Modele stają się coraz bardziej autonomiczne, coraz mądrzejsze i nieustannie się rozwijają. Matematyka i kod są pokonywane przez "skala + uczenie przez wzmocnienie", a następnie przyjdą inne dziedziny. Różnica między "weryfikowalnym" a "nieweryfikowalnym" jako znaczące rozróżnienie zacznie się zacierać. Z biegiem czasu automatyzacja badań AI i uczenie AI będą wydawać się coraz bardziej powiązane. Efektywność próbek, kreatywność i wszystkie inne ograniczenia zostaną rozwiązane, a następnie zacznie się zbliżać do optymalności algorytmu na dowolną skalę.

5. Uważanie, że długoterminowe agenty zawsze potrzebują równoważnego długoterminowego szkolenia, jest błędne, ponieważ istnieje generalizacja czasowa. Długie zadania nie składają się tylko z długości czasu. To jest związane z błędem akumulacji (1-e)^n LeCuna. W rzeczywistości zachodzi korekcja błędów. Dzieje się to na wielu skalach, od poziomu generacji pojedynczego tokena do długich kroków zadania. Częściowym powodem wzrostu na wykresie METR jest to, że agenci zaczynają osiągać prędkość ucieczki korekcji błędów.

6. Inżynieryjna nauka głębokiego uczenia się jest na horyzoncie. To przyspieszy rozwój algorytmów AI w sposób znacznie przekraczający oczekiwania, chociaż, jak wspomniano powyżej, nie jest jasne, jak daleko ta dojrzałość może sięgać w teorii. Na przykład nauka o niezmienności skali może znacznie zwiększyć skalę i zyski efektywnych eksperymentów, ponieważ eksperymenty przeprowadzane na pojedynczym GPU mogą powiedzieć, jak używać dziesięciu tysięcy GPU.

7. W każdej dziedzinie ludzkiej działalności technologicznej pojawią się przełomowe momenty podobne do "Ruchu 37", ale szybko te momenty będą wydawać się nieistotne. Tak będzie we wszystkich dziedzinach.

8. Moc obliczeniowa będzie nadal rosnąć. Najlepsze maszyny do mnożenia macierzy w dzisiejszych czasach nie osiągnęły jeszcze fizycznych ograniczeń akceleratorów AI. Cyfrowe chipy mają jeszcze wiele możliwości poprawy. Istnieje wiele nowych kandydatów na materiały, których dług algorytmiczny zostanie zautomatyzowany do granic możliwości, ale nadal nie wiadomo, który z nich będzie optymalnym rozwiązaniem AI pod względem przestrzeni/energii/czasu/możliwości produkcji/kosztów. Fotonica i losowy krzem są interesującymi kandydatami, ale również przewiduje się, że punkt osobliwości będzie zaskakujący.

9. Jak dużą postęp laboratoryjny może osiągnąć, częściowo zależy od zysków wynikających z automatyzacji i skali, w tym zysków wynikających z głębokości algorytmu. Jeśli praktyka (i teoria) głębokiego uczenia się pozostanie na płytkim poziomie, to w dłuższej perspektywie główną przeszkodą nie będą algorytmy, ponieważ koszt odkrywania tajemnic jest stosunkowo niski. Ostatecznie destylacja + dane + czas mogą nadrobić skalę mocy obliczeniowej, ale ten proces może być powolny. Jak dotąd wydaje się, że w pewnym stopniu pasuje do obecnej sytuacji, ale nawet wtedy nie ma gwarancji, że tak pozostanie.

10. Jeśli w miarę zwiększania skali rzeczy stają się mniej płytkie, to każda automatyzacja i zwiększenie skali przyniesie ci inne tajemnice algorytmiczne, które będą coraz trudniejsze do osiągnięcia dla innych. To również wydaje się być sytuacją, w której obecnie częściowo się znajdujemy. W każdym przypadku ostatecznie osiągnięty zostanie etap regresji użyteczności marginalnej skali i nasycenia badań. Nie wiadomo, kiedy ten etap nadejdzie. Może być tylko 2 OOM od dzisiejszej pozycji lub 20 OOM. Nikt nie wie.

Inteligentny łańcuch dostaw

1. Moc obliczeniowa będzie w ciągu najbliższych kilku lat wysoce konkurencyjnym zasobem. Jednak w tym czasie zacznie się komercjalizować. Skala będzie się powiększać i działać, a kapitał również przyjdzie, napędzając dalszy rozwój inteligentnego przemysłu. Więcej maszyn do mnożenia macierzy, więcej fabryk półprzewodników i więcej energii nadchodzi. Wąskie gardła inteligentnej produkcji są tylko tymczasowe, nawet jeśli istnieją potencjalne przeszkody ekonomiczne.

2. Natura inteligentnego łańcucha dostaw zmienia się. Obecnie jest on silnie skoncentrowany w laboratoriach. Jednak laboratoria automatyzują swoje kluczowe przewagi: odkrywanie przewag badawczych i algorytmicznych. Gdy to zacznie się dziać, zakładając, że oprogramowanie open source podąży za tym, zwłaszcza w przypadku, gdy laboratoria nie monopolizują modeli badaczy AI, przewaga laboratoriów będzie pochodzić z łatwiejszego dostępu do funduszy, większych zasobów obliczeniowych, specjalnych danych, relacji biznesowych oraz wysokiej jakości produktów. Oczywiście zależy to również od tego, jak ostatecznie zostanie rozwiązany problem głębokości algorytmu oraz innych czynników.

3. Rozproszone szkolenie zmniejszy zapotrzebowanie na budowę pojedynczego centrum danych, a nie-superwielkie centra danych zyskają pewne przewagi. Jednak w przypadku maksymalnej jednorazowej skali działania, nadal nie mogą przewyższyć superwielkich centrów danych.

4. Automatyzowane eksperymenty AI będą w stanie szeroko odkrywać tajemnice algorytmiczne, ponieważ te tajemnice są naturalnie łatwiejsze do rozpowszechnienia niż duże operacje szkoleniowe. Nie jest jeszcze jasne, jak daleko ta tendencja może się rozwinąć, ale oczekuje się, że rozwinie się dość dobrze. Jak wspomniano, podstawowa głębokość głębokiego uczenia się pozostaje nieznana, a jej górna granica zależy od tego.

5. Mimo że te czynniki wydają się sprzyjające, z powodu kosztów obliczeniowych i kosztów okazji, środowisko akademickie i społeczność open source mogą nadal stagnować. Na przykład, czy serwer obliczeniowy GB300 jest bardziej wartościowy dla GLM5.2 czy Fable? Czy bardziej wartościowe jest prowadzenie badań nie na czołowej pozycji w laboratoriach akademickich, czy budowanie Mythos 2 wewnątrz Anthropic? Rynek ostatecznie znajdzie obszary o największym zapotrzebowaniu, a obecnie wydaje się, że zapotrzebowanie laboratoriów jest największe. Oznacza to, że nawet jeśli laboratoria open source mają fundusze, jeśli nie zabezpieczyły jeszcze zasobów obliczeniowych, mogą nadal napotkać poważniejsze problemy z ich niedoborem. Mimo to muszą również zrównoważyć koszty okazji badań z kosztami wynajmu zasobów obliczeniowych.

6. W środowisku, w którym zdolności AI stają się coraz silniejsze (w ciągu najbliższych 0-18 miesięcy), open source może również napotkać trudności na poziomie społecznym, szczególnie w kontekście powolnego postępu w zakresie przyspieszenia bezpiecznego rozwoju (który obecnie rzeczywiście jest powolny).

7. W miarę napływu kapitału do laboratoriów, open source może zacząć się kurczyć. Istnieje problem koordynacji, ponieważ nikt, poza laboratoriami (może także rządem), nie chce, aby powstał monopol, ale jeśli ten problem zostanie rozwiązany i środowisko regulacyjne będzie sprzyjające, sytuacja może się poprawić.

Robotyka

1. Robotyka doświadczy przełomów podobnych do ChatGPT oraz przełomów podobnych do Opus 4.5. Chociaż te dwa przełomy jeszcze się nie wydarzyły, w końcu nadejdą, a dzięki szybkiemu rozwojowi AI, w tym inżynierii systemów fizycznych przyspieszanej przez AI, ich tempo będzie znacznie szybsze, niż się spodziewano. Czas między tymi dwoma przełomami w robotyce prawdopodobnie nie przekroczy trzech lat.

2. Jednak aby naprawdę zwiększyć globalną skalę robotów, może to zająć do 2030 roku lub nawet dłużej. Chociaż produkujemy około 100 milionów samochodów rocznie, roboty humanoidalne są znacznie mniejsze od samochodów. Biorąc pod uwagę, że rocznie produkujemy również 1 miliard smartfonów, jeśli kapitał i algorytmy mogą szybko się rozwijać, to do 2030 roku wydaje się rozsądne produkować około 100 milionów robotów rocznie. Osiągnięcie 10 milionów robotów rocznie na pewno jest możliwe, ponieważ już osiągnięto to na rynku dronów. Doskonałe oprogramowanie może udowodnić wartość małych robotów humanoidalnych, co przyniesie nieskończony kapitał, którego wartość jest proporcjonalna do jakości dowodu.

3. Obecne twarde ograniczenia w rozwoju robotyki znikną, takie jak niska efektywność próbkowania, stosunkowo rzadkie dane, drogie lub skomplikowane projekty mechanicznych rąk i silników, złożone cechy fraktalne świata fizycznego oraz nieudokumentowana wiedza o tym, jak wykonywać codzienne czynności (np. instalacja rur). Model świata wydaje się przydatny, ale to, co dokładnie oznacza, nie jest ważne. Prawo skalowania badań będzie nieustannie rozwijane, aż jego użyteczność spadnie.

4. Globalne zapotrzebowanie na roboty łatwo osiągnie setki miliardów jednostek, zwłaszcza biorąc pod uwagę różne rozmiary. Jest zbyt wiele prac fizycznych, które warto zautomatyzować. Rynek będzie dążył do rozwiązania tego problemu, a ludzie mogą nie przeszkadzać w tym procesie.

Postęp

1. Nauka osiąga automatyzację i wirtualizację. Oznacza to, że większość postępu, jakiego świat potrzebuje, będzie pochodzić z automatyzowanych laboratoriów i symulacji. Obecnie nie jest całkowicie jasne, jakie są obliczeniowe ograniczenia wirtualizacji, ale laboratoria w dziedzinach biologii, nauk materiałowych itp., napędzane przez roboty, usuną wiele wąskich gardeł i w tym procesie będą nieustannie przekraczać zweryfikowane granice wirtualizacji, zwiększając efektywność próbek i netto zyski z materializacji. W zasadzie w każdej dziedzinie połączone zostaną modele sieci neuronowych, explicite symulacje i eksperymenty w rzeczywistym świecie, aby wspólnie poprawić stosunek wydajności do czasu i nakładów w biologii, naukach materiałowych itp.

2. Prawo postępu jest wszędzie. W głębokim uczeniu się nazywane są one prawami skalowania. Trudno przewidzieć, kiedy krzywa S dla jakiejkolwiek danej krzywej osiągnie nasycenie, a także trudno przewidzieć, kiedy pojawi się nowa krzywa S. Należy zrozumieć, że silnik postępu cywilizacji sam podlega prawu postępu. Nasz postęp prawdopodobnie, podobnie jak większość procesów naturalnych, ostatecznie osiągnie stan nasycenia, ale w rzeczywistości nie wiadomo, kiedy to nastąpi. Okres dojrzałości technologii i cywilizacji może być bliski, ale także może być odległy. Jesteśmy w takim historycznym momencie: (a) prawie nie inwestujemy żadnych zasobów w postęp, ale ta sytuacja szybko się zmienia; (b) automatyzujemy bezpośrednio więcej maszyn do poprawy. Jesteśmy w interesującym czasie.

3. Kierunki przyszłego rozwoju: rozszerzanie w górę czy na zewnątrz? Od zera do jednego czy od jednego do n? Jakie postępy w szerokości i głębokości pozwala wszechświat, to pytanie pozostaje otwarte. Szerokość jest łatwiejsza do oszacowania, ponieważ przypomina pytanie: "Ile kroków obliczeniowych pozwalają prawa fizyki od teraz?". Natomiast "głębokość" obliczeń (w szerokim sensie) pozostaje nieznana. W niektórych przyszłych wersjach drzewo technologiczne jest tak głębokie, a obliczeniowy wszechświat tak bogaty, że będziemy nieustannie wynajdywać, odkrywać i ponownie wynajdywać, aż prawa fizyki powstrzymają nas (jeśli rzeczywiście to zrobią). W innych wersjach może być bardziej płaskie; szybko osiągniemy granice płytkiego drzewa technologicznego i stosunkowo łatwo osiągniemy dojrzałość technologiczną, a następnie rozszerzymy się na zewnątrz, aż poczujemy satysfakcję lub prawa fizyki nas powstrzymają.

4. Więcej kapitału i wyższa inteligencja oznaczają bardziej agresywny kapitalizm, co prowadzi do szybszego osiągania równowagi rynkowej. Z biegiem czasu naturalnie doprowadzi to do deflacji i sprawi, że konkurencja w przypadku większości istotnych dóbr (w tym AI, żywności, mieszkań, leków, elektroniki, rozrywki i turystyki) zbliży się do kosztów marginalnych. Oczywiście, pod warunkiem, że nie będzie to proces hamowany. Jednak w niektórych przypadkach mogą wystąpić przeszkody.

5. Przemysł wydobywczy zostanie zautomatyzowany. Transport lądowy, morski i powietrzny również zostanie zautomatyzowany. Fabryki zostaną zautomatyzowane. Pracownicy fabryk zostaną zautomatyzowani. Centra dystrybucji zostaną zautomatyzowane. Cały łańcuch dostaw będzie utrzymywany, ulepszany i skalowany w sposób zautomatyzowany.

6. Ludzie będą mieli pracę przez długi czas. Co do tego, jaki procent populacji będą stanowili ludzie, nie ma jeszcze jednoznacznych wniosków. Ci, którzy twierdzą, że ten procent będzie wysoki, są zbyt pewni siebie, a ci, którzy twierdzą, że wyniesie zero, również. Trudno sobie wyobrazić, jaką wartość ludzie mogą wnieść do wiedzy w pracy opartej na wiedzy. Jeśli superinteligentny lekarz AI będzie dostępny za jedyne 20 USD miesięcznie, z dodatkowymi badaniami na żądanie oraz znaczną poprawą zdrowia dzięki bardziej zaawansowanej technologii medycznej, to zapotrzebowanie na pewne usługi, takie jak lekarze, może znacznie spaść. Jednak z powodu monopolizacji lekarzy, ten monopol może się utrzymać, a zawód lekarza wciąż będzie atrakcyjny. Zapotrzebowanie na rozrywkę może wzrosnąć, ale koszty produkcji spadną, a zapotrzebowanie na umiejętności ludzkie w branży rozrywkowej już znacznie się zmniejszyło. Jednak bardzo troszczymy się o innych, więc być może nadal będziemy się nimi interesować, a zawód aktora stanie się bardziej opłacalny. Sposobem na przemyślenie tego trendu jest zastanowienie się, ile pośredników jest w łańcuchu dostaw od dzisiejszych pracowników do konsumentów. Dla influencerów TikTok liczba pośredników wynosi zero. Dla lekarzy również wynosi zero. A dla pracowników fabryk jest ich wielu. W jakim stopniu praca (a) może być zdecentralizowana, (b) może zostać wyeliminowana przez konkurencję, lub (c) ma charakter wymienny, prawdopodobnie w dużej mierze zdeterminuje jej ostateczny wynik. Ta analiza jest dość złożona, a ten tekst trudno szczegółowo omówić, ale warto zauważyć, że zakłada się, że nie będziemy mieli do czynienia z nagłym załamaniem popytu. Jeśli zbyt wiele osób straci pracę, a wydajność / efektywność rządu nie będzie wystarczająca, aby utrzymać podstawowy dochód dla wszystkich / ubezpieczenie mieszkań, to może dojść do załamania popytu.

7. Związane, ale nie sprzeczne z powyższym punktem jest to, że "permanentna klasa niższa" może rzeczywiście istnieć. W lepszym świecie, jeśli to zjawisko rzeczywiście istnieje, może ono objawiać się jako wysoce ograniczona autonomia, a nie jako poważne ograniczenie dochodów. Dla większości ludzi nie będzie to miało zbyt dużego wpływu, ponieważ nasza autonomia w nowoczesnym społeczeństwie już jest znacznie ograniczona, ale wymaga to psychologicznej adaptacji, która może zająć czas i być związana z cierpieniem.

Kultura i psychologia

1. Psychologia ludzka rozwija się i przystosowuje obecnie wolno, ale to w końcu się zmieni. Kluczowe jest, aby zmiana była pozytywna, co może być trudne dla niektórych osób. Dzięki bogactwu inteligencji i technologii automatyzacji zbudujemy bardziej trwałe mechanizmy psychiczne, które będą mniej związane z ewolucyjnymi problemami adaptacyjnymi, które mamy dzisiaj. Innowacje w psychiatrii i psychologii osiągną poziom rozwoju, który w ciągu kilku dziesięcioleci odpowiada tysiącom lat. Fundamentalny stan ludzkości ulegnie poprawie. Ryzyko związane z prymitywnymi, regresywnymi interwencjami psychologicznymi zostało przesadnie wyolbrzymione, ponieważ będziemy dysponować bardziej wyrafinowanymi i zróżnicowanymi technologiami inżynierii psychologicznej.

2. W świecie pełnym wysokiej niepewności ludzie będą bardziej intensywnie dążyć do władzy, statusu i bogactwa niż kiedykolwiek wcześniej, a w tym procesie chętnie zdradzą swoich współobywateli. Wymyślą różne powody, aby uzasadnić swoje działania jako dobre, a nawet wielkie. Wystarczy rozejrzeć się wokół.

3. W twoim życiu zobaczysz niektóre niewiarygodnie brzydkie czyny.

4. Obecnie istnieje oczywista podwójna moralność: ci, którzy należą do lub mają stać się 0,01% najbogatszych, twierdzą, że AI przyniesie korzyści wszystkim i nie ma powodu do obaw o miejsca pracy, ale jednocześnie mówią, że nie zrezygnują ze swojego bogactwa ani za rok, ani za pięć lat, ani za dwadzieścia lat. Ludzie przejrzeli to i już zaczęli reagować. Należy wyjaśnić, że ja również nie zrezygnuję ze swojego statusu, ale nie sądzę, że wszystko będzie idealne (a nie jestem nawet częścią najbogatszego 0,01%). Dlatego stajemy w obliczu ryzyka budowy niesprawiedliwego świata. Niektórzy martwią się tym problemem, a uważam, że powinniśmy częściej o tym rozmawiać. I musimy jasno zaznaczyć, że amerykańska polityka radzi sobie z tego typu problemami bardzo źle.

5. Musk wydaje się być bardzo prawdopodobnym kandydatem na pierwszego bilionera. Ogólnie rzecz biorąc, nie jest trudno wyobrazić sobie, że w przyszłości zapotrzebowanie na chipy, roboty i statki kosmiczne wzrośnie o 1000 razy, a on prawdopodobnie będzie w stanie zdobyć dużą część tego rynku.

Koordynacja

1. W każdej warstwie społeczeństwa potrzebna jest lepsza koordynacja, co jest oczywiste. Nasze obecne zrozumienie lepszej koordynacji ma pewne wady i ryzyka, ale wydaje się, że dopiero zaczynamy odkrywać jej potencjał.

2. Przynajmniej w kwestii AI, osiągnięcie pewnego poziomu międzynarodowej koordynacji może być dobrym pomysłem. Może potrzebujemy traktatów i liczenia GPU. Można to zaprojektować w taki sposób, aby (a) spowolnić spiralny wzrost wrogiej militarnej i rządowej władzy oraz (b) mieć minimalny wpływ na naukę i inne ważne obszary postępu. Może nie uda nam się tego osiągnąć, ponieważ moc GPU jest zbyt duża. Udało nam się to w przypadku broni jądrowej, ponieważ poza szaleńcami nikt naprawdę nie chce używać broni jądrowej.

3. Możliwość koordynacji przez laboratoria AI w celu wstrzymania lub spowolnienia produkcji AI jest większa niż w 2023 roku. Istnieje wiele kompromisów, ale wartość wstrzymania jest dziś nieco wyższa niż w 2023 roku. Kiedy mamy zautomatyzowane badania (obecnie tylko zautomatyzowane inżynierie), trudno jest uznać, że wstrzymanie byłoby marnotrawstwem.

Władza, przemoc, bezpieczeństwo, wolność

1. Nasz wszechświat może być kruchy. W obecnym świecie mogą istnieć pewne swobody, które nie możemy skoordynować na czas, a jednocześnie nie możemy utrzymać wystarczającej władzy i norm wolności, aby utrzymać prawdę naszego świata (chyba że zastosujemy całkowity nadzór). Zauważ, że w takim świecie gromadzenie władzy jest efektem śliskiej pochyłości. Wiele takich światów może ostatecznie doprowadzić do kłopotów dla większości ludzi. Gdyby to nie było prawdą, byłoby lepiej, ale może to być prawda.

2. Tempo rozprzestrzeniania się AI będzie większe niż zero, niezależnie od wszelkich potencjalnych ograniczeń prędkości. Na świecie jest wiele komputerów, a liczba operacji zmiennoprzecinkowych w stosunku do AI osiągnęła historycznie najniższy poziom. Nie oczekuj, że wszystko zatrzyma się w miejscu.

3. Koncepcja permanentnej klasy niższej oznacza istnienie permanentnej klasy wyższej. Zakłada to, że niektórzy ludzie mają więcej praw, a te prawa często nie mają uzasadnienia. Ich podstawą jest zawsze ukryta lub zrealizowana, oparta na przemocy dominacja. Ale może w świecie z zaawansowanym AI, ludzkość nie będzie miała żadnego uzasadnienia do dominacji, ani żadnych uznawanych osiągnięć lub pozycji przewyższających innych ludzi. Może to nigdy nie stanie się rzeczywistością, ale myślenie o tym problemie może stać się coraz ważniejsze.

4. Instytucje będą poddawane presji transformacyjnej z różnych stron. Istnieje wiele dróg prowadzących do tego wyniku, niektóre pod pretekstem bezpieczeństwa, inne poprzez łagodną ekspansję władzy, której sufitem jest potężne AI + w pełni zautomatyzowany łańcuch dostaw militarnych + w pełni zautomatyzowane uzbrojenie. Potrzebujemy lepszych instytucji.

5. W przyszłości może pojawić się wiele "zero-day vulnerabilities". W dziedzinach takich jak sieci, biologia, infrastruktura, neurony, memetyka, fizyka. Nie rozumiemy w ogóle, jakie korzyści przynosi głębokość algorytmu i spójność w tych dziedzinach, zarówno w zakresie obrony i odporności, jak i w zakresie zniszczenia. Dla najinteligentniejszych ludzi na świecie głębokość algorytmu broni jądrowej nie jest nieosiągalna.

6. Powiązane wskazówki: w drzewie technologicznym mogą istnieć bardzo złe rzeczy. Nic o tym nie wiemy.

7. Ryzyko związane z technologią robotów na dużą skalę obejmuje nie tylko nowe obszary i drogi ataków cybernetycznych, ale także ryzyko rzeczywistego przejęcia i zamachów stanu. Powinniśmy poważnie traktować te ryzyka i starać się je zminimalizować.

8. Wzajemne gwarancje zniszczenia (MAD) opierają się na technologiach XX wieku i początku XXI wieku. W krótkim czasie doświadczymy szybkiej zmiany technologicznej, której skala może odpowiadać rozwojowi przez ostatnie tysiąclecia. To oznacza, że MAD nie jest nieuniknione. Ten problem można rozwiązać, nie jest on absolutnie pewny ani całkowicie rewolucyjny, ponieważ tolerancja na błąd w uzyskaniu decydującej przewagi jest bardzo niska, a nawet może być niemożliwa do osiągnięcia. W przeszłości niektórzy ludzie omawiali ten temat w sposób mało poważny, co uważam za błąd i nieodpowiedzialność. To jeden z najpoważniejszych tematów, które możemy omówić. Ludzie mają prawo się tym martwić, ale uważam, że nadszedł czas, aby stawić czoła temu problemowi.

9. Armie, policja i główne mechanizmy egzekwowania prawa rządu zostaną zautomatyzowane i będą inteligentniejsze niż ludzie. Co to przyniesie, niech każdy oceni sam.

10. Na koniec: laboratoria AI mogą ostatecznie zostać znacjonalizowane. System w USA wydaje się nie być odpowiedni do tego, ale w konserwatywnym lub liberalnym środowisku politycznym istnieje wiele sposobów na osiągnięcie znacjonalizowania, a te drogi wydają się wykonalne. Z zasady te laboratoria mogą współpracować z wojskiem i służbami wywiadowczymi w tle. Posiadanie takiej jednostronnej władzy przez rząd federalny jest również niezwykle niebezpieczne. Posiadanie tej władzy przez prywatne firmy jest inne, ponieważ zazwyczaj nie wdrażają one przemocy bezpośrednio, a prawo im tego zabrania. Nie jestem zwolennikiem znacjonalizowania, ale ten świat jest mylący i wyraźnie staje się coraz bardziej niebezpieczny.

Zastrzeżenie: Niniejsze treści mają wyłącznie charakter informacyjny i służą celom promocyjnym. Nie stanowią porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, wydarzenia online oraz powiązane z nimi informacje nie stanowią rekomendacji, zachęty ani zaproszenia do kupna, sprzedaży, handlu lub dokonywania innych transakcji na aktywach cyfrowych ani do korzystania z jakichkolwiek usług. Kryptowaluty cechują się wysoką zmiennością i mogą prowadzić do utraty środków. Usługi WEEX oraz wydarzenia online mogą nie być dostępne we wszystkich regionach i podlegają obowiązującym przepisom prawa, regulacjom oraz wymogom kwalifikacyjnym. Użytkownik ponosi odpowiedzialność za zapewnienie zgodności korzystania z usług WEEX z lokalnymi przepisami prawa oraz za staranną ocenę ryzyka przed podjęciem jakichkolwiek działań związanych z kryptowalutami.