11:01
10/8/2015

Artykuł w Forsalu dotyczący autonomicznych samochodów. W części poświęconej zagrożeniom znajduje się nasza wypowiedź. Ponieważ jak to zwykle bywa, wypowiedzi się skraca, poniżej — dla zainteresowanych tym tematem — publikujemy jej pełną treść:

Wszędzie, gdzie obecne jest oprogramowanie, nie tylko w samochodach, mogą wystąpić problemy dwojakiej natury — techniczne i logiczne. Kod obsługujący czujniki w autonomicznych samochodach tworzą ludzie i czasem popełniają błędy. Jeśli programista nie przewidzi jakiejś sytuacji, np. wykrycia rowerzysty jadącego prosto przy skręcie w prawo na skrzyżowaniu, może dojść do wypadku. Jest to błąd człowieka – twórcy systemu.

Może się jednak zdarzyć tak, że zawiedzie sama technologia. Informatyka zna przypadki tzw. zmiany bitu wywołanej np. z powodu przegrzania układu pamięci urządzenia lub uderzenia cząstek wchodzących w skład promieniowania kosmicznego. Taka zmiana zapisu informacji może spowodować inne niż zamierzone działanie danego układu — niektórzy wykorzystują to do zarabiania na domenach internetowych (por. https://niebezpiecznik.pl/post/bitsquatting-czyli-promieniowanie-kosmiczne-i-bledy-w-nazwach-domen/) lub przejmowania kontroli nad serwerami (por. https://niebezpiecznik.pl/post/row-hammer-czyli-przelomowy-atak-na-pamiec-ram-prowadzacy-do-przejecie-kontroli-nad-systemem/)

Jest jeszcze jeden problem… jeśli ktoś wie jak wygląda algorytm podejmowania decyzji przez samochód (rozpoznawanie znaków, świateł na skrzyżowaniach, gabarytów okolicznych pojazdów) może próbować go “ograć”, np. podstawiając swój fałszywy znak ograniczenia prędkości. Samochód będzie musiał się do niego zastosować, podczas gdy człowiek w takiej sytuacji byłby w stanie np. rozpoznać, że znak jest z tektury, a wartość ograniczenia prędkości do 10 km/h w tym miejscu nie ma sensu i jest żartem studentów z akademika obok.

Nie wpadałbym jednak w panikę — na razie jednak wszystko wskazuje na to, że samochody autonomiczne są bezpieczniejsze na drogach niż te prowadzone przez człowieka (por. http://www.forbes.com/sites/brookecrothers/2015/06/08/google-now-reporting-driverless-car-accidents/), a wypadki które się zdarzają wynikają głównie z powodu ludzi a nie maszyn. Dokładnie tak było w przypadku Volvo, którego kierowca nie zapłacił za system wykrywania pieszych, a chciał go przetestować: http://fusion.net/story/139703/self-parking-car-accident-no-pedestrian-detection/

Przeczytaj także:

Ten wpis pochodzi z naszego linkbloga *ptr, dlatego nie widać go na głównej.
*ptr możesz czytać przez RSS albo przez sidebar po prawej stronie serwisu.

16 komentarzy

Dodaj komentarz
  1. Dokładnie to, co zwykle przy tych informacja piszę w komentarzach. Nie da się tak zaprogramować systemu, by był w stanie przewidzieć nietypowe sytuacje i zachowania innych uczestników ruchu. Jeżeli do pasów zbliża się pieszy to nigdy system nie oceni, czy on nas widzi czy nie i czy wtargnie na pasy czy nie. Kierowca się w ostateczności zdąży zatrzymać.
    Zresztą wiemy, że tych kilka autonomicznych samochodów Googla miało 14 wypadków w ciągu roku i wszystkie nie z ich winy. Jak dla mnie to strasznie dużo! Przypuszczam, że przynajmniej większość z nich można by uniknąć, gdyby algorytm oprogramowania umiał przewidywać sytuacje.

    • Pomyśl ile mógłbyś ogarnąć kierując autem w sytuacji zagrożenia, gdyby każda sekunda trwała dla Ciebie ok. kwadransa? A mniej wiecej tyle czasu ma procesor przetwarzający informacje z sensorów na temat sytuacji na drodze przy próbkowaniu 1000Hz… Kwestia algorytmów, bo pewnie temat situation-awarness po stronie czujników, oraz driving-response już dawno zostały dostatecznie opanowane. Kiedy oprogramowanie dojrzeje (a stanie sie tak na pewno) żaden człowiek nie będzie mieć szans w konkurencji z takim systemem – tak samo w temacie bezpiecznej jazdy, jak i np. wyścigów (coś jak Kasparov vs. Deep Blue, tylko bardziej ze wskazaniem na maszynę). A kiedy technologia trafi do wojska i np. celowanie ogniem będzie kierował komputer, to szanse z nim będą podobne jak w grze komputerowej przeciwko cheaterowi z aimbotem :) (firma z Korei Poudniowej sprzedaje takie wieżyczki do instalowania np. na przejściach granicznych, które zdejmują intruzów z, bagatela, 3km):

      http://singularityhub.com/2010/12/16/south-koreas-robot-machine-gun-turret-can-see-you-coming-3-km-away/

      …i jeszcze taka ciekawostka, która się znalazła przy okazji:

      http://singularityhub.com/2010/07/25/armed-robots-deployed-by-south-korea-in-demilitarized-zone-on-trial-basis/

    • A może samochód nie powinien być na tyle sam autonomiczny a samochodami powinno sterować się centralnie – z chmury – tak jak światła na skrzyżowaniach, elementy nawigacji itp. Wyobraźmy sobie miasto, w którym:
      – nie ma samochodów kierowanych przez ludzi
      – samochody są traktowane jak “winda-taksówka” która ma nas zawieść z punktu A do punktu B
      – podczas jazdy możemy pracować, zjeść obiad, poczytać gazetę…
      – samochodami steruje centralny system, który automatycznie kontroluje ruch tak by nie było korków, wypadków i każdy pojazd dojechał na czas.
      – przejścia dla pieszych nie ma – jeśli pieszy zbliża się do jezdni samochód się zwalnia lub zatrzymuje i go przepuszcza – jeśli będzie poruszać się wolno 30km/h to pasażerowie tego nawet nie odczują…

      Coś czuję, że samochody jakie znamy za 20-30 lat będą dla nas hobby takim samym jak jada konno :-)

    • A teraz ty wyobraź sobie że jakaś grupa muzułmanów przejmuje kontrolę nad tą domniemaną chmurą i puszcza wszystkie auta przez jeden punkt (po odbiór bomby).
      I w jednej chwili miasto sobie było a w drugiej jest jedno wielkie pobojowisko bez żywej duszy na ulicach.
      Pozdrawiam…

    • To samo może zrobić już teraz paraliżując sygnalizację świetlną, ruch lotniczy czy sieci energetyczne.
      To czy błąd będzie w oprogramowaniu samochodu czy całej sieci to i tak nie ma znaczenia, bo będzie równie skuteczny.

      To jest inna sprawa – do której pisze Piotrek Konieczny – czyli faktu iż te rozwiązania muszą być lepiej tworzone i zabezpieczane.

  2. Dodam, że uważam, iż na autostradach ten system już można zastosować!

  3. hehehe…

    Placic za wykrywanie pieszych, placic za wykrywanie samochodow, placic za kazda drobna popierdolke w sofice…
    Pomyslec, ze zaczelo sie od platnych DLC do gier…

    Smutne.

  4. Istnieje jeszcze takie zagrożenie dla ich użytkowników: http://xkcd.com/1559/

  5. Jak unikniesz tego, że jak stoisz na światłach ktoś Ci wjedzie w tył? :)
    Zakładając że przed Toba stoi inny samochód, po prawej takze, a po lewej stalowa barierka

  6. Z tym znakiem ograniczającym prędkość lub sugerujący zjazd z drogi mogło by być wykorzystane przez przestępców/terrorystów lub agentów. Przekierowujemy auto na pobocze i przejmujemy auto. Np. konwój z mamoną.

    • A w sumie… po co znaki drogowe? Stworzyć elektroniczną mapę z aktualną organizacją ruchu. Jeśli drogowcy chcą coś zmienić w terenie, to równolegle zmieniają mapę i git. Jeśli jest niezgodność, samochód alarmuje o takiej sytuacji i prosi człowieka o decyzję.

  7. Sądzę, że przemysł samochodowy może wnieść trochę dobrego do technologii redundancji przetwarzania (jakkolwiek drętwo to brzmi). Tak na przykład mikrokontrolery Cortex-R mają funkcję Dual-Core Lock-Step, czyli wykonania tego samego kodu na dwóch rdzeniach. Jeden przetwarza, a drugi sprawdza, czy się zgadza z tym, co powinno być. Trochę jak hardwarowa weryfikacja niezmienników.

    Nie jest to może układ typu “jeśli jeden rdzeń wybuchnie, drugi nadal wie, co ma robić”, ale kto wie?

    • Tego typu redundancja jest obowiązkowa w podobnych mission-critical systemach, z tym że powinny być trzy niezależne komputery robiące cały czas to samo jak w sprzęcie NASA. Problem? Żaden, ta elektronika na tle ceny typowego auta kosztuje śmieszne pieniądze (czasem nie więcej, niż dopłata za koło dojazdowe w pakiecie z nowym autem, LOL!).

  8. Jedna drobna zmian przepisów i samochodzik może służyć tylko jako wygodne fotele do czasu przeprojektowania, wdrożenia i wymiany oprogramowania.
    Paradygmat fałszywego poczucia bezpieczeństwa, podczas gdy bezpiecznie mogą się czuć tylko korporacje…

Twój komentarz

Zamieszczając komentarz akceptujesz regulamin dodawania komentarzy. Przez moderację nie przejdą: wycieczki osobiste, komentarze nie na temat, wulgaryzmy.