Khi đang lái xe, sẽ có nhiều trường hợp phiền nhiễu bất khả kháng cản trở như một người đi bộ không tuân thủ đèn giao thông và lao qua đường bất ngờ. Trong những trường hợp bất ngờ, đa số các xe tự lái sẽ không thể kịp phản ứng.