Là một thiết bị thử nghiệm được phát triển bởi các nhà nghiên cứu tại Media Lab của MIT sẽ cho phép người khiếm thị đọc với ngón tay của mình mà không phải học chữ nổi. Thiết bị FingerReader, được gắn trên ngón tay của người dùng, được trang bị một số cảm biến cho phép thiết bị đọc văn bản trên giấy thay cho người đọc.
Trong khi sử dụng máy tính, người dùng khiếm thị có thể sử dụng phần mềm chuyển đổi đoạn văn bẳng sang giọng nói cho các trang web, các tài liệu xử lý văn bản, tập tin PDF và email – nhưng văn bản in lại là một vấn đề khác. FingerReader sẽ chuyển đổi đoạn văn bản thành giọng nói đến với thế giới thực bằng cách hướng dẫn ngón tay người dùng cùng với một dòng văn bản, tạo ra các âm thanh tương ứng trong thời gian thực.
Một sinh viên tốt nghiệp MIT – Roy Shilkrot cho biết phải có sự kết hợp chặc chẽ giữa những gì người dùng nghe được và nơi đặt ngón tay. Đối với người khiếm thị, thiết bị có thể xem là một bản dịch. Chúng có thể dịch bất cứ cái gì mà ngón tay thấy sang âm thanh. Thiết bị cần phản hồi nhanh chóng để duy trì kết nối.
FingerReader chủ yếu dựa vào nguồn cung cấp dữ liệu camera và các thuật toán kết hợp với nó. Khi người dùng đặt ngón tay lên trang web tại nơi bắt đầu dòng mới, các thuật toán này sẽ thực hiện một loạt các dự doán về đường cơ cở của văn bản, dựa trên mật độ nhô lên và xuống của băn bản thường ít dày đặc hơn so với trung tuyến.
Điều này cho phép FingerReader hạn chế sự phỏng đoán cần phải làm cho mỗi khung video mới khi người dùng di chuyển ngón tay. Sau đó, thiết bị có thể dễ dàng hơn trong việc theo dõi từng từ riêng, cắt chúng ra khỏi hình ảnh và gửi đến phần mềm phân tích các ký tự và dịch chúng sang âm thanh ngay tức thì.
Đối với mẫu thử nghiệm, FingerReader được gắn vào một chiếc laptop, tại đó, các tính toán được thực hiện, tuy nhiên nhóm nghiên cứu đang phát triển một phiên bản phần mềm mã nguồn mở sẽ chạy trên các điện thoại Android.
Nhóm nghiên cứu cũng đã thử nghiệm hai phương pháp hướng dẫn ngón tay của người dùng. Các động cơ xúc giác trên đầu và dưới cùng có ngón tay rung lên khi ngón tay người dùng duy chuyển ra khỏi dòng văn bản, cảnh báo người dùng di chuyển ngón tay lên xuống trang; người dùng thử nghiệm hệ thống chứng tỏ không hề ưu tiên cho một cái gì khác, vì vậy nhóm nghiên cứu đã chọn đi với cảm biến âm thanh, bởi vì động cơ xúc giác thêm trọng lượng lớn và số lượng lớn cho thiết bị.
FingerReader cũng có các ứng dụng bên cạnh việc giúp người khiếm thị đọc.
Trong khi sử dụng máy tính, người dùng khiếm thị có thể sử dụng phần mềm chuyển đổi đoạn văn bẳng sang giọng nói cho các trang web, các tài liệu xử lý văn bản, tập tin PDF và email – nhưng văn bản in lại là một vấn đề khác. FingerReader sẽ chuyển đổi đoạn văn bản thành giọng nói đến với thế giới thực bằng cách hướng dẫn ngón tay người dùng cùng với một dòng văn bản, tạo ra các âm thanh tương ứng trong thời gian thực.
Một sinh viên tốt nghiệp MIT – Roy Shilkrot cho biết phải có sự kết hợp chặc chẽ giữa những gì người dùng nghe được và nơi đặt ngón tay. Đối với người khiếm thị, thiết bị có thể xem là một bản dịch. Chúng có thể dịch bất cứ cái gì mà ngón tay thấy sang âm thanh. Thiết bị cần phản hồi nhanh chóng để duy trì kết nối.
FingerReader chủ yếu dựa vào nguồn cung cấp dữ liệu camera và các thuật toán kết hợp với nó. Khi người dùng đặt ngón tay lên trang web tại nơi bắt đầu dòng mới, các thuật toán này sẽ thực hiện một loạt các dự doán về đường cơ cở của văn bản, dựa trên mật độ nhô lên và xuống của băn bản thường ít dày đặc hơn so với trung tuyến.
Điều này cho phép FingerReader hạn chế sự phỏng đoán cần phải làm cho mỗi khung video mới khi người dùng di chuyển ngón tay. Sau đó, thiết bị có thể dễ dàng hơn trong việc theo dõi từng từ riêng, cắt chúng ra khỏi hình ảnh và gửi đến phần mềm phân tích các ký tự và dịch chúng sang âm thanh ngay tức thì.
Đối với mẫu thử nghiệm, FingerReader được gắn vào một chiếc laptop, tại đó, các tính toán được thực hiện, tuy nhiên nhóm nghiên cứu đang phát triển một phiên bản phần mềm mã nguồn mở sẽ chạy trên các điện thoại Android.
Nhóm nghiên cứu cũng đã thử nghiệm hai phương pháp hướng dẫn ngón tay của người dùng. Các động cơ xúc giác trên đầu và dưới cùng có ngón tay rung lên khi ngón tay người dùng duy chuyển ra khỏi dòng văn bản, cảnh báo người dùng di chuyển ngón tay lên xuống trang; người dùng thử nghiệm hệ thống chứng tỏ không hề ưu tiên cho một cái gì khác, vì vậy nhóm nghiên cứu đã chọn đi với cảm biến âm thanh, bởi vì động cơ xúc giác thêm trọng lượng lớn và số lượng lớn cho thiết bị.
FingerReader cũng có các ứng dụng bên cạnh việc giúp người khiếm thị đọc.
- Từ khóa :
- FingerReader
- ,
- camera
- ,
- MIT
- ,
- Media Lab
Gửi ý kiến của bạn
%7Cutmcsr%3D(direct)%7Cutmcmd%3D(none)%3B%2B__utmv%3D773014900.-%3B)