Lookupper - экранный словарь и переводчик для изучения языка c помощью игр

Также доступно в Microsoft Store и в Mac App Store.

TL; DR;

Хотел выучить английский, чтобы поступить в универ, а в итоге придумал программу Lookupper — новый способ улучшать знание языка с помощью игр.

Lookupper — условно-бесплатная программа, с возможностью купить улучшение до Lookupper Pro. Однако, чтобы следовать инструкции в этой статье, достаточно и бесплатной версии.

Предыстория

Несколько лет назад я всерьез так взялся за поступление в иностранный университет. Забрал документы из универа, написал заявление, и записался на сдачу экзамена по английскому языку TOEFL. Все было довольно просто, но вот с экзаменом возникли сложности. Сдав 20 пробных тестов TOEFL, я так и не мог ни разу получить проходные 90 баллов. Нужно было действовать срочно, ибо через 4 недели был запланирован настоящий экзамен. Так началось мое эпическое погружение в языковую срезу, дабы быстро бустануть английский до необходимого уровня.

Началось все с книжек, конечно. Я с детства люблю читать, но теперь мне предстояло полюбить читать на английском языке. Так, я начал качать книжки на свою читался Kindle теперь и на английском. Читать получалось раз в 5 медленнее чем на русском, но через неделю стало лучше, привык что-ли. Сильно выручала функция экранного словаря в Киндле, позволяющая получать значение неизвестных слов прямо в читалке.

В то же самое время я очень залипал в игру Disco Elysium. Это было похоже на зависимость. Я не мог остановиться играть и хотелось пройти её на 100%. Хуже всего то, что играл вместо того, чтобы готовиться к экзамену. Именно тогда и пришла в голову идея программы, которая позже будет называться Lookupper.
Мои мысли в тот момент были примерно такие: "В Disco Elysium же много текста. Можно сказать что это в каком-то роде книга. Так почему бы не переключить игру на английский и не учить язык?

Вдохновившись функцией экранного словаря в Kindle, а также аналогичной функцией в Mac, которая называется Look up words in dictionary, я подумал: "Кто-то же наверняка сделал такой же экранный словарик, и прикрутил к нему OCR (оптическое распознавание символов) что словарик мог работать в играх?" Кажется очевидной идеей, не так ли? Как же я удивился что не нашел ничего подобного в интернете на тот момент. Это был шок. Я подумал что, возможно, такую программу невозможно сделать.

С этого момента я решил сделать такую программу. У меня уже был опыт программирования, но сперва нужно было убедиться, что такую программу возможно создать:
1. Проверил, можно ли распознавать текст в играх и как.
2. Проверил, можно ли вывести какое-нибудь всплывающее окошко поверх игры.
3. И, наконец, убедился, что смогу сделать интеграцию словарей такую, чтобы мне самому для изучения языка нравилось.

В итоге получилась такая программа. Я назвал ее Lookupper, от английского глагола look up, которому нет прямого перевода в русском языке, и который означает что-то вроде "быстро посмотреть информацию о чем-то".

Как учить язык с помощью Lookupper

Нам понадобится: игра, которая поддерживает язык, который мы изучаем, и, собственно, сам Lookupper.

1. Запускаем игру, и переключаем язык игры на английский (или другой, который вы учите).
2. Запускаем Лукапер.
3. Встречая незнакомые слова — наводим на них курсор и наживаем клавиши CTRL+D (по-умолчанию) либо боковую кнопку мыши.
4. Читаем определение слова на английском языке, если всё равно не понятно — раскрываем спойлер с переводом.

Это, собственно, и есть весь метод. Поначалу было тяжко, прохождение игры затягивалось, при этом быстро утомляя. Но где-то через пару недель стало намного проще. Стал больше текста понимать само собой, а лукапить только изредка и в совсем уж непонятных моментах (или когда устал).

Фичи, и почему Lookupper это не очередной экранный переводчик

Программа создавалась прежде всего как экранный словарь для изучения языка, а не просто как переводчик. Постепенно, программа обросла дополнительными фишками именно для изучения языка:

1. Сохранение слов. Слова можно добавлять в личный словарик и экспортировать для запоминания в программы типа Anki.
2. Традиционные офлайн словари. В Лукапере на момент написания этой статьи 70 различных словарей, как толковых (например, Oxford English Dictionary) так и двуязычных (например, англо-русский словарь Мостицкого с аудио).
3. ИИ словарь. Не знаю как вас, а меня бесит в традиционных словарях то, что приходятся каждый раз подбирать подходящее под контекст определение. Поэтому я сделал ИИ словарь, который дает определение слова сразу в текущем контексте игровой ситуации.
4. Аудиопроизношения. Убрал транскрипции (бесят меня со школы), и заменил их качественными аудиопроизношениями.
5. Автопауза в играх. Последняя функция, но не по значению. Позволяет ставить игру на паузу во время лукапа. Полезно чтобы успеть прочесть перевод во время катсцен (как, например, из Baldur's Gate 3 на самом первом скриншоте).

Но у Лукапера есть и проблема — порой программа не может распознать некоторые слова правильн, особенно если фон неоднороден. Но этот аспект постоянно улучшается. Большая надежда на скорый выход новых ИИ-OCR моделей.

Заключение

Хотел просто рассказать про программку, а получился лонгрид, поэтому закончу на этом. Много из того, что я не дорассказал, можно глянуть на сайте Lookupper, а лучше спросите меня в комментариях. Всем удачи.