Построение полного стека осязательного интеллекта от осязательного восприятия, сбора данных до физического интеллекта
Робот Qianju официально представил первую осязательную модель VTLA X - TouchMind V1, а также первый набор данных TacVerse 1k для реального физического взаимодействия.
Выпуск знаменует собой завершение полного технологического и экологического построения робота Qianju от тактильной аппаратной системы, системы сбора данных до активов данных и персональных моделей, что еще больше способствует эволюции тактильного интеллекта от восприятия к роботизированному интеллекту.
01 Следующий уровень физического интеллекта: от модального дополнения до осязательного происхождения
По мере того, как роботы продвигаются к реальным приложениям, полагаться только на визуальные технологии уже трудно для удовлетворения сложных задач. Тем не менее, дополненная тактильная информация часто проходит сквозной путь, чтобы интегрироваться в существующую модель тела, ограничивая верхний предел физической интерактивности.
Столкнувшись с этой точкой отраслевой карты, Qianjue считает, что осязание является ключевой модой для робота, чтобы действительно войти в физический мир, и должно основываться на родной экологии, вокруг реальной сцены сильного контакта для построения полного стека.
Это позволяет роботам не только воспринимать мир, но и понимать и стабильно выполнять сложные физические задачи.
X - TouchMind V1: первая модель осязания VTLA
X - TouchMind V1 - это тактильная модель тела VTLA, основанная на обучении визуальному осязанию мультимодальным данным.
X - TouchMind V1 уделяет больше внимания физическому состоянию после контакта, объединяя визуальные, языковые, тактильные, движущиеся и роботизированные состояния тела для совместного моделирования от понимания задач, генерации действий до управления контактной обратной связью.
Модель использует иерархическую архитектуру, которая соответствует различным уровням реальных роботизированных операций:
System 2: Уровень понимания задач и семантических рассуждений, отвечающий за понимание среды, целей задач и языковых директив, и ответ « Что нужно делать».
System 1: Уровень генерации действий и планирования траектории, генерирующий путь действия в соответствии с визуальным, семантическим заданием и состоянием робота, отвечает « Как делать».
System 0: Интерактивный уровень управления осязанием - телом, в реальном контакте с использованием тактильной и онтологической обратной связи для высокочастотной коррекции, ответ « Как быть стабильным и точным после контакта»
Благодаря этой архитектуре X - TouchMind V1 может не только генерировать последовательность действий, но и понимать скольжение, силу, деформацию, текстуру и контактную стабильность в реальных операциях, а также динамически корректировать действия, тем самым повышая стабильность робота в таких задачах, как тонкая работа, гибкая обработка материалов и интеллектуальный контроль качества.
Для таких задач с богатым контактом Contact - Rich, как переключение, вытягивание, сжатие, интерполяция, контраст, восстановление, цель X - TouchMind V1 заключается не в том, чтобы позволить роботу выполнить демонстрацию действия, а в том, чтобы робот « хорошо работал» стабильно, надежно и без потерь в сложном физическом взаимодействии.
03TacVerse 1k: первые 1000 часов высококачественных мультимодальных данных
TacVerse 1k, выпущенный в синхронизации с X - TouchMind V1, является первым 1000 - часовым высококачественным набором визуально - осязательных мультимодальных физических данных, созданным Qianju для реального физического взаимодействия.
На стороне сбора данных, TacVerse 1k опирается на аппаратную систему для самоанализа и сбора данных, чтобы развязать производство данных от роботизированной онтологии, реализовать развязку мощности, развязку сцены и повторное использование онтологии. Основываясь на этой системе, затраты на сбор данных могут быть снижены более чем на 80%, а эффективность может быть увеличена в 3 - 5 раз, обеспечивая основу для крупномасштабного реального интерактивного осаждения данных.
С точки зрения качества данных, Qianjue самоанализ XTacFlow отвечает за унификацию каналов планирования и сбора данных, поддерживает унифицированный доступ к нескольким устройствам, миллисекундное выравнивание кросс - модального времени, а также обеспечивает более 90% автоматизации обратной передачи данных и последующей обработки, преобразует исходные мультимодальные данные в обучающиеся, отслеживаемые и многоразовые образцы данных и учебные активы.
Структура данных TacVerse 1k изначально совместима с основными роботизированными форматами данных, такими как LeRobot, MCAP, HDF5 и ROS2, и стандартизирует поля расширения тактильного модуля, чтобы данные были доступны не только внутри Qiantize, но и на основе отраслевого обмена, повторного использования и согласования.
Согласно плану, первые 100 - часовые наборы данных TacVerse 1k, охватывающие 40 + реальных сценариев, будут доступны 30 июля. Начиная с августа, заявки на 1000 - часовой набор данных будут открыты партиями, а открытое сотрудничество будет продвигаться через такие платформы, как Alibaba и Hugging Face.
Перед реальными промышленными задачами, продвижение физического интеллекта в масштабе посадки
Синхронизация X - TouchMind V1 с TacVerse 1k ознаменовала начало нового этапа промышленного приземления.
Последующие Qianjue будут сосредоточены на промышленной точной сборке, сборке потребительской электроники, гибкой логистике, интеллектуальном контроле качества, проверке подлинности потребительских товаров, строительстве центра обработки данных и других сценах для проведения многогранного глубокого сотрудничества в отрасли.
Ответственный за Qianju Robotics сказал: « Мы надеемся, что выпуск X - TouchMind V1 и TacVerse 1k будет продолжать приносить пользу отрасли и откроет новую фазу промышленного приземления для « осязания». "
В будущем, Qianjue будет продолжать продвигать технологическую итерацию и теоретическое исследование вокруг « осязательного протоната» и « реальной сцены», чтобы совместно продвигаться вперед с промышленностью.
Робот Qianjue представил первую осязательную модель VTLA X - TouchMind V1 с первым набором визуальных осязательных мультимодальных данных TacVerse 1k