В будущем поставщикам программного обеспечения придется нести ответственность за неисправные программы – в том числе и для ИИ. Это может быть дорого и требует обновлений.
Тот факт, что роботы упрощают работу в бизнесе и дома, является темой каждой выставки технологий. Однако в повседневной жизни часто возникают проблемы, связанные с неисправным программным обеспечением. Федеральное правительство планирует инновацию, которая может оказать серьезное влияние на предпринимателей и потребителей.
Подробности читайте после объявления
Пример автоматической системы сортировки ясно показывает это: если все идет по плану, роботы сортируют вращающиеся металлические шарики и перемещают их с помощью магнитов.
Риск – атаки извне. Хакеры могут найти уязвимости в программном обеспечении, передающемся по беспроводной сети, чтобы захватить контроль над промышленным роботом. «Это вмешательство может привести к тому, что пули, как и пистолетные, пролетят через комнату», — говорит промышленный юрист Томас Клиндт из юридической фирмы Noerr, описывая риски с точки зрения компании.
Новое постановление поднимает серьезные вопросы ответственности для поставщиков программного обеспечения. В декабре Федеральный кабинет министров принял законопроект о модернизации закона об ответственности за качество продукции. С далеко идущими последствиями, как подчеркивает Стефани Хубиг, федеральный министр по защите прав потребителей:
«Мы берем на себя ответственность за продукты, соответствующие требованиям цифровой эпохи. Независимо от того, сломается ли железо или программное обеспечение выйдет из строя, ущерб для потребителей будет одинаковым. Вот почему мы распространяем ответственность за продукт на каждый тип программного обеспечения, включая искусственный интеллект».
И мы реагируем на тот факт, что продукты становятся все более и более сложными: мы хотим облегчить пострадавшим возможность доказать ущерб, причиненный дефектной продукцией».
Программное обеспечение ранее не подпадало под действие этих правил ответственности, поскольку оно не является материальным продуктом. Новая директива ЕС теперь изменит это. Министерство подчеркивает, что любому, кто пострадал от дефектного продукта, в будущем будет легче требовать компенсацию.
Подробности читайте после объявления
В будущем программное обеспечение, как правило, должно включаться в ответственность за качество продукции, независимо от того, как оно предоставляется и используется. При этом учитывается цифровизация.
Ответственность за качество продукции может возникнуть в цепочке поставок и стоить компаниям денег. Например, производитель автомобилей может установить датчики одного поставщика, которые работают с программным обеспечением другого поставщика. Если это не удастся, для пострадавших появятся расширенные возможности, подчеркивает адвокат Стефани Фэй из юридической фирмы Freshfields:
«В будущем они смогут выбирать, привлечь ли к ответственности производителя автомобилей, поставщика датчиков или производителя программного обеспечения».
Требования к компаниям растут. Если раньше только производитель автомобиля и производитель тормозной системы считались ответственными за проблемы с тормозной системой автомобиля, то теперь на разработчика программного обеспечения для дистанционного управления также распространяется действие закона об ответственности за качество продукции.
«Фактически, поставщики программного обеспечения обязаны впоследствии предоставлять обновления для своих продуктов, чтобы не нести ответственности за какой-либо ущерб».
Матаус Могендорф, юрист по ответственности за качество продукции
Любой, кто понес материальный ущерб или физическую травму в результате дефектного продукта, во многих случаях сможет получить компенсацию от производителя во многих случаях в будущем. «Мы реагируем на то, что продукция становится все более сложной», — подчеркивает министр Хубиг.
Черный ящик ИИ: объяснимый ИИ должен помочь
Роль искусственного интеллекта в компаниях возрастает. ИИ больше не используется просто для генерации текста, а скорее как инструмент контроля работы или подбора персонала. Возможности, которые открывает ИИ в повседневной работе, растут быстрее, чем можно получить необходимые знания.
Статья 4 Регламента ЕС по искусственному интеллекту требует, чтобы компании прошли квалификацию. Пользователей ИИ необходимо обучить, чтобы они могли оценивать риски. В этом сходятся эксперты. По сей день во многих компаниях это требование игнорируется.
Черный ящик ИИ также занимает ученых. Проблема заключается в недостаточной прозрачности процессов принятия решений в системах ИИ. Логика ИИ зачастую непонятна человеку.
Дхармил Мехта, научный сотрудник Fraunhofer IAO в Штутгарте, описывает проблему следующим образом:
«Представьте, что вы подаете заявку на кредит, и ваша заявка отклонена системой кредитного скоринга, управляемой искусственным интеллектом. Вы задаетесь вопросом, почему ваша заявка была отклонена, но система не дает объяснений. Отсутствие прозрачности может привести к разочарованию и недоверию к системам искусственного интеллекта».
В этом должны помочь методы из области объяснимого ИИ (XAI). «XAI стремится решить эту проблему, разрабатывая методы и инструменты, которые дают представление о процессе принятия решений в модели ИИ», — описал Дхармил Мехта много лет назад. Помимо прозрачности, важна подотчетность:
«Когда ИИ объясним, становится легче обнаруживать ошибки, предвзятости или непредвиденные последствия».
Один из самых простых методов объяснения — определить наиболее влиятельные переменные, на которые опирается модель ИИ для прогнозирования.
Однако сторонники XAI сталкиваются с серьезными проблемами, поскольку часто приходится искать компромисс между сложностью модели и ее объяснимостью. По мнению ученого из Штутгарта, упрощение модели по причинам интерпретируемости может привести к снижению производительности.
Масштабируемость также является большой проблемой, поскольку меньшие модели глубокого обучения часто доступны для записи:
«Но достижения в области искусственного интеллекта, такие как LLM по моделям больших языков, сделали задачу XAI более сложной и трудной».
Дхармил Мехта
Однако самой большой проблемой является корпоративный эгоизм: ИТ-компании вряд ли будут обнародовать свои бизнес-модели, а скорее откажутся раскрывать данные, ссылаясь на «коммерческую тайну».
Персонал постоянно контролируется и оценивается с помощью программного обеспечения.
Еще одно последствие новой технологии редко освещается в средствах массовой информации. Сотрудники компаний испытывают последствия каждый день. Во многих компаниях происходят технические и организационные изменения, о которых давно известно из колл-центров. Технологии позволяют постоянно отслеживать, оценивать и контролировать рабочую силу.
Одним из элементов является автоматическое распределение работы. В зонах контакта с клиентами работники больше не имеют никакого влияния на решение о том, какие рабочие процессы они берут на себя.
Вместо этого поступающая работа автоматически распределяется по личным рабочим корзинам с помощью систем документооборота, а обработка контролируется с точностью до секунды.
С помощью статистических обследований и прогнозирования загруженности и поведения клиентов определяются почасовые нормы объемов работы для контроля за графиками и распределением рабочего времени вплоть до места перерывов.
А данные используются для оптимизации бизнес-процессов. Бизнес-процесс начинается с запроса клиента и продолжается до определения степени его удовлетворенности. Измеряются время обработки, время разговора, время ожидания, время ответа, время выполнения процесса и уровни обслуживания.
На этой основе процессы постоянно измеряются, стандартизируются и контролируются с помощью временных ограничений.
Во многих административных областях новые технологии означают, что существуют формы организации труда, которые в значительной степени полагаются на внешний контроль. Этапы работы очень разбиты, и сотрудникам предоставляется мало возможностей для принятия решений. Результат – демотивация.
