Открытые веса MetalGPT и закрытые данные: как вы оцениваете риск утечки через дистилляцию?
Здравствуйте, спасибо за релиз MetalGPT-1 и открытые веса.
У меня есть вопрос по работе с закрытыми данными и оценке рисков их утечки через модель.
В пресс-релизе вы прямо указываете, что при обучении модели использовали большой массив внутренних, недоступных публично данных (технологические регламенты, протоколы, проектную документацию, отчёты НИОКР и т.п.), а затем выложили полные веса модели в открытый доступ под свободной лицензией.
При этом современные языковые модели, помимо обобщения, демонстрируют способность к запоминанию фрагментов обучающих данных, а также позволяют проводить экспертную дистилляцию доменных знаний (в том числе таргетированно по конкретным технологиям).
Вопросы:
Как именно вы обрабатывали и модифицировали закрытые данные перед обучением (в части числовых режимов, параметров технологических процессов и т.п.), чтобы минимизировать риск того, что эти параметры могут быть восстановлены через целенаправленные запросы или дистилляцию модели другими организациями с отраслевой экспертизой?
Проводили ли вы формальную оценку риска утечки (training data extraction / membership inference / targeted distillation) и можете ли вы поделиться используемым подходом или хотя бы общими результатами такой оценки?
Считаете ли вы, что при наличии открытых весов и доступа к модели профессиональная команда с достаточной предметной экспертизой всё равно не сможет реконструировать существенную часть скрытых технологических знаний? Если да, то за счёт каких конкретно ограничений или мер защиты это достигается?
Спасибо за вопросы
- Данные внутри компании разделяются по уровням доступа, мы оставили часть критичного корпуса полностью вне обучения. Также проводилась замена точных значений на диапазоны или типовые режимы, удалялись или маскировались чувствительные данные
- Да, мы проводили выборочную проверку на training data extraction, подавая промпты, близкие к реальным документам, и проверяли, способна ли она воспроизвести длинные последовательности чисел/фраз, встречавшиеся в исходных документах. Во всех случаях модель давала обобщённые описания, либо предлагала значения, которые лежат в типовых отраслевых диапазонах, известных по открытым источникам
- Мы не считаем, что риск нулевой — в принципе, утечка отдельных фрагментов или чисел возможна, но это маловероятно, так как модель изначально не видела чувствительные данные в чистом виде