Эта статья представляет собой серию статей о LLM, в которых основное внимание уделяется переводу «Исследование потенциала больших языковых моделей (LLM) в обучении на графах».
Исследование потенциала больших языковых моделей в обучении графов
Краткое содержание
Обучение графам привлекло большое внимание благодаря широкому спектру приложений в реальном мире. Наиболее популярные конвейеры для обучения графов с атрибутами текстовых узлов в основном полагаются на нейронные сети графов (GNN) и используют неглубокие встраивания текста в качестве исходных представлений узлов, которые имеют ограничения с точки зрения общих знаний и глубокого семантического понимания. В последние годы было доказано, что модели больших языков (LLM) обладают обширными общедоступными знаниями и мощными возможностями семантического понимания, что произвело революцию в существующих рабочих процессах обработки текстовых данных. В этой статье мы стремимся изучить потенциал LLM в машинном обучении на графах, в частности, в задачах классификации узлов, и исследовать два возможных конвейера: LLM как энхансер и LLM как предиктор. Первый использует LLM для улучшения текстовых атрибутов узлов благодаря своим обширным знаниям, а затем генерирует прогнозы с помощью GNN. Последний пытается использовать LLM напрямую в качестве независимого предсказателя. Мы провели всестороннее и систематическое исследование этих двух трубопроводов в различных средах. На основе всеобъемлющих эмпирических результатов мы делаем оригинальные наблюдения и открываем новые идеи, которые открывают новые возможности и предлагают многообещающие направления для обучения на графиках с использованием LLM.
1. Введение
2 Предисловие
Трубопровод 3 LLM на фото
4 LLM в качестве усилителя
5 LLM как предиктор
6 связанных работ
7 Заключение
В этом разделе мы суммируем наши основные выводы, представляем ограничения этого исследования и обсуждаем потенциальные направления использования LLM в графовом машинном обучении.
7.1 Ключевые выводы
В этой статье мы предлагаем два потенциальных конвейера: LLM как усилитель и LLM как предиктор, которые объединяют LLM для обработки карт текстовых атрибутов. Наше тщательное эмпирическое исследование выявило некоторые интересные результаты, которые дают новую информацию для будущих исследований. Ниже мы выделяем некоторые ключевые выводы, а дополнительные выводы можно найти в наблюдениях 1–18.
Найдено 1 . Для LLM в качестве усилителя модель глубокого внедрения предложений показывает эффективность с точки зрения производительности и результативности . Эмпирически мы обнаружили, что когда мы принимаем модели глубокого внедрения предложений в качестве факторов улучшения на уровне функций, они демонстрируют хорошую производительность при различных настройках разделения набора данных и являются масштабируемыми. Это говорит о том, что они являются хорошими кандидатами для улучшения свойств текста на функциональном уровне.
Откройте для себя 2 . Для LLM в качестве энхансера комбинация энхансеров и ансамблей LLM доказывает свою эффективность . Как показано в разделе 4.2, когда LLM используется в качестве усилителя текстового уровня, мы наблюдаем улучшение производительности за счет интеграции расширенных атрибутов с исходными атрибутами в наборе данных и сегментации данных. Это обеспечивает многообещающий способ повышения производительности задач, связанных с атрибутами. Предлагаемый конвейер состоит из улучшения атрибутов с помощью LLM и последующего объединения исходных атрибутов с улучшенными атрибутами.
Откройте для себя 3 . Что касается LLM как предиктора, LLM показал предварительную достоверность, но также указал на потенциальные проблемы с оценкой . В разделе 5 мы проводим предварительные эксперименты с LLM как предиктором с использованием текстовых атрибутов и связей ребер. Результаты показывают, что LLM демонстрирует эффективность при обработке текстовых атрибутов и достигает хорошей нулевой производительности на некоторых наборах данных. Кроме того, наш анализ выявляет две потенциальные проблемы в существующей системе оценки: (1) В некоторых случаях неточные прогнозы LLM также можно считать оправданными, особенно при цитировании наборов данных. Могут быть уместны несколько тегов. (2) Мы обнаружили потенциальную проблему утечки тестовых данных в OGBN-ARXIV, что подчеркивает необходимость тщательного пересмотра того, как правильно оценивать производительность LLM на реальных наборах данных.
7.2 Ограничения
Получите более глубокое понимание эффективности встраивания текста . Хотя модели глубокого внедрения предложений эффективны, наше понимание того, почему их внедрения превосходят PLM в задачах классификации узлов, все еще ограничено. Кроме того, мы наблюдаем разрыв в производительности между моделями глубокого внедрения предложений и GLEM в наборе данных OGBN-PRODUCTS, который может быть связан с доменом набора данных. Более того, как показано в Наблюдении 4, GNN демонстрирует разные уровни эффективности при разных встраиваниях текста. Однако наши объяснения этого явления ограничены. Чтобы получить более глубокое понимание, нам нужно взглянуть на исходное пространство признаков и агрегированное пространство признаков. Это явление может быть связано с анистрофией встраивания языковых моделей. Для лучшего понимания этих явлений необходим более глубокий анализ.
Стоимость повышения LLM . В этой работе мы изучаем TAPE и KEA для улучшения атрибутов текста на уровне текста. Хотя эти методы доказали свою эффективность, они требуют запроса к API LLM как минимум N раз для графа с N узлами. Учитывая связанные с этим затраты на LLM, это может привести к значительным накладным расходам при обработке крупномасштабных наборов данных. Поэтому мы не представляем результаты по наборам данных OGBN-ARXIV и OGBN-PRODUCTS.
Ручные подсказки в текстовом формате представляют собой графику . В разделе 5 мы ограничиваем наше исследование графическими представлениями с использованием подсказок «естественного языка». Однако существуют и другие форматы представления графов на естественном языке, такие как XML, YAML, GML и т. д. Более того, мы разрабатываем эти советы в основном вручную, в основном на основе проб и ошибок. Поэтому стоит рассмотреть возможность изучения дополнительных форматов подсказок и способов реализации автоматических подсказок.
7.3 Будущие направления
Расширьте существующие конвейеры для выполнения большего количества задач по обучению графов . В этом исследовании основное внимание уделяется изучению задачи классификации узлов. Тем не менее, еще предстоит изучить, можно ли распространить эти два конвейера на другие задачи обучения графов. Некоторые задачи требуют использования удаленной информации, и представление этой информации в ограниченном входном контексте LLM является серьезной проблемой. Кроме того, мы демонстрируем, что LLM показывает многообещающие предварительные результаты на графах, содержащих богатую текстовую информацию, особенно на естественном языке. Однако предстоит провести дальнейшие исследования по изучению их эффективного распространения на другие типы графов с информацией, не связанной с естественным языком, например, на молекулярные графы.
LLM графовой области . В этой статье мы сосредоточимся на адаптации LLM для графических задач машинного обучения посредством контекстного обучения. Однако, поскольку параметры модели не были обновлены, степень, в которой контекстное обучение может помочь LLM получить информацию для конкретной задачи, ограничена. В последнее время некоторые исследования начали изучать использование методов, основанных на настройке инструкций, для разработки моделей в конкретных областях, таких как рекомендательные системы, мультимодальные и табличные данные. Эти предметно-ориентированные модели основаны на крупномасштабных моделях с открытым исходным кодом, таких как LLaMA и Flan-T5. Однако, насколько нам известно, до сих пор не существует LLM, специально настроенного для графовой области. Следовательно, адаптация этих методов, основанных на настройке, и применение их к графовой области является многообещающим будущим направлением.
Используйте LLM более эффективно . Несмотря на эффективность LLM, операционная эффективность и эксплуатационные расходы, присущие этим моделям, по-прежнему создают серьезные проблемы. Если взять в качестве примера ChatGPT, доступ к которому осуществляется через API, текущая модель выставления счетов очень затратна для обработки больших графов. Для локально развернутых больших моделей с открытым исходным кодом даже простое их использование для вывода требует большого количества аппаратных ресурсов, не говоря уже о обучении модели посредством обновления параметров. Поэтому разработка более эффективных стратегий использования LLM в настоящее время является сложной задачей.
Оценка возможностей LLM в задачах машинного обучения на графах. В этой статье мы кратко обсуждаем потенциальные ловушки существующих систем оценки. Существуют две основные проблемы: (1) Тестовые данные могли появиться в обучающем корпусе LLM, что называется «загрязнением» (2) Основные истинные метки могут быть неоднозначными, и производительность, рассчитанная на их основе, может не отражать истинные результаты. возможности LLM. Для решения первой проблемы возможным решением является использование актуального набора данных, который не включен в учебный корпус LLM. Однако это означает, что нам необходимо постоянно собирать данные и аннотировать их, что не кажется эффективным решением. Для второй проблемы одним из возможных решений является переосмысление реального дизайна. Например, для классификации научных статей мы можем использовать настройку с несколькими метками и выбрать все применимые категории в качестве основной истины. Однако для более общих задач разработка более разумных основополагающих фактов остается проблемой. В целом, переосмысление того, как правильно оценивать LLM, является ценным будущим направлением.
LLM как аннотатор учился на графиках . В этой статье мы проводим предварительные эксперименты по использованию LLM в качестве аннотатора. Мы обнаружили, что первая проблема заключается в том, как выбрать качественные псевдоэтикетки. Недавно были проведены предварительные исследования того, как оценить неопределенность «черного ящика LLM». Применяя эти методы к области графа, нам также необходимо учитывать роль узлов в графе. В частности, разные узлы имеют разную важность в графе, а это означает, что аннотирование некоторых из них может быть более полезным для общей производительности. Поэтому важно изучить, как одновременно находить доверительные узлы LLM и важные узлы графа.