ChatLaw の法的モデルは最近、世間から影をひそめています。リリースされた日には、Zhihu のホット検索リストでトップになりました。Github では 3,000 個近くのスターが付いています。ネチズンは、大規模モデルの中で冗談めかして「Mr. Luo Xiang」と呼んでいます。
ChatLaw法的モデルの紹介
ChatLaw オープン ソースの法的モデルは、北京大学の ChatExcel 研究グループから提供されています。現在、学術参考バージョンのみが提供されています。そのベースはJiang Ziya-13B および Anima-33Bです。試験問題、判決文書およびその他のオリジナル テキストが構築に使用されます私たちは対話データを収集し、包括的な法律サービスを国民に提供することに尽力しています。
現在、ChatLaw シリーズには 3 つのバージョンがあります。
- ChatLaw-13B : これは Jiang Ziya Ziya-LLaMA-13B-v1 (中国語の最適化のために LLaMA 13B に基づいて微調整されたバージョン) に基づいており、このバージョンは中国語を非常によくサポートしています。ただし、モデルパラメータのサイズには制限があり、論理能力は比較的弱いです。
- ChatLaw-33B : Anima (オープンソースの QLoRA ベースの 33B 中国語大規模言語モデル) に基づいたトレーニング バージョンであり、強力な論理的推論能力を備えていますが、Anima 中国語コーパスが不足しているため、英語データが頻繁に表示されます。 Q&A。
- ChatLaw-Text2Vec : 93万件の判決事例から構成されるベクトルデータセットを使用し、BERTトレーニングに基づく類似性照合モデルにより、ユーザーの質問内容に応じて最も関連性の高い法条項を検索できます。
モデルアーキテクチャ:
全体的なアーキテクチャには、Keyword LLM、Law LLM (埋め込みモデル)、ChatLaw LLM の 3 つのモデルが含まれる必要があります。
-キーワード LLM:ユーザーの口語的な要求を法律業界のキーワードに変換し、知識ベース内の法律知識を検索するために使用されますが、著者が特別にこのステップを追加したものであり、純粋なベクトル検索によって得られた知識の向上効果は必ずしもそうではない可能性があります。とても良い質問です。
- Law LLM : 著者が法律分野で特別に訓練した BERT 埋め込みモデルで、ユーザーの音声表現に基づいて関連する法律知識を直接検索するために使用され、キーワード検索と組み合わせて使用されます。
- ChatLaw LLM : 取得した結果を分析し、重要なコンテンツを抽出し、無関係なコンテンツをフィルタリングし、最終的に関連する応答を生成できる、最終的な融合大規模モデルです。
トレーニングデータ:
学習データは主にフォーラム、ニュース、法律記事、司法解釈、法律相談、司法試験問題、判決文書で構成され、クリーニングとデータ強化を経て対話データが構築されます。
公式アドレス：https://www.chatlaw.cloud
GitHub アドレス: https://github.com/PKU-YuanGroup/ChatLaw
ChatLaw デモ テスト体験
ChatLawは現在アカデミックデモ版を試用可能ですが、残念ながら法律相談機能はなく、簡易的な対話相談サービスのみとなっております。ここでは、ChatLaw と ChatGPT の比較効果をテストするために、いくつかの質問をしてみます。
質問 1: 中国における音楽作品の著作権は何ですか?
チャットロウ
チャットGPT
質問 2: 残りの半分は結婚前にローンを組んで家を購入しましたが、結婚後、家の価格が上がりました。離婚した場合、私は相続分を取得することになりますか?
チャットロウ
チャットGPT
質問３：執行異議は棄却されたが、執行異議は提起されず、別途所有権確認訴訟が提起されたが、所有権確認訴訟の裁判は競売の執行手続きを妨げることはできるのか。
チャットロウ
チャットGPT
上記の比較結果を通じて、同じ質問に対する ChatLaw の回答はより専門的であり、GPT の錯視問題を大幅に解決し、次のような観察結果が得られることがわかりました。
- 法律関連の質問と回答および規制条項のデータを導入すると、質問と回答のモデルのパフォーマンスをある程度向上させることができます。
- トレーニング用に特定の種類のタスクのデータを追加すると、この種類のタスクにおけるモデルのパフォーマンスが大幅に向上します。たとえば、ChatLaw モデルが ChatGPT よりも優れている理由は、論文で大量の国内の司法研修データが使用されているためです。