LLM을 개인 컴에서

 

LLM을 개인 컴에서 인터넷 연결없이 돌릴수 있는 많은 프로그램들이 있습니다.

개인 데이터 보호: 외부 애플리케이션에 의존하지 않고 자신의 기기에서 LLM을 실행하면 데이터가 외부 회사에 접근되지 않습니다.

하드웨어 요구 사항: 많은 모델들이 높지 않은 하드웨어 요구 사항을 가지고 있습니다.

모델 선택: 자신의 작업에 적합하고 데스크탑 하드웨어에서 잘 실행되는 모델을 찾기 위해 조사가 필요할 수 있습니다.

• GPT4All: GPT4All은 다운로드가 쉬운 데스크탑 클라이언트를 제공하며, 로컬에서 실행되는 모델들을 포함하고 있습니다.
  https://gpt4all.io/
• Ollama: 코맨드라인에서 가장 손쉽게 사용할수 있습니다.
  https://ollama.ai/
• LLM 도구: Simon Willison이 만든 LLM 도구는 오픈 소스 LLM을 쉽게 다운로드하고 사용할 수 있게 해줍니다.
  https://llm.datasette.io/en/stable/

다른것들,

• H2O.ai: https://h2o.ai/
• PrivateGPT: https://github.com/imartinez/privateGPT
• Jan: https://jan.ai/
• llamafile: https://github.com/Mozilla-Ocho/llamafile
• LocalGPT: https://github.com/PromtEngineer/localGPT
• LM Studio: https://lmstudio.ai/

개인적으로는 GPT4ALL은 캐쥬얼하게 사용하는 용도에 적합. 개발및 코맨드라인에서는 OLLAMA를 추천합니다.

73jWt2m1vw2KaBQ/dg3opOQdopnKgaXkHo1lbNAbBOhgS6/ZwFMYEXfq/QxQiOyQwcFWH46G7OFTY+ENQ6go6haopEcr2YvLJNs1HA9z3tnrDnmBQSvLRlWUNc1wjLC6 bE/RLxSnNpFDQZuzEpPC1Q==