LLM의 비공개 오퍼링과 공개 오퍼링 사이에는 큰 격차가 없습니다 (GPT4와 DeepSeek R1을 생각해 보세요).하지만 고급/에이전틱/AI 검색의 경우 폐쇄형 검색과 개방형 검색 간의 격차가 매우 큽니다 (Gemini 또는 Perplexity와 비실제 옵션을 생각해 보세요).센티언트 리서치는 업무상 이러한 거대한 격차를 해소합니다.릴리스를 출시합니다. 오픈 딥 서치 (ODS), 독점 AI 검색 솔루션과 오픈 소스 대안 간의 성능 격차를 줄이기 위한 오픈 소스 에이전트 프레임워크입니다.ODS는 독점 제품의 성능과 동일하거나 종종 이를 능가하는 완전한 오픈 소스 AI 검색 프레임워크를 제공함으로써 폐쇄형 AI의 제약을 제거합니다.최첨단 검색 기술에 대한 액세스를 대중화함으로써 우리는 개발자와 빌더가 최첨단 검색 AI를 발전시킬 수 있는 공평한 경쟁의 장을 마련하고 있습니다.

결과: 클로즈드 소스 거대 기업 매칭

오픈 소스 DeepSeek-R1 모델과 결합하면 ODS는 다음을 달성합니다.

• 프레임 벤치마크의 75.3% 정확도는 OpenAI의 GPT-4o 검색 프리뷰 (65.6%) 를 거의 10% 능가합니다.
• SimpleQA의 정확도는 88.3%, GPT-4o 검색 미리보기의 90.0% 와 거의 일치합니다.

DeepMind의 FRAMES 평가 벤치마크는 여러 정보 소스에서 정확한 검색과 검색된 정보의 정확한 집계가 모두 필요한 까다로운 멀티 홉 질문입니다.FRAMES를 선호하는 이유는 이 벤치마크가 SOTA 독점 솔루션으로는 여전히 어려움을 겪을 정도로 난이도가 높고 평가 데이터가 고갈되지 않았기 때문입니다.

OpenAI의 SimpleQA의 또 다른 벤치마크는 더 간단하지만 더 인기가 있습니다.위 순위표에는 웹에서 확인할 수 있는 자체 보고 점수 몇 개가 포함되어 있습니다.이러한 점수를 확인하지는 못했지만 출처는 신뢰할 수 있습니다.반면, ODS는 오픈 소스이기 때문에 누구나 점수를 확인할 수 있습니다.한 가지 사실은 DeepSeek-R1이 많은 사실을 기억하고 있으며 웹에 접속하지 않아도 82.4% 의 정확도를 달성한다는 것입니다.그런 점에서 SimpleQA는 테스트 대상 AI의 고급 추론 기능에 대한 최고의 평가 벤치마크는 아닐 것입니다.각 질문은 단일 정보의 사실성만 테스트합니다.ODS는 DeepSeek-R1과 같은 오픈 소스 추론 LLM의 최신 기술을 활용하여 검색 성능을 높입니다.

‍

딥 서치 열기

OpenDeepSearch는 AI 에이전트와의 원활한 통합을 위해 설계된 가벼우면서도 강력한 검색 도구입니다.Hugging Face의 SmolAgents 에코시스템과 함께 사용하도록 최적화된 심층 웹 검색 및 검색이 가능합니다.ODS는 사용자가 선택한 기본 대형 언어 모델 (LLM) 과 함께 작동하는 두 가지 구성 요소인 오픈 서치 툴과 오픈 추론 에이전트로 구성됩니다.Open Reasoning Agent는 주어진 작업을 해석하고 호출 도구를 포함하는 일련의 작업을 조율하여 작업을 완료합니다. 그 중 하나가 Open Search Tool입니다.오픈 서치 툴은 독자적인 툴을 능가하는 새로운 웹 검색 툴입니다.둘 다 완전한 오픈 소스이며 아래 GitHub 리포지토리를 통해 테스트할 수 있습니다.

검색 도구 열기

원시 검색 엔진 결과를 LLM에 전달하는 기존의 오픈 소스 대안과 달리 Open Search Tool은 다음과 같은 정교한 검색 프로세스를 구현합니다.

• 사용자의 암시적 의도를 파악하기 위해 필요한 경우 쿼리를 지능적으로 리프레이즈합니다.
• 상위 검색 스니펫에서 컨텍스트를 추출하고 통합합니다.
• 고급 청크 및 순위 조정을 적용하여 관련성 임계값 이상의 콘텐츠를 필터링합니다.
• 위키백과, arXiv, PubMed와 같은 주요 소스에 대한 사용자 지정 웹 사이트 처리를 구현합니다.

이러한 개선 사항은 검색된 정보의 품질을 크게 향상시켜 LLM에 훨씬 더 나은 컨텍스트를 제공합니다.

아래 예에서 SimpleQA의 ODS는 오픈 서치 툴에서 검색한 고품질 컨텍스트를 활용하여 여러 소스를 교차 검사하여 정답을 식별합니다.반면 Perplexity Sonar Reasoning Pro는 검색 엔진으로 관련 정보를 검색하지 못합니다.

오픈 추론 에이전트

추론 에이전트의 두 가지 변형을 제공합니다.

• ODS-v1: 사슬 (Chain-of-Thought) 및 React 프레임워크를 기반으로 하여 단계별 사고/행동/관찰 주기와 도구 통합을 통해 모델의 추론 기능을 향상시킵니다.ODS-v1 에이전트는 오픈 서치 툴, Wolfram-Alpha 기반 계산기, “컨티뉴 씽킹” 툴이라는 세 가지 개별 도구에 액세스할 수 있습니다.
• ODS-v2: 코드 체인 (Chain-of-Code) 및 CodeAct 프레임워크를 기반으로 하므로 모델이 실행 가능한 Python 코드를 생성하여 보다 정확한 추론과 도구 사용을 가능하게 합니다.ODS-v2 에이전트는 오픈 서치 도구에 액세스할 수 있습니다.

두 에이전트 모두 각 쿼리의 복잡성에 맞게 일련의 작업을 지능적으로 조정할 수 있습니다.ODS-v1은 사고, 행동, 관찰 단계를 상황에 맞는 예제로 엮은 React 추론 프롬프트의 몇 가지 샘플을 활용하여 모델에 도구를 호출하도록 지시합니다.모든 쿼리에 동일한 검색 횟수를 사용하는 고정된 접근 방식과 달리 ODS-v1과 ODS-v2는 추가 검색이 필요한 시기를 신중하게 결정합니다.

이러한 최적화는 효율성과 정확성을 모두 극대화하여 독점 클로즈드 소스 제품의 성능을 능가할 수 있습니다.ODS가 보여준 성능 향상이 오픈 서치 툴에서 나온 것이 아닌 것은 오픈 리저닝 에이전트 덕분입니다.

아래 예제에서 ODS는 FRAMES에서 두 번째 검색이 필요하다는 것을 깨닫고 다시 검색하여 King Crimson의 리드 싱어의 출생 연도를 찾고 “1946"으로 질문에 올바르게 답합니다.반면 퍼플렉시티는 킹 크림슨 밴드의 리더를 알아낼 수 없었다.

결론

Open Deep Search는 단순한 기술적 성과를 넘어 최첨단 검색 AI 기술의 접근성에 근본적인 변화를 가져왔습니다.오픈 소스 솔루션과 클로즈드 소스 솔루션 간의 격차를 줄임으로써 우리는 다음과 같은 성과를 거둘 수 있습니다.

• 접근성 민주화 강력한 검색 AI 기능을 통해 전 세계 개발자들이 최첨단 기술을 기반으로 구축하고 혁신할 수 있습니다.
• 투명성 육성 검색 AI 시스템의 내부 작업을 가시적이고 수정할 수 있게 함으로써
• 혁신 장려 스타트업과 독립 개발자의 진입 장벽을 낮춤으로써

두 버전의 ODS에 대한 저장소는 다음에서 사용할 수 있습니다. https://github.com/sentient-agi/OpenDeepSearch그리고 우리는 커뮤니티를 초대하여 우리의 활동을 발전시키고, 개선하고, 확장하도록 합니다.

새로운 오픈 소스 추론 LLM이 출시됨에 따라 ODS는 이러한 발전을 원활하게 통합하는 플러그 앤 플레이 프레임워크를 제공하여 오픈 소스 검색 AI 솔루션이 독점 솔루션에 비해 경쟁력을 유지하고 심지어 능가할 수 있도록 합니다.

검색 AI에서 클로즈드 소스가 지배하던 시대는 끝나가고 있습니다.Open Deep Search는 강력한 AI 기술에 대한 액세스를 대중화하고 이를 글로벌 개발자 커뮤니티의 손에 넘길 때 가능한 일의 시작에 불과합니다.

지금 바로 오픈 딥 서치를 사용해 보고 AI 검색의 미래를 설계하는 데 동참하세요!