최근 몇 년 동안,커널 방법 받은 주요 관심히 증가로 인해 인기를 지원 벡터 기계입니다. 커널 기능을 사용할 수 있습 많은 응용 프로그램에서 제공하므로 간단하 다리에서는 선형을 비선형성을 위한 알고리즘을 표현할 수 있는 측면에서는 점의 제품입니다. 이 기사에서는 몇 가지 커널 함수와 그 속성 중 일부를 나열 할 것입니다.
- 여기에서 모든 커널 함수의 소스 코드를 확인하십시오.
많은 이들의 기능에 통합 되었습니다 Accord.NET 는 프레임워크를 만들기 위한 학습 기계,통계,컴퓨터 비전 응용 프로그램.
- 콘텐츠
- Kernel 방법
- 커널 트릭
- Kernel 속성
- 를 선택하는 올바른 커널
- 커널 함수
- 1. 선형 커널
- 2. 다항식 커널
- 3. 가우스 커널
- 4. 지수 커널
- 5. Laplacian 커널
- 6. 분산 분석 커널
- 7. 쌍곡선 탄젠트(Sigmoid)커널
- 8. 합리적인 이차 커널
- 9. Multiquadric 커널
- 10. 역 멀티 쿼드릭 커널
- 11. Circular Kernel
- 12. 구형 커널
- 13. Wave Kernel
- 14. 전원 커널
- 15. 로그 커널
- 16. 스플라인 커널
- 17. B-스플라인(방사형 기준 함수)커널
- 18. Bessel Kernel
- 19. Cauchy 커널
- 20. Chi-Square kernel
- 21. 히스토그램 교차 커널
- 22. 일반화 교차로그램
- 23. 일반화 된 T-Student Kernel
- 24. Bayesian 커널
- 25. 웨이블릿 Kernel
- 소스 코드
- see
- 이 작품을 인용
콘텐츠
- Kernel 방법을
- 커널 트릭
- Kernel 속성
- 를 선택하는 올바른 커널
- 커널 기능을
- 선형 커널
- 다항식 커널
- 가우스 커널
- 지 커널
- 라플라스 커널
- 산 커널
- 쌍곡 접(s 자형) 커널
- 합리적인 이차 커널
- Multiquadric 커널
- 역 Multiquadric 커널
- 원형 커널
- 둥근 Kernel
- 파 커널
- 전원 커널
- 로그 Kernel
- 스플라인 커널
- B-Spline 커널
- 베셀 커널
- 코시 Kernel
- Chi-Square 커널
- 히스토그램 교 커널
- 일반화 교차로그램 커널
- 일반 T-커널 학생
- 베이지안 커널
- 웨이블릿 Kernel
- 소스 코드
- see
Kernel 방법
Kernel 방법은 클래스의 알고리즘에 대한 패턴을 분석하거나 인정,누구의 가장 잘 알려진 요소입니다 SVM(support vector machine). 일반적인 작업의 패턴 분석을 찾아서 공부하기 위해 일반적인 형태의 관계(예:클러스터 순위,주요 구성 요소의 상관관계,분류)에서 일반적인 유형의 데이터에(같은 시퀀스,텍스트 문서,세트의 포인트,벡터,이미지,그래프 등)(Wikipedia,2010a).그러나 커널 방법의 주요 특징은이 문제에 대한 뚜렷한 접근 방식입니다. 커널은 방법 맵으로 데이터를 높은 차원의 공간에 있다는 희망이 더 높은 차원 공간을 데이터가 될 수 있다 더 쉽게 분리 또는 더 나은 구성되어 있습니다. 이 매핑의 형태에 대한 제약도 없으며,심지어 무한 차원 공간으로 이어질 수도 있습니다. 그러나이 매핑 함수는 커널 트릭이라는 도구 때문에 거의 계산할 필요가 없습니다.
커널 트릭
커널 트릭은 매우 흥미롭고 강력한 도구입니다. 그것은 강력을 제공하기 때문에 다리에서는 선형을 비선형성을 알고리즘을 수 있는 표현에 전적으로 면의 제품을 점 사이에 두어야 합니다. 에서 온다는 사실을,우리가 먼저 지도 우리의 입력 데이터로 더 높은 차원 공간,선형 알고리즘에서 운영하이 공간의 작동 비 선형으로서 원래의 입력을 공간이다.그 매핑은 이제까지 계산 될 필요가 없기 때문에 커널 트릭은 정말 흥미 롭다. 만일 우리 알고리즘을 표현할 수 있는 측면에서뿐만 아니라의 내부 제품의 사이에 두 개의 벡터,우리가 필요한 것은 이 안으로 제품 내부에서 제품에 몇 가지 다른 적절한 공간입니다. 즉,”트릭”이있는 곳입니다:도트 제품이 사용되는 곳이면 커널 기능으로 대체됩니다. 커널 기능을 의미 내에서 제품 기능을 공간은 일반적으로 표시됩니다.
K(x,y)=<φ(x),φ(y)>
를 사용하여 커널 기능의 알고리즘될 수 있습으로 더 높은 차원 공간 없이 명시적으로 매핑을 입력 포인트로 이 공간입니다. 이것은 때로는 우리의 고차원 피처 공간이 무한 차원이어서 계산할 수 없기 때문에 매우 바람직합니다.
Kernel 속성
커널 기능을 지속적이어야 합니다,대칭,그리고 가장 바람직하게 있어야 긍정적(반기)한 명확한 그램 matrix. 커널은 말을 충족하 머서 정리하는 긍정적인 반한 명확한 의미,커널은 자신의 행렬해야만 비즈-부정적인 고유의 값입니다. 긍정적 인 확실한 커널의 사용은 최적화 문제가 볼록 해지고 솔루션이 고유 할 것이라는 것을 보장합니다.
그러나 엄격하게 긍정적이지 않은 많은 커널 기능도 실제로 매우 잘 수행하는 것으로 나타났습니다. 예를 들어 s 자형 커널에도 불구하고,그것의 광범위한 사용에,그것은 긍정적인 반 명의 특정 값에 대한 그것의 매개 변수입니다. Boughorbel(2005)또한 실험적으로 입증하는 알갱이는 조건에 따라 확실한 긍정적할 수 있는 가능성이 뛰어나다 대부분의 클래식 커널에서 일부 응용 프로그램.
알갱이 또한 분류될 수 있으로 이방성 고정식,등방성 고정,지원되는 컴팩트로 고정,nonstationary 또는 분리할 수 있는 nonstationary. 또한,커널에 표시 할 수 있습 scale-invariant 또는 규모에 의존하는 흥미로운로 속성을 scale-invariant 커널 드라이브 교육 과정 불변을 확장합니다.
를 선택하는 올바른 커널
선택이 가장 적절한 커널에 매우 의존한 문제에서 정밀하게 튜닝 그것의 매개 변수를 쉽게 될 수 있는 지루하고 번거로운 작업입니다. 자동 커널 선택이 가능하며 Tom Howley 와 Michael Madden 의 작품에서 논의됩니다.커널의 선택은 우리가 모델링하려고하는 것에 달려 있기 때문에 손에있는 문제에 달려 있습니다. 예를 들어 다항식 커널을 사용하면 다항식의 차수까지 피쳐 접속사를 모델링 할 수 있습니다. 레이디얼 기준으로 기능 할 수 있습 골 원(또는 hyperspheres)–에 constrast 으로 선형 커널,수만 선택하는 라인(또는 유클리드).
뒤에 동기 선택의 특정 커널에서 아주 직관적이고 간단의 종류에 따라 정보를 우리가 기대하는추출물에 대한 데이터이다. 주제에 대한 더 나은 설명을 위해 Manning,Raghavan 및 Schütze 의 정보 검색 소개에서이 주제에 대한 최종 메모를 참조하십시오.
커널 함수
아래는 기존 문헌에서 사용할 수있는 일부 커널 함수 목록입니다. 와 같은 경우 이전 기사,모든 라텍스 표기에 대한 공식 아래에서 쉽게 사용할 수 있는 그들의 대체 텍스트 html 태그입니다. 나는 그들 모두가 완벽하게 정확하다는 것을 보장 할 수 없으므로 자신의 위험에 따라 사용하십시오. 그들 중 대부분은 원래 사용되거나 제안 된 기사에 대한 링크를 가지고 있습니다.
1. 선형 커널
- 선형 커널의 설명서를선형 커널 소스 코드를 만드는 방법 Svm 습니다.물 Accord.NET
선형 커널은 간단한 커널 기능이 있다. 그것은에 의해 주어진 제품 안<x,y>플러스는 선택적인 일정한다.c. 커널은 알고리즘을 사용하여 선형 커널은 자주 해당하는 자신이 아닌 커널 대응,즉,KPCA 선형 커널은 동일한 표준으로 PCA.
2. 다항식 커널
다항식 커널은 비 고정 kernel. 다항식 커널은 모든 교육 데이터가 정규화 된 문제에 적합합니다.
조정 매개변수는 슬로 알파,지속적인 용어는 c 고 다항식 학위 d.
3. 가우스 커널
가우스 커널은 방사형 기초 함수 커널의 예입니다.
양자택일로,그것은 또한 수를 사용하여 구현
조정 매개변수 sigma 중요한 역할을에서의 성능은 커널 및 조심스럽게 조정하여 문제를 손에 있습니다. 과대 평가되면 지수가 거의 선형 적으로 행동하고 고차원 투영은 비선형 전력을 잃기 시작할 것입니다. 반면에,과소 평가되면,기능은 정규화가 결여되고 결정 경계는 훈련 데이터의 잡음에 매우 민감 할 것이다.
4. 지수 커널
지수 커널은 가우스 커널과 밀접한 관련이 있으며 규범의 제곱 만 남았습니다. 또한 방사형 기초 함수 커널입니다.
5. Laplacian 커널
Laplace 커널은 시그마 매개 변수의 변화에 덜 민감한 것을 제외하고는 지수 커널과 완전히 동일합니다. 동등하기 때문에 방사형 기초 함수 커널이기도합니다.
이는 관찰에 대한 시그마에 대한 매개 변수 가우스 커널에도 적용되 지수와 라플라스 커널입니다.
6. 분산 분석 커널
분산 분석 커널은 가우시안 및 라플라시안 커널과 마찬가지로 방사형 기초 함수 커널이기도합니다. 다차원 회귀 문제(Hofmann,2008)에서 잘 수행된다고합니다.
7. 쌍곡선 탄젠트(Sigmoid)커널
쌍곡선 탄젠트 커널은 Sigmoid 커널 및 다층 퍼셉트론(MLP)커널이라고도합니다. S 상 커널에서 온 신경 네트워크 분야는 양극 s 상 기능으로 자주 사용하는 기능을 활성화에 대한 인공 신경.
그것은 흥미로운 주는 SVM 모델을 사용하 s 자형 커널 기능은 해당하는 두 개의 층에,계층 퍼셉트론 신경 네트워크입니다. 이 커널은 신경망 이론의 기원으로 인해 지원 벡터 머신에서 꽤 인기가있었습니다. 또한 조건부로 만 긍정적 인 확실한 것임에도 불구하고 실제로 잘 수행되는 것으로 나타났습니다.
시그 모이 드 커널에는 기울기 알파와 절편 상수 c 의 두 가지 조정 가능한 매개 변수가 있습니다. Sigmoid 커널에 대한보다 자세한 연구는 Hsuan-Tien 과 Chih-Jen 의 작품에서 찾을 수 있습니다.
8. 합리적인 이차 커널
합리적인 이차 커널이 적은 연산 집약적보다 가우스 커널을 사용할 수 있습으로 대체할 때 사용하여 가우스가 너무 비싸다.
9. Multiquadric 커널
Multiquadric 커널은 합리적인 2 차 커널과 동일한 상황에서 사용할 수 있습니다. 시그 모이 드 커널의 경우와 마찬가지로 양성이 아닌 명확한 커널의 예이기도합니다.
10. 역 멀티 쿼드릭 커널
역 멀티 쿼드릭 커널. 으로 가우스 커널,그것은 결과에서 커널을 매트릭스와의 전체 순위(Micchelli,1986)및 따라서 형태로 무한 차원 기능을 공간이다.
11. Circular Kernel
circular kernel 은 geostatic 응용 프로그램에서 사용됩니다. 그것은 등방성 고정 커널의 예이며 r2 에서 확실한 양수입니다.
12. 구형 커널
구형 커널은 원형 커널과 유사하지만 r3 에서는 확실합니다.
13. Wave Kernel
Wave kernel 은 또한 대칭 포지티브 준결정(Huang,2008)입니다.
14. 전원 커널
전원 커널은(복구되지 않은)삼각형 커널이라고도합니다. Scale-invariant kernel(sahbi and Fleuret,2004)의 예이며 조건 적으로 긍정적 인 확실성이기도합니다.
15. 로그 커널
로그 커널은 이미지에 특히 흥미로운 것으로 보이지만 조건부로 긍정적 인 경우에만 확실합니다.
16. 스플라인 커널
스플라인 커널은 Gunn(1998)의 작품에서 파생 된 것처럼 조각 현명한 입방 다항식으로 주어집니다.
그러나 실제로 그것이 무엇을 의미는:
17. B-스플라인(방사형 기준 함수)커널
B-스플라인 커널은 구간에 정의됩니다. 그것은에 의해 주어진 재귀 공식:
에서 작업하여 바트 Hamers 그것에 의해 제공됩니다.
또는 Bn 계산할 수 있을 사용하여 명시적 표현(Fomel,2000):
x+으로 정의 잘력 기능:
18. Bessel Kernel
bessel kernel 은 분수 평활도의 함수 공간 이론에서 잘 알려져 있습니다. 그것에 의해 제공됩니다.
어디 J 은 베셀 기능의 종류입니다. 그러나,Kernlab R 문서,베셀 커널다:
19. Cauchy 커널
Cauchy 커널은 Cauchy 분포(basak,2008)에서 비롯됩니다. 긴 꼬리 커널이며 고차원 공간에 장거리 영향력과 민감성을 부여하는 데 사용할 수 있습니다.
20. Chi-Square kernel
Chi-Square kernel 은 Chi-Square distribution 에서 나옵니다:
그러나,주의하여 주석 Alexis 미뇽,이 커널 버전에만 조건에 따라 긍정적인 정(CPD). 긍정적인 명확한 이 커널에서 주어진다(Vedaldi 및 Zisserman,2011)
적합 사용되는 방법에 의해 다른 것보다 support vector machines.
21. 히스토그램 교차 커널
히스토그램 교차 커널은 최소 커널이라고도하며 이미지 분류에 유용한 것으로 입증되었습니다.
22. 일반화 교차로그램
일반화된 히스토그램 교 커널을 기반으로 구축 히스토그램을 교차로는 커널 이미지에 대한 분류에만 적용에 훨씬 더 큰 다양한 상황(Boughorbel,2005). 그것은 주어진:
23. 일반화 된 T-Student Kernel
일반화 된 T-Student Kernel 은 Mercel Kernel 인 것으로 입증되었으므로 긍정적 인 반 명확한 커널 행렬을 갖습니다(Boughorbel,2004). 그것은 주어진:
24. Bayesian 커널
베이지안 커널로 주어진 수 있습니다:
어디
그러나,그것은 정말에 따라 달라 문제가 되는 모델링된다. 자세한 내용을 참조하여 작업 Alashwal,크리고 씨는 그들을 사용 SVM 과 베이지안 커널에서 예측의 단백질-단백질 상호 작용합니다.
25. 웨이블릿 Kernel
웨이블릿 커널(Zhang et al.,2004)에서 온 이론 웨이브렛이로 주어진다.
는 c 은 웨이블릿 팽창 및 번역 계수를 각각(형태로 제시된 위의 단순화를 참조하십시 원래의 종이에 대한 상세정보). 번역 고정 버전 이 커널로 부여 할 수 있습니다:
어디에서 모두 h(x)을 나타내는 어머니 웨이브렛 기능입니다. 에서 종이에 의해 리 장,Weida 주,그리고 이성구 Jiao,저자는 제안 가능 h(x):
는 그들은 또한 증명으로 허용 커널 기능이 있다.
소스 코드
최신 버전의 소스 코드에 대한 거의 모든 커널 상에서 사용할 수 있는 Accord.NET Framework. 일부는 C#의 분류 및 회귀를위한 커널 지원 벡터 머신 인이 기사의 속편에서도 사용할 수 있습니다. 이들은 C#에서 SVMs(지원 벡터 머신)의 포괄적이고 간단한 구현과 함께 제공됩니다. 그러나,최신 소스에 포함 될 수 있는 버그 수정 및 개선하십시오 다운로드 사용 가능한 최신 버전의 Accord.NET.
see
- Kernel Support Vector Machines(kSVMs)
- PCA(Principal Component Analysis)
- Kernel(Principal Component Analysis KPCA)
- 선형 판별 분석(LDA)
- 비 선형 판별 분석으로 알갱이(KDA)
- 로지스틱 회귀분석에서는 C#
- 의 Accord.NET Framework:과학적인 컴퓨팅습니다.NET
- 하르-체 감지 기능에서는 C#(비올라-Jones 분류)
- 필기 인식 기능을 사용하여 커널 판별분석
- 필기 인식 Revisited: 커널 지원 벡터 컴퓨터
- 로지스틱 회귀 분석
- 온라인 예측 Wiki 할 수 있습니다. “커널 방법.”온라인 예측 위키. http://onlineprediction.net/?n=Main.KernelMethods(2010 년 3 월 3 일 액세스).
- Genton,Marc G.”기계 학습을위한 커널 클래스:통계 관점.”기계 학습 연구 저널 2(2001)299-312.쨈챘짹쨀째쩔징 쨉청쨋처 쨘쨍쨈쨈. “기계 학습의 커널 방법.”앤. Statist. 36 권,3 번(2008),1171-1220.
- Gunn,S.R.(1998,May). “분류 및 회귀에 대 한 벡터 기계를 지원 합니다.”기술 보고서,공학 학부,전자 및 컴퓨터 과학의 과학 및 수학 학교.
- Karatzoglou,A.,Smola,A.,Hornik,K. 및 Zeileis,A.”Kernlab–커널 학습을위한 R 패키지.” (2004).
- Karatzoglou,A.,Smola,A.,Hornik,K. 및 Zeileis,A.”Kernlab–r. 의 커널 메소드에 대한 S4 패키지”J. 통계 소프트웨어,11,9(2004).
- Karatzoglou,A.,Smola,A.,Hornik,K. 및 Zeileis,A.”R:커널 함수.”패키지’kernlab’버전 0.9-5 에 대한 문서. http://rss.acs.unt.edu/Rdoc/library/kernlab/html/dots.html(2010 년 3 월 3 일 액세스).
- Howley,T.and Madden,M.G.”유전자 커널 지원 벡터 머신:설명 및 평가”. 인공 지능 검토. 24 권,3 번(2005),379-395.
- Shawkat Ali 와 Kate A.Smith. “SVM 분류를위한 커널 폭 선택:메타 학습 접근법.”데이터웨어 하우징의 국제 저널&광업,1(4),78-97,2005 년 10 월 -12 월.
- Hsuan-Tien Lin 과 Chih-Jen Lin. “SVM 에 대한 sigmoid 커널에 대한 연구와 SMO 형 방법에 의한 비 PSD 커널의 교육.”기술 보고서,국립 대만 대학 컴퓨터 과학학과,2003.
- Boughorbel,S.,Jean-Philippe Tarel 및 Nozha Boujemaa. “프로젝트-Imedia:객체 인식.”INRIA-INRIA 활동 보고서-RalyX. http://ralyx.inria.fr/2004/Raweb/imedia/uid84.html(2010 년 3 월 3 일 액세스).황,링캉. “멀티 클래스 지원 벡터 머신에서의 변수 선택 및 게놈 데이터 분석에서의 응용.”박사 학위 논문,2008.
- Manning,Christopher D.,Prabhakar Raghavan 및 Hinrich Schütze. “비선형 SVMs.”스탠포드 NLP(자연 언어 처리)그룹. http://nlp.stanford.edu/IR-book/html/htmledition/nonlinear-svms-1.html(2010 년 3 월 3 일 액세스).포멜,세르게이. “역 B-스플라인 보간.”스탠포드 탐사 프로젝트,2000. http://sepwww.stanford.edu/public/docs/sep105/sergey2/paper_html/node5.html(2010 년 3 월 3 일 액세스).바삭,자얀타. “상자 제약이있는 최소 사각형 커널 기계.”패턴 인식에 관한 국제 회의 2008 1(2008):1-4.
- Alashwal,H.,Safaai Deris 및 Razib M.Othman. “단백질-단백질 상호 작용의 예측을위한 베이지안 커널.”전산 지능의 국제 저널 5,no.2(2009):119-124.
- Hichem Sahbi 와 François Fleuret. “삼각형 커널을 사용하여 커널 메소드 및 스케일 불변성”. INRIA 연구 보고서,n-5143,2004 년 3 월.
- Sabri Boughorbel,Jean-Philippe Tarel 및 Nozha Boujemaa. “이미지 인식을위한 일반화 된 히스토그램 교차 커널”. 이미지 처리에 관한 2005 회의 절차,제 3 권,161-164 페이지,2005.미첼리,찰스. 산란 된 데이터의 보간:거리 행렬 및 조건부로 양의 명확한 함수. 건설적인 근사 2,no.1(1986):11-22.
- Wikipedia contributors,”Kernel methods”Wikipedia,The Free Encyclopedia,http://en.wikipedia.org/w/index.php?title=Kernel_methods&oldid=340911970(2010 년 3 월 3 일 액세스).
- Wikipedia contributors,”Kernel trick,”Wikipedia,The Free Encyclopedia,http://en.wikipedia.org/w/index.php?title=Kernel_trick&oldid=269422477(2010 년 3 월 3 일 액세스).
- Weisstein,Eric W.”긍정적 인 Semidefinite 매트릭스.”MathWorld 에서-볼프람 웹 자원. http://mathworld.wolfram.com/PositiveSemidefiniteMatrix.html
- Hamers B.”대규모 애플리케이션을 위한 커널 모델”,Ph.D.,Katholieke Universiteit Leuven,벨기에,2004.
- Li Zhang,Weida Zhou,Licheng Jiao. 웨이블릿 지원 벡터 머신. 시스템,인간 및 사이버네틱스에 대한 Ieee 거래,Part B, 2004, 34(1): 34-39.
- Vedaldi,A. 및 Zisserman,A. 명시 적 기능 맵을 통한 효율적인 첨가제 커널. 패턴 인식 및 기계 지능에 대한 Ieee 거래,권. XX,아니. XX,유월,2011.
이 작품을 인용
원한다면,이 작품을 인용하십시오:Souza,César R.”기계 학습 응용 프로그램을위한 커널 기능.”17 월. 2010. 웹. <http://crsouza.blogspot.com/2010/03/kernel-functions-for-machine-learning.html>.