fluent-bit operator资源介绍

fluent-bit operator资源介绍

fluent-bit很好的与k8s融合，离不开本身的设计。fluent-bit采用配置插件的方式对输入、过滤、分析、输出进行实现，这使得与k8s集成时，只需要采用configmap(crd中使用的secret)就可以完成原有的功能。

在fluent-bit operator(接下来简称fbo)中并没有直接使用k8s原生配置资源，而是使用了自定义CRD，接下来让我们一一分析。

fbo日志配置资源讲解

Input

每个插件对应一种日志收集功能。

type InputSpec struct {
  // 输入别名
  Alias string json:"alias,omitempty"
  // Dummy defines Dummy Input configuration.
  Dummy *input.Dummy json:"dummy,omitempty"
  // tail收集配置
  Tail *input.Tail json:"tail,omitempty"
  // Systemd收集配置
  Systemd *input.Systemd json:"systemd,omitempty"
}
// 监控文本文件
type Tail struct {
  // 读取文件缓冲大小
  BufferChunkSize string `json:"bufferChunkSize,omitempty"`
  // 缓冲最大
  BufferMaxSize string `json:"bufferMaxSize,omitempty"`
  // 日志路径 比如/var/log/containers/*.log
  Path string `json:"path,omitempty"`
  // 排除文件
  // e.g: exclude_path=*.gz,*.zip
  ExcludePath string `json:"excludePath,omitempty"`
  // 刷新监视文件列表的时间间隔，以秒为单位。
  RefreshIntervalSeconds *int64 `json:"refreshIntervalSeconds,omitempty"`
  RotateWaitSeconds *int64 `json:"rotateWaitSeconds,omitempty"`
  // 根据日志时间检索，仅当Parser能够解析出time后使用
  IgnoreOlder string `json:"ignoredOlder,omitempty"`
  // 监视文件缓存已满后是否结束
  SkipLongLines *bool `json:"skipLongLines,omitempty"`
  // 指定数据库文件以跟踪监控的文件和偏移量。 比如/tail/pos.db
  DB string `json:"db,omitempty"`
  // tail使用内存量，如果达到峰值则暂停等恢复
  MemBufLimit string `json:"memBufLimit,omitempty"`
  // 指定解析器 例如 docker
  Parser string `json:"parser,omitempty"`
  // 未应用解析器时，为记录指定key值
  Key string `json:"key,omitempty"`
  // 指定日志记录的tag
  // E.g. kube.<namespace_name>.<pod_name>.<container_name>
  Tag string `json:"tag,omitempty"`
}

Parser解析器

对input传来的日志记录进行解析格式化。

// The regex parser plugin
type Regex struct {
   // 正则表达式
   Regex string `json:"regex,omitempty"`
   // Time_Key
   TimeKey string `json:"timeKey,omitempty"`
   // Time_Format, eg. %Y-%m-%dT%H:%M:%S %z
   TimeFormat string `json:"timeFormat,omitempty"`
   // Time_Keep
   TimeKeep *bool  `json:"timeKeep,omitempty"`
   //eg. "code:integer size:integer"
   Types    string `json:"types,omitempty"`
}

Filter

过滤日志的功能

具体参数

type FilterSpec struct {
  // 标签匹配规则   例如:kube.* 标识匹配所有标签是kube*的日志记录，kube标识k8s日志信息，在输入配置时配置。支持大小写与*
   Match string `json:"match,omitempty"`
  // 正则匹配，如果上面没满足就使用这个
   MatchRegex string `json:"matchRegex,omitempty"`
  // 过滤器插件
   FilterItems []FilterItem `json:"filters,omitempty"`
}
type FilterItem struct {
	// Kubernetes过滤器配置.
	Kubernetes *filter.Kubernetes
}
type Kubernetes struct {
	// 设置http缓冲区大小
	// +kubebuilder:validation:Pattern:="^\\d+(k|K|KB|kb|m|M|MB|mb|g|G|GB|gb)?$"
	BufferSize string `json:"bufferSize,omitempty"`
	// apiserver url
	KubeURL string `json:"kubeURL,omitempty"`
	// CA 证书文件
	KubeCAFile string `json:"kubeCAFile,omitempty"`
	// 扫描证书绝对路径
	KubeCAPath string `json:"kubeCAPath,omitempty"`
	// 令牌文件	
	KubeTokenFile string `json:"kubeTokenFile,omitempty"`
	// 当源记录来自 Tail 输入插件时，
	// 此选项允许指定 Tail 配置中使用的前缀。 比如 kube
	KubeTagPrefix string `json:"kubeTagPrefix,omitempty"`
	// 启用时，它会检查日志字段内容是否为 JSON 字符串映射，
    // 如果是这样，它将映射字段作为日志结构的一部分附加。
	MergeLog *bool `json:"mergeLog,omitempty"`
	// When Merge_Log is enabled, the filter tries to assume the log field from the incoming message is a JSON string message
	// and make a structured representation of it at the same level of the log field in the map.
	// Now if Merge_Log_Key is set (a string name), all the new structured fields taken from the original log content are inserted under the new key.
	MergeLogKey string `json:"mergeLogKey,omitempty"`
	// When Merge_Log is enabled, trim (remove possible \n or \r) field values.
	MergeLogTrim *bool `json:"mergeLogTrim,omitempty"`
	// Optional parser name to specify how to parse the data contained in the log key. Recommended use is for developers or testing only.
	MergeParser string `json:"mergeParser,omitempty"`
	// When Keep_Log is disabled, the log field is removed
	// from the incoming message once it has been successfully merged
	// (Merge_Log must be enabled as well).
	KeepLog *bool `json:"keepLog,omitempty"`
	// Debug level between 0 (nothing) and 4 (every detail).
	TLSDebug *int32 `json:"tlsDebug,omitempty"`
	// When enabled, turns on certificate validation when connecting to the Kubernetes API server.
	TLSVerify *bool `json:"tlsVerify,omitempty"`
	// When enabled, the filter reads logs coming in Journald format.
	UseJournal *bool `json:"useJournal,omitempty"`
	// 设置备用解析器来处理记录标签并提取 pod_name、namespace_name、container_name 和 docker_id。
// 解析器必须注册在解析器文件中（以解析器filter-kube-test为例）。
	RegexParser string `json:"regexParser,omitempty"`
	// Allow Kubernetes Pods to suggest a pre-defined Parser
	// (read more about it in Kubernetes Annotations section)
	K8SLoggingParser *bool `json:"k8sLoggingParser,omitempty"`
	// Allow Kubernetes Pods to exclude their logs from the log processor
	// (read more about it in Kubernetes Annotations section).
	K8SLoggingExclude *bool `json:"k8sLoggingExclude,omitempty"`
	// 在额外的元数据中包含 Kubernetes 资源标签。
	Labels *bool `json:"labels,omitempty"`
	// 在额外的元数据中包含 Kubernetes 资源注释。
	Annotations *bool `json:"annotations,omitempty"`
	// 如果设置，Kubernetes 元数据可以从该目录下 JSON 格式的文件中缓存/预加载，
	KubeMetaPreloadCacheDir string `json:"kubeMetaPreloadCacheDir,omitempty"`

}

OutPut

将日志记录输出给指定的存储介质，比如发送给els

type Elasticsearch struct {
	// IP地址   支持k8sservice格式访问
	Host string `json:"host,omitempty"`
	// 端口
	Port *int32 `json:"port,omitempty"`
	// 请求路径
	Path string `json:"path,omitempty"`
	// 缓存空间
	BufferSize string `json:"bufferSize,omitempty"`
	// If you are using Elastic's Elasticsearch Service you can specify the cloud_id of the cluster running.
	CloudID string `json:"cloudID,omitempty"`
	// Specify the credentials to use to connect to Elastic's Elasticsearch Service running on Elastic Cloud.
	CloudAuth string `json:"cloudAuth,omitempty"`
	// Optional username credential for Elastic X-Pack access
	HTTPUser *plugins.Secret `json:"httpUser,omitempty"`
	// Password for user defined in HTTP_User
	HTTPPasswd *plugins.Secret `json:"httpPassword,omitempty"`
	// Index name
	Index string `json:"index,omitempty"`
	// Type name
	Type string `json:"type,omitempty"`
	// 启用 Logstash 格式兼容性。
	LogstashFormat *bool `json:"logstashFormat,omitempty"`
	// 启用 Logstash_Format 时，索引名称由前缀和日期组成，
    // 例如：如果 Logstash_Prefix 等于“mydata”，您的索引将变   为“mydata-YYYY.MM.DD”。
    // 最后附加的字符串属于生成数据的日期。
	LogstashPrefix string `json:"logstashPrefix,omitempty"`
	// 时间格式（基于 strftime）生成索引名称的第二部分。
	LogstashDateFormat string `json:"logstashDateFormat,omitempty"`
	//启用 Logstash_Format 后，每条记录都会获得一个新的时间戳字段。
    // Time_Key 属性定义该字段的名称。
	TimeKey string `json:"timeKey,omitempty"`
	// 启用 Logstash_Format 时，此属性定义时间戳的格式。
	TimeKeyFormat string `json:"timeKeyFormat,omitempty"`
	// 启用后，它会将标签名称附加到记录中。
	IncludeTagKey *bool `json:"includeTagKey,omitempty"`
	// 启用 Include_Tag_Key 时，此属性定义标签的键名
	TagKey string `json:"tagKey,omitempty"`
	// 启用时，将 elasticsearch API 调用打印到标准输出（仅适用于诊断）
	TraceOutput *bool `json:"traceOutput,omitempty"`
`json:"currentTimeIndex,omitempty"`
	// 使用此字符串为键添加前缀
	LogstashPrefixKey string 
}

fbo系统资源

FluentBit

部署fbo-Controller与fbo-Watcher(类似于deployment)。

// FluentBitSpec defines the desired state of FluentBit
type FluentBitSpec struct {
   // Fluent Bit 镜像.
   Image string `json:"image,omitempty"`
   // Fluent Bit Watcher command line arguments.
   Args []string `json:"args,omitempty"`
   // 镜像拉去策略
   ImagePullPolicy corev1.PullPolicy `json:"imagePullPolicy,omitempty"`
   // 镜像拉去证书
   ImagePullSecrets []corev1.LocalObjectReference `json:"imagePullSecrets,omitempty"`
   // 数据库，如果使用tail需要指定
   PositionDB corev1.VolumeSource `json:"positionDB,omitempty"`
   // 当前容器日志地址
   ContainerLogRealPath string `json:"containerLogRealPath,omitempty"`
   // 当前容器使用资源
   Resources corev1.ResourceRequirements `json:"resources,omitempty"`
   // 节点学则器
   NodeSelector map[string]string `json:"nodeSelector,omitempty"`
   // 关联的fluentbit-config资源的名称
   FluentBitConfigName string `json:"fluentBitConfigName,omitempty"`
}

FluentBitConfig

用于FluentBit系统配置

在FluentBitConfig中，程序会根据InputSelector，FilterSelector，OutputSelector，ParserSelector获取相对应的crd资源，然后根据crd资源创建Secret。

fluentbit通过watcher对本地的input，filter，output，parser进行监听，如果其中有变动，会结束fluentbit程序，然后进行重启来达到热部署工作。

// FluentBitConfigSpec defines the desired state of FluentBitConfig
type FluentBitConfigSpec struct {
   // 定义了一些全局行为
   Service *Service `json:"service,omitempty"`
   // input标签选择器
   InputSelector metav1.LabelSelector `json:"inputSelector,omitempty"`
   // filter标签选择器
   FilterSelector metav1.LabelSelector `json:"filterSelector,omitempty"`
   // output标签选择器
   OutputSelector metav1.LabelSelector `json:"outputSelector,omitempty"`
   // parser标签选择器
   ParserSelector metav1.LabelSelector `json:"parserSelector,omitempty"`
}


type Service struct {
	// 如果 true 在开始时转到后台
	Daemon *bool `json:"daemon,omitempty"`
	// 刷新输出的间隔
	FlushSeconds *int64 `json:"flushSeconds,omitempty"`
	// 记录诊断输出的文件
	LogFile string `json:"logFile,omitempty"`
	// 输出等级 (error/warning/info/debug/trace)
	LogLevel string `json:"logLevel,omitempty"`
	// parsers文件，相当于内置的parser插件
	ParsersFile string `json:"parsersFile,omitempty"`
}