Linux搭建promtaillokigrafana轻量日志

　　一：简介
　　日志监控告警系统，较为主流的是ELK（Elasticsearch、Logstash和Kibana核心套件构成），虽然优点是功能丰富，允许复杂的操作。但是，这些方案往往规模复杂，资源占用高，操作苦难。很多功能往往用不上，大多数查询只关注一定时间范围和一些简单的参数（如host、service等），使用这些解决方案就有点杀鸡用牛刀的感觉了。
　　所以寻找更轻量级的日志监控系统，所以也就有了EFK（elasticsearchkibanafilebeat），
　　搭建参考：EFK轻量级日志系统搭建
　　另外一种是PromtailLokiGrafana核心组件构成，简称PLG，这种是更轻量级的，配置要求也不高，功能简单，但是目的明确，就是日志采集。
　　Loki的架构也非常简单，使用了和prometheus一样的标签来作为索引，Loki是受Prometheus启发的水平可扩展、高可用、多租户日志聚合系统。
　　组件：promtail：日志收集的代理，安装部署在需要收集和分析日志的服务器，promtail会将日志发给Loki服务。Loki：主服务器，负责存储日志和处理查询。Grafana：提供web管理界面，数据展示功能。
　　二：服务器安装及配置
　　1：基础安装启动
　　安装方式大概有这么几种，二进制安装，yum安装、docker安装、helm安装。
　　因为是服务器端，我这里用docker安装，简单方便。
　　官方网站也提供了dockercompose文件供下载。
　　参考地址：https：grafana。comdocslokilatestinstallationdocker下载dockercompose文件wgethttps：raw。githubusercontent。comgrafanalokiv2。5。0productiondockercompose。yamlOdockercompose。yaml
　　下载的dockercompose文件如下，也是最简单基本的。version：3networks：loki：services：loki：image：grafanaloki：2。5。0ports：3100：3100command：config。fileetclokilocalconfig。yamlnetworks：lokipromtail：image：grafanapromtail：2。5。0volumes：varlog：varlogcommand：config。fileetcpromtailconfig。ymlnetworks：lokigrafana：image：grafanagrafana：latestports：3000：3000networks：loki
　　这时也可以正常启动即可，默认日志为varlog的位置。dockercomposefdockercompose。yamlup
　　这时，基本的安装就完成了，但是有时候需要更改配置文件，如后续nginx反向代理访问，这时这个配置文件满足不了需求，所以需要自己改动grafana。还有就是dockercomposedown掉，数据也是没了，需要重新添加。
　　2：升级配置启动
　　更改也很简单，无非就是启动后，把docker的配置文件夹拷贝出来本地，然后挂载上去即可。
　　以下就是我自己改的dockercompose文件，可以参考：
　　本人机器3000端口被占用，所以改用3030端口映射，按需设置。还有本人数据文件夹varlibgrafana挂载后，账号进不去，所以先注释掉了，后续在慢慢测试。version：3networks：loki：services：loki：image：grafanaloki：2。5。0restart：unlessstoppedports：3100：3100volumes：。configloki：etclokicommand：config。fileetclokilocalconfig。yamlnetworks：lokipromtail：image：grafanapromtail：2。5。0volumes：varlog：varlog。configpromtail：etcpromtailcommand：config。fileetcpromtailconfig。ymlnetworks：lokigrafana：image：grafanagrafanaenterprise：8。5。2ubunturestart：unlessstoppedports：3030：3000volumes：。configgrafana：etcgrafana。grafanadata：varlibgrafana这行是数据挂载在本地，需要将数据拷贝出来networks：loki
　　最后文件结构如下：除了grafana配置文件夹比较多文件，其他都只有一个。grafana我整个文件夹复制出来就行了。configgrafanagrafana。inildap。tomlprovisioningaccesscontroldashboardsdatasourcesnotifierspluginslokilocalconfig。yamlpromtailconfig。ymldockercompose。yamlgrafanadataalerting〔erroropeningdir〕csv〔erroropeningdir〕grafana。dbpluginspng〔erroropeningdir〕
　　loki的localconfig。yaml参考配置文件：authenabled：falseserver：httplistenport：3100common：pathprefix：lokistorage：filesystem：chunksdirectory：lokichunksrulesdirectory：lokirulesreplicationfactor：1ring：kvstore：store：inmemoryschemaconfig：configs：from：20201024store：boltdbshipperobjectstore：filesystemschema：v11index：prefix：indexperiod：24hruler：alertmanagerurl：http：localhost：9093Bydefault，Lokiwillsendanonymous，butuniquelyidentifiableusageandconfigurationanalyticstoGrafanaLabs。Thesestatisticsaresenttohttps：stats。grafana。orgStatisticshelpusbetterunderstandhowLokiisused，andtheyshowusperformancelevelsformostusers。Thishelpsusprioritizefeaturesanddocumentation。Formoreinformationonwhatssent，lookathttps：github。comgrafanalokiblobmainpkgusagestatsstats。goRefertothebuildReportmethodtoseewhatgoesintoareport。Ifyouwouldliketodisablereporting，uncommentthefollowinglines：analytics：reportingenabled：false
　　promtail的config。yml配置文件：server：httplistenport：9080grpclistenport：0positions：filename：tmppositions。yamlclients：url：http：loki：3100lokiapiv1pushscrapeconfigs：jobname：systemstaticconfigs：targets：localhostlabels：job：varlogspath：varloglog
　　grafana的配置文件太长，就不复制了，自己拷贝出来即可。
　　拷贝完配置文件夹后，更改完后，直接启动即可。sudodockercomposeupd
　　浏览器输入ip端口即可访问，我这里配置为ip：3030端口访问。
　　2：grafana的反向代理nginx配置，域名访问
　　grafana配置完后，默认是IP：端口的方式访问，如果需要域名访问，则需要用到nginx方向代理。
　　官方文档配置参考：https：grafana。comtutorialsrungrafanabehindaproxy
　　需要更改的配置文件为grafana。ini，去掉下面三个前面的注释。domain：你的域名，我这里为grafana。ywbj。ccrooturl：访问链接，官方文档是后面加了grafana，默认是没有的，也可以不加，区别是，不加直接访问网址即可，加了就需要访问域名grafana才能访问，如：grafana。ywbj。ccgrafana才能访问。我这里配置就没有加。servefromsubpath：去掉注释，将false改成true即可。〔server〕domaingrafana。ywbj。ccrooturl（protocol）s：（domain）s：（httpport）sservefromsubpathtrue
　　grafana配置完成，下面就是配置nginx了。官方nginx配置文件：
　　注：如果上面rooturl后面加了grafana，则location改为locationgrafana。thisisrequiredtoproxyGrafanaLiveWebSocketconnections。maphttpupgradeconnectionupgrade｛defaultupgrade；close；｝server｛listen80；servernamegrafana。initcapp。com；rootusrsharenginxhtml；indexindex。htmlindex。htm；location｛proxysetheaderHosthttphost；proxypasshttp：localhost：3000；｝ProxyGrafanaLiveWebSocketconnections。locationapilive｛rewrite（。）1break；proxyhttpversion1。1；proxysetheaderUpgradehttpupgrade；proxysetheaderConnectionconnectionupgrade；proxysetheaderHosthttphost；proxypasshttp：localhost：3000；｝｝
　　上面配置好了，然后启动，虽然可以访问，也可以添加资源，但是在实时查看日志流，会出现错误。
　　QueryerrorLivetailingwasstoppedduetofollowingerror：undefined，如下图：
　　原因是nginxwebsocket出错，即配置文件中locationapilive这个区域。
　　根据另一篇官方文档：https：grafana。comdocsgrafanalatestliveconfiguregrafanalive
　　修改nginx配置文件，最后nginx配置文件为：maphttpupgradeconnectionupgrade｛defaultupgrade；close；｝server｛listen80；servernamegrafana。ywbj。cc；rootusrsharenginxhtml；indexindex。htmlindex。htm；errorlogvarlognginxnginx。localhost。error。logwarn；location｛proxyhttpversion1。1；proxysetheaderUpgradehttpupgrade；proxysetheaderConnectionconnectionupgrade；proxysetheaderHosthttphost；proxypasshttp：localhost：3030；默认为3000端口，我配置为3030，所以是3030。｝
　　这样启动后，功能一切正常了。
　　三：客户端安装及配置
　　loki客户端，及需要收集日志的另一台机器，只需要安装promtail，也可以docker启动安装，也可以二进制安装。
　　由于本人收集日志有其他目录，如果用docker，需要配置挂载很多路径到docker，所以我在客户端直接用二进制启动即可，配置文件比较容易。
　　二进制官方下载地址：https：github。comgrafanalokireleases
　　找到自己合适的版本promtail，我这里是这个。
　　下载后，解压即可，得到一个可执行文件promtaillinuxamd64。rootweb：lokilsconfig。yamlpromtaillinuxamd64
　　还需要创建一个config。yaml文件，用于启动promtail。sudovimconfig。yaml
　　如果有多路径及目录，则添加多个jobname即可。
　　注意：clients中的url为你服务器的地址。server：httplistenport：9080grpclistenport：0positions：filename：tmppositions。yamlclients：url：http：192。168。152。100：3100lokiapiv1push服务器端loki的IP地址scrapeconfigs：jobname：webstaticconfigs：targets：localhostlabels：job：webvarlogspath：varloglogjobname：webstaticconfigs：targets：localhostlabels：job：nginxlogspath：homeubuntularadocklogsnginxlogjobname：webstaticconfigs：targets：localhostlabels：job：apilogspath：homeubuntuapistoragelogslog
　　上面配置文件，后续发现多个jobname也只生效最后一个jobname。然后修改配置多个labels测试，修改配置文件如下，后续添加启动后，查看也只有两个路径，看日志又都有收集，不知道是啥原因〔捂脸〕，有时间后续在查查。server：httplistenport：9080grpclistenport：0positions：filename：tmppositions。yamlclients：url：http：192。168。152。100：3100lokiapiv1push服务器端loki的IP地址scrapeconfigs：jobname：webstaticconfigs：targets：localhostlabels：job：webvarlogspath：varloglogtargets：localhostlabels：job：nginxlogspath：homeubuntularadocklogsnginxlogtargets：localhostlabels：job：apilogspath：homeubuntuapistoragelogslog
　　创建完配置文件，启动即可。。promtaillinuxamd64config。file。config。yaml
　　后台启动，如果需要查看日志，那输入日志。输入ahrefhttps：www。bs178。comrizhitargetblankclassinfotextkey日志a到指定位置nohup。promtaillinuxamd64config。file。config。yamlvarlogpromtail。log21不需要查看ahrefhttps：www。bs178。comrizhitargetblankclassinfotextkey日志a输入，直接为空。nohup。promtaillinuxamd64config。file。config。yamldevnull21
　　启动后，用ps可查看进程是否启动rootweb：lokipsefgreppromtailroot14664001450430710：41pts000：00：00。promtaillinuxamd64config。file。config。yamlroot14664151450430010：41pts000：00：00grepcolorautopromtail
　　四：grafana使用添加loki
　　在浏览器输入域名访问，默认账号密码为admin，admin
　　然后在datasources，点击添加adddatasource，选择loki即可。
　　然后添加服务器loki的地址即可，地址为IP：3100，loki的默认端口为3100。
　　添加完成，没有报错，说明添加成功。
　　在explore，在logbrowser中选择，即可查看刚才添加的日志，这里以job分类。
　　选择一个，showlogs即可查看，右上角为实时流查看日志。
　　这里loki、promtail、Grafana日志系统就配置完了。