Loading...
HomeMy WebLinkAboutAgreement A-15-323-2 with CSUF Foundation.pdf COUNTY OF FRESNO Fresno, CA -1 - 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 AMENDMENT II TO AGREEMENT THIS AMENDMENT, hereinafter referred to as “Amendment II”, is made and entered into this ____ day of __________, 2017, by and between the COUNTY OF FRESNO, a Political Subdivision of the State of California, hereinafter referred to as “COUNTY”, and CALIFORNIA STATE UNIVERSITY, FRESNO FOUNDATION, a Private Non-Profit Organization, whose address is 4910 N. Chestnut Avenue, Fresno, California, 93726-1952, hereinafter referred to as “CONTRACTOR” (collectively the “parties”). WHEREAS the parties entered into that certain Agreement, identified as COUNTY Agreement No. A-15-323, effective July 14, 2015, and Amendment I to Agreement No. A-15-323, effective July 14, 2015, hereinafter collectively referred to as “Agreement”, whereby CONTRACTOR agreed to provide certain program evaluation services to COUNTY’s Department of Public Health; and WHEREAS the parties now desire to amend the Agreement regarding changes as stated below and restate the Agreement in its entirety. NOW, THEREFORE, in consideration of their mutual promises, covenants and conditions, hereinafter set forth, the sufficiency of which is hereby acknowledged, the parties agree as follows: 1. That the following be deleted from existing COUNTY Agreement No. A-15-323, Page 2, beginning with Line 4: “This Agreement shall automatically be extended for one (1) additional twelve (12) month period upon the same terms and conditions herein set forth, unless written notice of nonrenewal is given by either CONTRACTOR or COUNTY or COUNTY’s DPH Director, or designee, not later than sixty (60) days prior to the close of the current Agreement term.” 2. That the existing COUNTY Agreement No. A-15-323, Page 3, beginning with Section 4, “COMPENSATION,” Line 6, with the word “In” and ending on Line 8, with the word “Agreement” be deleted and the following inserted in its place: “In no event shall actual services performed under this Agreement be in excess of One Hundred Seventy-Five Thousand, One Hundred Twenty-One and No/100 Dollars ($175,121) during the period July 14, 2015 through September 30, 2016, and Eighty-Three Thousand, Five Hundred and No/100 Dollars ($83,500) during the period of October 1, 2016 through September 29, 2017.” COUNTY OF FRESNO Fresno, CA -2 - 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 3. That all references in existing COUNTY Agreement No. A-15-323 to “Exhibit A” shall be changed to read “Revised Exhibit A”, attached hereto and incorporated herein by reference. 4. That all references in existing COUNTY Agreement No. A-15-323 to “Revised Exhibit B” shall be changed to read “Revised Exhibit B-1”, attached hereto and incorporated herein by reference. 5. Except as otherwise provided in this Amendment II, all other provisions of the Agreement remain unchanged and in full force and effect. This Amendment II shall become effective upon execution. 6. COUNTY and CONTRACTOR agree that this Amendment II is sufficient to amend the Agreement, and that upon execution of this Amendment II, the Agreement, Amendment I, and Amendment II together shall be considered the Agreement. /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// Comprehensive Evaluation and Actual Use Assessment Plan Awardee Name: Awardee Type: Fresno County Department of Public Health PICH Date Printed:7/10/2016 Plan Name Farm to Table This plan measures actual use This is a required outcome evaluation of an innovative intervention This is a voluntary evaluation What is the purpose of this plan? Is this evaluation/assessment focused on a single intervention or a broader strategy (group of interventions  aiming to achieve similar outcomes)? Single Intervention Strategy (group of interventions) Overview John A. Capitman, PhD Executive Director, Central Valley Health Policy Institute California State Univeristy, Fresno 559‐228‐2157 jcapitman@csufresno.edu List any topics you would like to see addressed through evaluation TA, webinars, collaborative calls or other training  opportunities.  Nam Title Affiliation Phone Emai Who is the primary point of contact for this evaluation plan? Sunday, July 10, 2016 Page 1 of 56 Revised Exhibit A Plan Name Farm to Table Farm to TableIntervention/strategy name Risk factor(s)/focus areas Description The Fresno County Department of Public Health (FCDPH) and the Farm  to Table Workgroup will increase access to fruits and vegetables in  communities with the greatest health disparities by collaborating with  local food aggregators, school districts, and community agencies for  126,347 residents. Two models will be implemented during the  intervention, 1) Food Recovery and 2) a modified community  supported agriculture (CSA) model. Fresno Metro Ministry will  implement a Food Recovery model where they distribute food at well  developed community resource locations such as churches, community  centers, and parks. Food Commons Fresno will use school sites to sell  food boxes adapting the CSA model. This evaluation is of actual use;  therefore, the plan is designed to measure actual use of the CSA model  food distribution at the school sites. This will be done by collecting all  receipts from each purchase that is made. This will allow the Evaluation  Team to determine the extent to which community members actually  use the site. The Food Recovery sites will be evaluated for their ability  to distribute pounds of food to local communities and their ability to  create access points for communities of high need. This intervention meets CDC's criteria for  innovative. Explain No Yes Anticipated start date of intervention(month/year)4/1/2015 Anticipated end date of intervention(month/year)9/30/2017 Does intervention/strategy aim to reduce health  disparities? The intervention focuses on a general population  only (typically jurisdiction wide) The intervention aims to reduce health disparities by focusing on  both a general population(jurisdiction wide) and one or more  specific sub‐populations The intervention aims to reduce health disparities by focusing on  one or more specific sub‐populations Intervention Description Please include a logic model for the intervention as an attachment when you submit your evaluation plan to CDC. Tobacco Nutrition Physical Activity Community and Clinical Linkages Communication Sunday, July 10, 2016 Page 2 of 56 Revised Exhibit A Plan Name Farm to Table Please list each of your evaluation questions. Evaluation questions should relate to the impact of an intervention/strategy on  specific health behaviors and/or health outcomes. Research questions are not appropriate. If this plan is to meet the actual  use assessment requirement, then at least one question should be related to actual use. In addition, all questions should  inform the evidence base and/or contribute to program improvement. Evaluation Questions Evaluation Question What indicators will be measured to  address this question? Describe how this question will contribute to the evidence  base, program improvement, or an assessment  of actual use. This question will measure the programs ability to reach  communities with low access to fruits and vegetables.  Answering this question will provide insight to the number  of access points provided to community members to attain  fresh fruits and vegetables. This question will also help to  estimate the number of individuals who are in close  proximity to the access point. To what extent does  the Farm to Table CSA  intervention increase  access to fruits and  vegetables in low  income  neighborhoods in the  City of Fresno that  currently have limited  access? The number of sites created by FCDPH. This question will measure the number of individuals that  have increased access to fresh fruits and vegetables. In neighborhoods that  incorporate a food  recovery or  community supported  agriculture model, to  what extent does  FCDPH increase the  number of individuals  with increased access  to fresh healthy  foods? The number of individuals who  purchase or receive fresh fruits and  vegetables from Community Supported  Agriculture or food recovery. The number of individuals with  Supplemental Nutrition Assistance  Program who purchase fresh fruits and  vegetables from Community Supported  Agriculture or receive food from food  recovery. Sunday, July 10, 2016 Page 3 of 56 Revised Exhibit A Plan Name Farm to Table Evaluation Design Please describe the overall evaluation design, including the number and description of any comparison groups (if applicable)  and the timing and frequency of data collection (e.g., before and after implementation). The proposed evaluation will use a cross‐sectional design in order to estimate the number of community members with  improved access to healthy food options. This evaluation will include an assessment of actual use by collecting purchase  receipts and counting the number of individuals that purchase fresh fruits and vegetables. The Evaluation Team will work  closely with Food Commons Fresno and Fresno Metro Ministry in order to track all individuals who either purchase food or  pick‐up food at the access points. When evaluating Food Commons Fresno at the school sites, a report of all transactions  made will be collected and analyzed by the Evaluation Team. These records will be reviewed to determine the number of  access points created throughout program implementation, the number of individuals who make purchases, and the number  of individuals who purchase food using Supplemental Nutrition Assistance Program benefits. Data will be collected monthly  and records will be attained for all purchases made. Individuals will be tracked throughout the program. In order to evaluate  the Food Recovery project incorporated by Fresno Metro Ministry, the Evaluation Team will work closely to track the pounds  of food distributed to each access point. A general estimation of the number of individuals impacted by the redistribution of  recovered food will be made. Sunday, July 10, 2016 Page 4 of 56 Revised Exhibit A Plan Name Farm to Table Instruments Please list each of your evaluation instruments/data sources. If you know the indicators you want to measure, but have not  yet selected the instruments, indicate "TBD" for the instrument. Please include available instruments as attachments when  you submit your evaluation plan to CDC. Instrument/ Data Source  Reference Please describe any modifications  made to the original instrument What key indicators are measured by this  instrument/data source? The primary tool  will be receipts  collected from all  the purchases  made at each site.  These receipts will  be used to  compare who used  SNAP services to  purchase food. United States  Department of  Agriculture Food and  Nutrition Service hƩp://www.fns.usda. gov/farmtoschool/pro curing‐local‐ foodsprovides  extensive guidelines  on tool/instrument  developmnet. An  evaluation can be  made by tracking  farm origins on  distributor invoices.  Define ‘Local’: a  boundary must be  established N/A The number of individuals who purchase  or receive fresh fruits and vegetables  from Community Supported Agriculture  or food recovery. The number of individuals with  Supplemental Nutrition Assistance  Program who purchase fresh fruits and  vegetables from Community Supported  Agriculture or receive food from food  recovery. The number of sites created by FCDPH. Instrument/ Data Source  Reference Please describe any modifications  made to the original instrument What key indicators are measured by this  instrument/data source? Survey Oakland, CA Fresh  Food Share project. Questions were adapted from  Oakland's implementation of a Fresh  Food Share project. The number of individuals who purchase  or receive fresh fruits and vegetables  from Community Supported Agriculture  or food recovery. Sunday, July 10, 2016 Page 5 of 56 Revised Exhibit A Plan Name Farm to Table Sampling Plan The primary tool will be receipts collected from all the purchases  made at each site. These receipts will be used to compare who  used SNAP services to purchase food. Instrument Name DescriptionSub‐population Are you trying to represent any specific subpopulations in your sample?  If yes, please complete this table by checking the  subpopulation included in your sample, indicating the desired sample size per group, and describing in the space provided. Sampling Plan Intended Sample Size A random sample of the community supported agriculture sites will be observed so that we can develop an unbiased  estimate of how many individuals use the resource. By using a random sampling strategy, we can estimate with the highest  the number of individuals who benefit from the CSA sites. The CSA site will be the only level of sampling included in this  evaluation. At each observation, during the randomly allotted time period, all individuals who purchase a food box will be  counted. Please provide your reasoning and/or justification for the sampling appoach.  Address all levels of the sampling plan. A limitaƟon in our sampling plan is that we are limited to the number of sites that we will make observaƟons. Another  limitation is that the random observation dates could be bias. These limitations are expected, and have been implemented  in previous evaluations. Yes No (why not?)Not applicable Describe the limitations of the sampling plan. Did you conduct a power analysis? NoYesIf yes, is your intended sample size sufficiently powered?  Please explain. # Level Number of  Units Intended  Sample Size Sampling Approach 1 Community Supported  Agriculture sites 9 9 universal All CSA sites will be included in order to count the number of community participants which make a purchase from the site. 2 Sunday, July 10, 2016 Page 6 of 56 Revised Exhibit A Plan Name Farm to Table Age Homeless/transient Immigrants/Non‐native English speakers LGBTQ Low SES/income People w/disabilities (cognitive or Physical) People w/mental illness/substance abuse conditions Race Ethnicity Uninsured/underinsured Other disparate subpopulation Gender Geography (urban, rural or frontier) How will you recruit and/or select participants to respond to this instruments? Will you use participation incentives to promote response rate to the instrument? All participants who purchase food will be included. Yes (please describe) No Sunday, July 10, 2016 Page 7 of 56 Revised Exhibit A Plan Name Farm to Table SurveyInstrument Name Age Homeless/transient Immigrants/Non‐native English speakers LGBTQ Low SES/income People w/disabilities (cognitive or Physical) People w/mental illness/substance abuse conditions Race Ethnicity Uninsured/underinsured Other disparate subpopulation Gender Geography (urban, rural or frontier) DescriptionSub‐population Are you trying to represent any specific subpopulations in your sample?  If yes, please complete this table by checking the  subpopulation included in your sample, indicating the desired sample size per group, and describing in the space provided. How will you recruit and/or select participants to respond to this instruments? Will you use participation incentives to promote response rate to the instrument? All consumers who pick‐up a food box will have the opportunity to participate in the survey. Consumers will self‐select by  their willingness to participate in the evaluation. Yes (please describe)A $10 gift card will be given to the participant upon completion of the survey. No Sampling Plan Intended Sample Size A minimum of 20 indivdiuals are needed in order to open a school site by Food Commons Fresno. We anticipate that by  sampling at least 20 consumers per site we will have a good estimate of how many family members are benefiting from all  purchases being made. Please provide your reasoning and/or justification for the sampling appoach.  Address all levels of the sampling plan. A limitation of the sampling process is that we will not be able to infer any findings generated from the report to the overall  population because sampling is not random. Yes No (why not?)Not applicable Describe the limitations of the sampling plan. Did you conduct a power analysis? NoYesIf yes, is your intended sample size sufficiently powered?  Please explain. # Level Number of  Units Intended  Sample Size Sampling Approach 1 Consumers 250 180 convenience At each school site 20 individuals will be surveyed. All consumers who pick‐up a food box will have the opportunity to  particpate in the survey. Sunday, July 10, 2016 Page 8 of 56 Revised Exhibit A Plan Name Farm to Table Data Collection Plan Instrument Name The primary tool will be receipts collected from all the purchases made at each  site. These receipts will be used to compare who used SNAP services to  purchase food. Please describe in detail the data collection protocol for  this instrument. Data will be collected from receipts. The receipts will detail if  the purchase was made with SNAP benefits. The subcontractor  that is selling the food boxes will share receipts with the  evaluator. Who will administer this instrument/collect the data?The subcontractor that is selling the food boxes will share  receipts with the evaluator. How will you train data collectors to ensure data are  collected accurately and reliably? Accuracy and reliablity of data collection will rely solely on  receipts. If necessary, research assistants will be trained on  data‐entry in order to separate individuals who paid with SNAP  services. Will you collect data from the same individuals over time  (longitudinal) or from independent samples at each time  point (cross‐sectional)? Longitudinal Cross‐sectional Observation Survey Intercept survey Interview Records review Please select the data collection method. 1 time 2 times 3 or more times timing is continuous or ongoing How many times will you administer this instrument? Please describe the timing for when you will collect data.For the three year duration of this study, CVHPI will receipts  from the CSA sites created throughout the intervention by the  FCDPH. All sites created will be included in this analysis. At the  end of each year, a progress report will be supplied for  documentation. Instrument Name Survey Observation Survey Intercept survey Interview Records review Please select the data collection method. 1 time 2 times 3 or more times timing is continuous or ongoing How many times will you administer this instrument? Please describe the timing for when you will collect data.This survey will be administered at each site once. The survey  will be administered on the third week of site operation. We  anticipate that by the third week of operation the site will have  Sunday, July 10, 2016 Page 9 of 56 Revised Exhibit A Plan Name Farm to Table Please describe in detail the data collection protocol for  this instrument. Trained research assistants will administer the survey. A mock  interview will be conducted in order to train the research  assistants. The research assistant will intercept the consumer  after a food pick‐up has been made. At this time, the research  assistant will assist the consumer in completing the survey. Who will administer this instrument/collect the data?A trained research assistant will administer the survey. How will you train data collectors to ensure data are  collected accurately and reliably? The Evaluation Team will instruct Research Assistants through a  mock trial. This help ensure accurate and reliable  administration of the tool. Will you collect data from the same individuals over time  (longitudinal) or from independent samples at each time  point (cross‐sectional)? Longitudinal Cross‐sectional a consistent base population. Sunday, July 10, 2016 Page 10 of 56 Revised Exhibit A Plan Name Farm to Table Complete a data analysis plan for each question. Data Analysis Plan To what extent does the Farm to Table CSA intervention increase access to  fruits and vegetables in low income neighborhoods in the City of Fresno  that currently have limited access? Evaluation Question What indicators will be examined? The number of sites created by FCDPH. OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? The number of sites created by the FCDP will be recorded. This variable  will be treated as a ratio value. N/A What procedures will you conduct to test  your assumptions? N/A What types of variables will be examined? What descriptive analyses will you perform? In neighborhoods that incorporate a food recovery or community  supported agriculture model, to what extent does FCDPH increase the  number of individuals with increased access to fresh healthy foods? Evaluation Question What indicators will be examined? The number of individuals with Supplemental Nutrition Assistance Program  who purchase fresh fruits and vegetables from Community Supported  Agriculture or receive food from food recovery. The number of individuals who purchase or receive fresh fruits and  vegetables from Community Supported Agriculture or food recovery. OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? The number of individuals who purchase or receive food from the  community site will be tallied and treated as a ratio variable. This measure  will provide information on the extent to which individuals in the  community actually use the site. N/A What procedures will you conduct to test  your assumptions? N/A What types of variables will be examined? What descriptive analyses will you perform? Sunday, July 10, 2016 Page 11 of 56 Revised Exhibit A Plan Name Farm to Table Dissemination Plan Fresno County Health Improvement Partnership members, Fresno Food Service  and Risk Management, Community members, CDC and Peer reviewed journals. All findings will be written and shared primarily with the Fresno Community  Health Improvement Partnership, community as well as conferences, social  media platforms, a variety of academic settings, and potentially through a peer‐ reviewed journal such as Nutrition Education and Behavior, Preventive  Medicine, Health Education and Behavior, The Journal of Child Nutrition and  Management, and Health Psychology. The findings generated by this voluntary  assessment may be utilized by stakeholders in creating a platform to present  evidence to community leaders and policy makers for positive changes to the  current food distribution practices experienced by Fresno County schools.   CVHPI will work in conjunction with FCDPH for all dissemination purposes. List all audiences for the evaluation findings How will you disseminate the findings from  this evaluation? Do you plan to develop a peer ‐ reviewed  manuscript based on this evaluation? Yes No Sunday, July 10, 2016 Page 12 of 56 Revised Exhibit A Plan Name Farm to Table For each milestone, please indicate the current status and anticipated or actual dates of initiation and completion. Also  indicate the specific activities that must be completed to achieve each milestone. Evaluation Work Plan Finalize evaluation plan Evaluation Milestone Milestone Status Milestone Init Date 4/1/2015 Milestone Completion Dat 9/1/2015Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Obtain IRB approval / exemption Evaluation Milestone Milestone Status Milestone Init Date 4/1/2015 Milestone Completion Dat 9/18/2015Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Collect baseline data Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Analyze baseline data Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 13 of 56 Revised Exhibit A Plan Name Farm to Table Disseminate baseline data Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Collect followup data (1) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Analyze followup data (1) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Disseminate followup data (1) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 14 of 56 Revised Exhibit A Plan Name Farm to Table Collect followup data (2) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Analyze followup data (2) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Disseminate followup data (2) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Collect followup data (3) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 15 of 56 Revised Exhibit A Plan Name Farm to Table Analyze followup data (3) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Disseminate followup data (3) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 16 of 56 Revised Exhibit A Plan Name Prescription for Health This plan measures actual use This is a required outcome evaluation of an innovative intervention This is a voluntary evaluation What is the purpose of this plan? Is this evaluation/assessment focused on a single intervention or a broader strategy (group of interventions  aiming to achieve similar outcomes)? Single Intervention Strategy (group of interventions) Overview John Capitman, PhD Executive Director, Central Valley Health Policay Institute California State University, Fresno 559‐228‐2157 jcapitman@csufresno.edu List any topics you would like to see addressed through evaluation TA, webinars, collaborative calls or other training  opportunities.  Nam Title Affiliation Phone Emai Who is the primary point of contact for this evaluation plan? Sunday, July 10, 2016 Page 17 of 56 Revised Exhibit A Plan Name Prescription for Health Prescription for HealthIntervention/strategy name Risk factor(s)/focus areas Description The “Rx for Health” referral system will use local resources to integrate  and promote lifestyle intervention programs (CDSMP, DASH Diet,  National Diabetes Prevention Program, and smoking cessation  programs) in federally qualified health centers and/or rural health  clinics. Referrals will result in increased opportunities for free and low‐ cost, tobacco cessation, and chronic disease self‐management  workshops. The Rx for Health system will include training and support  for clinicians, changes to electronic medical records to track referrals,  and will build relationships with intervention participants to track the  success of referral practices. The evaluation team will administer an  innovative plan which will capture the extent to which the referral  system has an impact on patient’s health outcomes. Furthermore, all  patients who are identified as having uncontrolled hypertension will be  tracked from implementation up until the end of the evaluation period.  This evaluation strategy will allow us to report how many individuals  used the referral system, where attrition may occur throughout the  process, and how much of an impact the referral system has on health  behaviors and other health outcomes. A subset of patients who are  referred to lifestyle change programs will be closely monitored and will  be administered a survey which tracks motivation, perception,  behavior, and social support of patient’s hypertension management. This intervention meets CDC's criteria for  innovative. Explain This intervention is innovative because, to our  knowledge, there are no consensus  recommendations for program design and no  structured evaluations of the model in similar  populations. This evaluation will provide insight  on how well the referral program has reached  the population in consideration, as well as the  health outcome of the studied individuals. No Yes Anticipated start date of intervention(month/year)4/1/2015 Anticipated end date of intervention(month/year)9/1/2017 Does intervention/strategy aim to reduce health  disparities? The intervention focuses on a general population  only (typically jurisdiction wide) The intervention aims to reduce health disparities by focusing on  both a general population(jurisdiction wide) and one or more  specific sub‐populations Intervention Description Please include a logic model for the intervention as an attachment when you submit your evaluation plan to CDC. Tobacco Nutrition Physical Activity Community and Clinical Linkages Communication Sunday, July 10, 2016 Page 18 of 56 Revised Exhibit A Plan Name Prescription for Health The intervention aims to reduce health disparities by focusing on  one or more specific sub‐populations Sunday, July 10, 2016 Page 19 of 56 Revised Exhibit A Plan Name Prescription for Health Please list each of your evaluation questions. Evaluation questions should relate to the impact of an intervention/strategy on  specific health behaviors and/or health outcomes. Research questions are not appropriate. If this plan is to meet the actual  use assessment requirement, then at least one question should be related to actual use. In addition, all questions should  inform the evidence base and/or contribute to program improvement. Evaluation Questions Evaluation Question What indicators will be measured to  address this question? Describe how this question will contribute to the evidence  base, program improvement, or an assessment  of actual use. This question will measure the effect of the prescription for  lifestyle modification on relevant behavioral changes. Do patients  participating in the Rx  for Health program  demonstrate better  behavioral patterns  for chronic disease  self‐management  than non‐participants? Weight in pounds Body Mass Index HbA1c level Blood Pressure Level of fasƟng low‐density  lipoprotein (LDL) This question will contribute by measuring behavioral  patterns for smoking in individuals that participate in a  referral program. What is the effect of  Rx for Health lifestyle  modification  programming on  patients’ smoking  behaviors compared  to those in non‐ participating clinics? Number of individuals who quit  smoking Number of smokers who have made a  quit attempt This evaluation question will directly provide information on  the patients’ attitude, self‐efficacy, and social support  systems before and after the referral has been made.  Physical health outcomes as well as attitudinal changes that  may occur throughout the program will also be captured.  This question will also measure the impact of the referral  system on individuals who participate compared to those  who do not. What is the effect of  Rx for Health lifestyle  modification  programming on  patients’ attitudes,  self‐efficacy, and  social support for  chronic disease self‐ management  compared to non‐ participating patients? Proportion of individuals who make  behavioral changes to manage their  hypertension. Proportion of individuals who make  attitudinal changes toward their  hypertension management. Proportion of individuals who make  self‐efficacy changes toward their  hypertension management. Proportion of individuals who make  social support changes to manage their  hypertension. Sunday, July 10, 2016 Page 20 of 56 Revised Exhibit A Plan Name Prescription for Health This question will inform on a patient's smoking patterns  before and after the referral on behaviors, attitudues, self‐ efficacy, and social support. This question will also provide  insight on actual smoking cessation. What is the effect of  Rx for Health lifestyle  modification  programming on  patients’ smoking  cessation behaviors,  attitudes, self‐ efficacy, and social  support compared to  non‐participating  patients? Proportion of smokers who make  behavioral changes to their  management of hypertension. Proportion of smokers who make  attitudinal changes to their  management of uncontrolled  hypertension. Proportion of smokers who make self‐ efficacy changes to their management  of uncontrolled hypertension. Proportion of smokers who make social  support changes to their management  of uncontrolled hypertension. This question will contribute to the assessment of actual use  by tracking all individuals identified as having hypertension  and tracking which of those individuals are eventually  referred to a program. This is a preliminary step prior to the  health outcome evaluation of a subgroup of patients who  are enrolled in the referral program. To what extent are  the referral programs  being used by  individuals with  uncontrolled  hypertension? The proportion of individuals who are  actually using the referral program  compared to the total population  identified as having uncontrolled  hypertension. The proportion of individuals who  complete all sessions of the referral  program compared to the number of  individuals who initially enrolled in the  program. Sunday, July 10, 2016 Page 21 of 56 Revised Exhibit A Plan Name Prescription for Health Evaluation Design Please describe the overall evaluation design, including the number and description of any comparison groups (if applicable)  and the timing and frequency of data collection (e.g., before and after implementation). The proposed outcome evaluation will be a longitudinal design where all individuals identified as having uncontrolled  hypertension will be tracked for the duration of the program. A local clinic will identify and contact all patients who have  uncontrolled hypertension and attempt to recruit these individuals for the referral system. An evaluation of actual use will be  reported within several phases of the program. For example, of the patients who have uncontrolled hypertension, only a  certain proportion of individuals will successfully get in to see a physician or be referred. This is one example of the number  of individuals who actually use the services compared to those who do not. Furthermore, this evaluation is categorized as  innovative because we will track a subgroup of individuals who enroll in a lifestyle change program and compare them to  individuals who are delayed in their referral to the program. This will be accomplished by anticipating a staggered referral  process where a subset of individuals will have to wait in order to enroll in a lifestyle change program. This subset will be  interviewed two times prior to enrollment. We anticipate that in year‐2 we will sample and interview a total of 150  individuals whom are referred to the lifestyle change program. These individuals will be enrolled in the lifestyle change  program by two different cohorts, each with 75 individuals. All 150 individuals will be interviewed prior to enrollment. Cohort  A will receive a follow‐up interview after completion of a lifestyle change program and Cohort B will receive a follow‐up  interview prior to enrolling in the lifestyle change program. Cohort B will be used as a comparison group. Sunday, July 10, 2016 Page 22 of 56 Revised Exhibit A Plan Name Prescription for Health Instruments Please list each of your evaluation instruments/data sources. If you know the indicators you want to measure, but have not  yet selected the instruments, indicate "TBD" for the instrument. Please include available instruments as attachments when  you submit your evaluation plan to CDC. Instrument/ Data Source  Reference Please describe any modifications  made to the original instrument What key indicators are measured by this  instrument/data source? Interview Survey Warren‐Findlow, Jan,  and Rachel B.  Seymour. "Prevalence  rates of hypertension  self‐care activities  among African  Americans." Journal  of the National  Medical Association  103.6 (2011): 503. Han, Hae‐Ra, et al.  "Development and  validation of the  hypertension self‐care  profile: a practical  tool to measure  hypertension self‐ care." The Journal of  cardiovascular nursing  29.3 (2014): E11. Douglas, Brenda M.,  and Elizabeth P.  Howard. "Predictors  of self‐management  behaviors in older  adults with  hypertension."  Advances in  preventive medicine  2015 (2015). Several Questions from the H‐Scale  and the Hypertension Blood  Pressure Self‐Care Profile were  adapted for the interview survey  used throughout this evaluation. The  measures included have been peer‐ reviewed in academic journals and  demonstrate a high level of  reliability and validity for measuring  behaviors and other related factors  to the management of hypertension.  The items selected for our interview  survey demonstrated the highest  level of factor loading when a factor  analysis was administered. Please  view the references provided above  for an extensive review of the two  scales.  Questions of demography  were supplemental to the survey. Proportion of individuals who make  behavioral changes to manage their  hypertension. Proportion of smokers who make  attitudinal changes to their management  of uncontrolled hypertension. Proportion of individuals who make  social support changes to manage their  hypertension. Proportion of individuals who make self‐ efficacy changes toward their  hypertension management. Number of individuals who quit smoking Number of smokers who have made a  quit attempt Instrument/ Data Source  Reference Please describe any modifications  made to the original instrument What key indicators are measured by this  instrument/data source? Clinica Patient  Tracking System Tracking software called i2i Tracking  has been created to follow all  patients for the duration of the  evalution. Weight in pounds Body Mass Index HbA1c level Blood Pressure Level of fasƟng low‐density lipoprotein  (LDL) Sunday, July 10, 2016 Page 23 of 56 Revised Exhibit A Plan Name Prescription for Health Sampling Plan Interview SurveyInstrument Name Age Homeless/transient Immigrants/Non‐native English speakers LGBTQ Low SES/income People w/disabilities (cognitive or Physical) People w/mental illness/substance abuse conditions Race Ethnicity Uninsured/underinsured Other disparate subpopulation Gender Geography (urban, rural or frontier) DescriptionSub‐population Are you trying to represent any specific subpopulations in your sample?  If yes, please complete this table by checking the  subpopulation included in your sample, indicating the desired sample size per group, and describing in the space provided. How will you recruit and/or select participants to respond to this instruments? All patients identified as having uncontrolled hypertension will have the opportunity to participate in a lifestyle change  program. Of those patients identified as having uncontrolled hypertension, a subset of patients will be randomly selected to  Sampling Plan Intended Sample Size This sampling approach allows us to evaluate the impact of the referral programs by comparing individuals who have been  referred to those who have not yet participated in the lifestyle change programs. Eventually, the delayed (comparison)  group will have the opportunity to participate in the lifestyle change program. Assignment to the immediate or delayed  cohort will be random. Please provide your reasoning and/or justification for the sampling appoach.  Address all levels of the sampling plan. A limitation in this design is that patients who are sampled may represent a bias group who are willing to participate in the  health care system. We do not know the reasons for some individuals who are identified as having uncontrolled  hypertension for not participating. Yes No (why not?)Not applicable Describe the limitations of the sampling plan. Did you conduct a power analysis? NoYesIf yes, is your intended sample size sufficiently powered?  Please explain. Yes, if the intended sample size is obtained we will be jusƟfied in using inferenƟal staƟsƟcs. # Level Number of  Units Intended  Sample Size Sampling Approach 1 Patient 2500 300 convenience A random sample of patients will be generated from a subset of patients who qualify to be referred to a lifestyle change  program. Our appoach is to sample cohorts of patients that will be referred at different times to the lifestyle change  program. The go Sunday, July 10, 2016 Page 24 of 56 Revised Exhibit A Plan Name Prescription for Health Will you use participation incentives to promote response rate to the instrument? take the interview survey. Patient navigators will administer the intervew survey twice to each patient. The evaluation team  and the patient navigators will work closely to ensure that patients are in the correct cohort. Yes (please describe)Each participant has the opportunity of receiving a $25 gift card with the completion of the  second survey. In order to receive the incentive, the patient must have completed the No Sunday, July 10, 2016 Page 25 of 56 Revised Exhibit A Plan Name Prescription for Health Clinica Patient Tracking SystemInstrument Name Age Homeless/transient Immigrants/Non‐native English speakers LGBTQ Low SES/income People w/disabilities (cognitive or Physical) People w/mental illness/substance abuse conditions Race Ethnicity Uninsured/underinsured Other disparate subpopulation Gender Geography (urban, rural or frontier) DescriptionSub‐population Are you trying to represent any specific subpopulations in your sample?  If yes, please complete this table by checking the  subpopulation included in your sample, indicating the desired sample size per group, and describing in the space provided. How will you recruit and/or select participants to respond to this instruments? Will you use participation incentives to promote response rate to the instrument? All patients identified as having uncontrolled hypertension will be contacted for this program. Patient Navigators will make  several attempts at enrolling all individuals. Yes (please describe) No Sampling Plan Intended Sample Size A universal sampling approach will be implemented in order to capture the extent to which the intervention successfully  manages the population that is identified as having uncontrolled hypertension. The evaluation team understands that not all  individuals will participate in the program. However, a universal sampling approach will allow us to capture the proportion  of attrition throughout the implementation process. Please provide your reasoning and/or justification for the sampling appoach.  Address all levels of the sampling plan. There are no foreseable limitations at this time. Yes No (why not?)Not applicable Describe the limitations of the sampling plan. Did you conduct a power analysis? NoYesIf yes, is your intended sample size sufficiently powered?  Please explain. # Level Number of  Units Intended  Sample Size Sampling Approach 1 1 2500 2500 universal No sampling approach occur at this level. All individuals who are identified as having uncontrolled hypertension will be  tracked throughout program implementation. Sunday, July 10, 2016 Page 26 of 56 Revised Exhibit A Plan Name Prescription for Health Data Collection Plan Instrument Name Interview Survey Please describe in detail the data collection protocol for  this instrument. Behavioral health outcomes will be collected from electronic  medical records and all other types of data that are related to  the management of hypertension will be collected from the  interview survey. Healthcare professionals (e.g. physicians,  nurses, and patient navigators) will directly input data into the  electronic medical records system whenever appropriate.  Patient navigators will be trained on how to administer and  collect data from the interview survey instrument. Patient  navigators will assist patients in filling out the survey  instrument which will be completed either at the clinic or over  the phone. Each interview will take approximately 30 to 40  minutes. The patient navigator will administer the survey twice  to each patient and at the second interview will provide the  participant with a gift card for participation. CVHPI will work  closely with the patient navigators, Fresno Department of  Public Health, and the life‐style change referral group to ensure  data is securely and accurately stored. Patient navigators will  share the survey data and the medical records data with CVHPI  for evaluation. Who will administer this instrument/collect the data?Trained research assistants will administer the instrument. How will you train data collectors to ensure data are  collected accurately and reliably? Patient Navigators will be trained prior to administering the  informed consent and survey by a mock exercise to ensure  accurate data collection. A full review of all the items on the  survey will be thoroughly discussed by the evaluation team and  the Patient Navigators to ensure that the navigator can explain  the survey content to a patient. Observation Survey Intercept survey Interview Records review Please select the data collection method. 1 time 2 times 3 or more times timing is continuous or ongoing How many times will you administer this instrument? Please describe the timing for when you will collect data.The interview survey will be administered twice. The survey will  be administered once prior to enrollment in a lifestyle change  program and a second time after completion of the program. A  small subgroup of patients will take the survey twice prior to  enrollment in a lifestyle change program in order to have a  comparison group. There will be approximately 3 to 6 months  in between each survey. Sunday, July 10, 2016 Page 27 of 56 Revised Exhibit A Plan Name Prescription for Health Will you collect data from the same individuals over time  (longitudinal) or from independent samples at each time  point (cross‐sectional)? Longitudinal Cross‐sectional Instrument Name Clinica Patient Tracking System Please describe in detail the data collection protocol for  this instrument. The electronic software used by the clinic is called i2i Tracking.  Indicators have been manually entered to reflect behavioral  indicators for hypertension management. Who will administer this instrument/collect the data?Data is automatically updated by health care professionals and  patient navigators. How will you train data collectors to ensure data are  collected accurately and reliably? Health care professionals and Patient Navigators have been  trained to upload data. Will you collect data from the same individuals over time  (longitudinal) or from independent samples at each time  point (cross‐sectional)? Longitudinal Cross‐sectional Observation Survey Intercept survey Interview Records review Please select the data collection method. 1 time 2 times 3 or more times timing is continuous or ongoing How many times will you administer this instrument? Please describe the timing for when you will collect data.Data will be collected at sevaral points throughout  implementation of the program. All patients who are identified  as having uncontrolled hypertension will have data collected  from the electronic tracking system. Additional data will be  collected on individuals who come in to see a physician, at this  point patients who refuse will be included in evaluation reports  but will not be tracked. Data will be continuously tracked for  individuals throughout program implementation so that we can  evaluate attrition as well as the behavioral advances that  participating patients make. Sunday, July 10, 2016 Page 28 of 56 Revised Exhibit A Plan Name Prescription for Health Complete a data analysis plan for each question. Data Analysis Plan Do patients participating in the Rx for Health program demonstrate better  behavioral patterns for chronic disease self‐management than non‐ participants? Evaluation Question What indicators will be examined? Body Mass Index HbA1c level Blood Pressure Level of fasƟng low‐density lipoprotein (LDL) Weight in pounds OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? Descriptive analysis will be conducted by demographic characteristics as  well as health categories. This indicator will be tracked over a 6 month  period to determine the extent to which lifestyle change referrals impact  physical health. N/A What procedures will you conduct to test  your assumptions? N/A What types of variables will be examined? What descriptive analyses will you perform? What is the effect of Rx for Health lifestyle modification programming on  patients’ smoking behaviors compared to those in non‐participating clinics? Evaluation Question What indicators will be examined? Number of smokers who have made a quit aƩempt Number of individuals who quit smoking Sunday, July 10, 2016 Page 29 of 56 Revised Exhibit A Plan Name Prescription for Health OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? Descriptive analysis will be conducted by demographic characteristics as  well as health categories. This indicator will be tracked over a 6 month  period to determine the effect of the program. Repeated measures will be used to conduct inferential analysis for the  entire population. What procedures will you conduct to test  your assumptions? Tests of tool validity and reliability will be conducted prior to any analysis. What types of variables will be examined? What descriptive analyses will you perform? What is the effect of Rx for Health lifestyle modification programming on  patients’ attitudes, self‐efficacy, and social support for chronic disease self‐ management compared to non‐participating patients? Evaluation Question What indicators will be examined? Proportion of individuals who make social support changes to manage their  hypertension. Proportion of individuals who make behavioral changes to manage their  hypertension. Proportion of individuals who make attitudinal changes toward their  hypertension management. Proportion of individuals who make self‐efficacy changes toward their  hypertension management. OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? Likert scales that measure attitude, behavioral, self‐efficacy and motivation  will be analyzed descriptively by acquiring frequencies, means, and  standard deviations of individuals within and across sites and time. Paired samples t‐test will be used for analysis when appropriate. Generally,  these analyses will be used to measure attitudinal change over time. What procedures will you conduct to test  your assumptions? Tests of internal consistency (Cronbach's alpha) will be conducted. What types of variables will be examined? What descriptive analyses will you perform? What is the effect of Rx for Health lifestyle modification programming on  patients’ smoking cessation behaviors, attitudes, self‐efficacy, and social  support compared to non‐participating patients? Evaluation Question What indicators will be examined? Proportion of smokers who make social support changes to their  management of uncontrolled hypertension. Proportion of smokers who make behavioral changes to their management  of hypertension. Proportion of smokers who make attitudinal changes to their management  of uncontrolled hypertension. Proportion of smokers who make self‐efficacy changes to their management  of uncontrolled hypertension. Sunday, July 10, 2016 Page 30 of 56 Revised Exhibit A Plan Name Prescription for Health OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? Likert scales that measure attitude, behavior, motivation, self‐efficacy and  social support will analyzed descriptively by acquiring frequencies, means,  and standard deviations of individuals within and across sites and time. Paired samples t‐test will be used for analysis when appropriate. Generally,  these analyses will be used to measure smoking attitudinal change over  time. What procedures will you conduct to test  your assumptions? Tests of internal consistency (Cronbach's alpha) will be conducted. What types of variables will be examined? What descriptive analyses will you perform? To what extent are the referral programs being used by individuals with  uncontrolled hypertension? Evaluation Question What indicators will be examined? The proportion of individuals who complete all sessions of the referral  program compared to the number of individuals who initially enrolled in the  program. The proportion of individuals who are actually using the referral program  compared to the total population identified as having uncontrolled  hypertension. OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? These data will be analyzed descriptively to obtain frequencies and  percentage of individuals that participate in the lifestyle change program. Inferential statistics are not applicable in this case. What procedures will you conduct to test  your assumptions? Test of assumptions are not applicable in this case. What types of variables will be examined? What descriptive analyses will you perform? Sunday, July 10, 2016 Page 31 of 56 Revised Exhibit A Plan Name Prescription for Health Dissemination Plan Board county members, Community members, CDC and peer‐reviewed journal. Due to the innovative approach of this evaluation, it is a priority to disseminate  the valuable information gathered from this assessment. We intend to develop  preliminary analysis and a report describing the initial findings of the screening  tool as well as a final analysis and final report that extend in detail the findings  and implications of this evaluation. All descriptive and inferential findings will  be written and shared primarily with the community as well as conferences, a  variety of academic settings, and potentially through a peer‐reviewed journal.  CVHPI will work in conjunction with FCDPH for all dissemination purposes. List all audiences for the evaluation findings How will you disseminate the findings from  this evaluation? Do you plan to develop a peer ‐ reviewed  manuscript based on this evaluation? Yes No Sunday, July 10, 2016 Page 32 of 56 Revised Exhibit A Plan Name Prescription for Health For each milestone, please indicate the current status and anticipated or actual dates of initiation and completion. Also  indicate the specific activities that must be completed to achieve each milestone. Evaluation Work Plan Finalize evaluation plan Evaluation Milestone Milestone Status Milestone Init Date 4/1/2015 Milestone Completion Dat 9/30/2015Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Obtain IRB approval / exemption Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Collect baseline data Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Analyze baseline data Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 33 of 56 Revised Exhibit A Plan Name Prescription for Health Disseminate baseline data Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Collect followup data (1) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Analyze followup data (1) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Disseminate followup data (1) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 34 of 56 Revised Exhibit A Plan Name Prescription for Health Collect followup data (2) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Analyze followup data (2) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Disseminate followup data (2) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Collect followup data (3) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 35 of 56 Revised Exhibit A Plan Name Prescription for Health Analyze followup data (3) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Disseminate followup data (3) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 36 of 56 Revised Exhibit A Plan Name Storefront  Advertising This plan measures actual use This is a required outcome evaluation of an innovative intervention This is a voluntary evaluation What is the purpose of this plan? Is this evaluation/assessment focused on a single intervention or a broader strategy (group of interventions  aiming to achieve similar outcomes)? Single Intervention Strategy (group of interventions) Overview John A. Capitman, PhD Executive Director, Central Valley Health Policy Institute California State University, Fresno (559) 228‐2157 jcapitman@csufresno.edu List any topics you would like to see addressed through evaluation TA, webinars, collaborative calls or other training  opportunities.  Nam Title Affiliation Phone Emai Who is the primary point of contact for this evaluation plan? Sunday, July 10, 2016 Page 37 of 56 Revised Exhibit A Plan Name Storefront  Advertising Storefront and Outdoor AdvertisingIntervention/strategy name Risk factor(s)/focus areas Description The FCDPH will identify target cities using the Healthy Stores for a  Healthy Community Workgroup assessment in Fresno County. FCDPH  will educate and inform community members, retailers, and decision‐ makers and provide technical assistance in the targeted communities to  reduce storefront and outdoor advertising. An estimated 623,721  people will be reached in a minimum of five cities including Kingsburg,  Fresno, Parlier, Firebaugh, and Clovis. The evaluation will target  selected stores within the ordinance jurisdiction and measure  storefront adherence to the law and perception of advertising. The  Evaluation Team has developed a plan to randomly select stores within  the targeted communities and will measure compliance of storefront  advertising. The Evaluation Team will also conduct intercept surveys on  consumers who have made a purchase. This intervention meets CDC's criteria for  innovative. Explain No Yes Anticipated start date of intervention(month/year)8/15/2014 Anticipated end date of intervention(month/year)9/29/2017 Does intervention/strategy aim to reduce health  disparities? The intervention focuses on a general population  only (typically jurisdiction wide) The intervention aims to reduce health disparities by focusing on  both a general population(jurisdiction wide) and one or more  specific sub‐populations The intervention aims to reduce health disparities by focusing on  one or more specific sub‐populations Intervention Description Please include a logic model for the intervention as an attachment when you submit your evaluation plan to CDC. Tobacco Nutrition Physical Activity Community and Clinical Linkages Communication Sunday, July 10, 2016 Page 38 of 56 Revised Exhibit A Plan Name Storefront  Advertising Please list each of your evaluation questions. Evaluation questions should relate to the impact of an intervention/strategy on  specific health behaviors and/or health outcomes. Research questions are not appropriate. If this plan is to meet the actual  use assessment requirement, then at least one question should be related to actual use. In addition, all questions should  inform the evidence base and/or contribute to program improvement. Evaluation Questions Evaluation Question What indicators will be measured to  address this question? Describe how this question will contribute to the evidence  base, program improvement, or an assessment  of actual use. We will assess the Department’s ability to reduce storefront  and outdoor advertising. This question will measure the  extent to which stores adhere to adopted policy in their city.  We will meaure the amount of advertising before  and after  the policy is passed. In communities that  have made policy  changes related  storefront advertising,  has the level of  storefront and  outdoor advertising  been reduced  compared to pre‐ policy baseline? The proportion of storefront window  advertisements This question will measure levels of alcohol, tobacco and  sugary drink purchases. The amount of alcohol, tobacco and  sugary drinks purchased will be estimated from a random  sample of consumers who will be surveyed after making a  purchase. This question will contribute to the evidence for  the association between storefront advertising and youth  purchasing alcohol, tobacco and sugary drinks. In communities that  have adopted new  storefront advertising  policies, to what  extent has the  purchase of alcohol  and tobacco  decreased? The number of individuals who buy  tobacco products, alcoholic beverages,  and/or sugary drinks This question will measure if the policy changes the  community's attitude towards storefront appeal. This  question will inform is shoppers change their perception of  stores due to the amount of storefront advertising. In the communities  that have adopted  new policies and have  reduced the total  amount of storefront  advertising, to what  extent do shopper’s  attitudes change on  storefront appeal? Number of participants who find the  storefront appealing Sunday, July 10, 2016 Page 39 of 56 Revised Exhibit A Plan Name Storefront  Advertising Evaluation Design Please describe the overall evaluation design, including the number and description of any comparison groups (if applicable)  and the timing and frequency of data collection (e.g., before and after implementation). The Central Valley Health Policy Institute (CVHPI) will randomly select five stores per zip code within the within each target  city. Zip codes will be selected using previous research that has been conducted in the region on tobacco use and on the  population of the jurisdiction. In areas of high population density, more stores will be sampled. These stores will be observed  for baseline and follow‐up data after the intervention has been implemented. CVHPI will collect baseline data prior to the  policy being passed, and then collect follow‐up data 3 to 6 months after the policy has been passed. Each observation will  include the implementation of an observational tool and an intercept survey of consumers. The observational tool will cover  the measurement of the storefront advertising and the intercept surveys will capture use and public perception of storefront  advertising. On average, ten intercept surveys will be collected per store with the cities with higher population being over  sampled.  A grand total of 500 participants are expected to be collected over the three‐year period in at least four different  cities. Data will be collected using intercept survey methods. Individuals older than the age of 18 will be intercepted by a  research assistant with survey. Independent samples will be collected at each observation. Sunday, July 10, 2016 Page 40 of 56 Revised Exhibit A Plan Name Storefront  Advertising Instruments Please list each of your evaluation instruments/data sources. If you know the indicators you want to measure, but have not  yet selected the instruments, indicate "TBD" for the instrument. Please include available instruments as attachments when  you submit your evaluation plan to CDC. Instrument/ Data Source  Reference Please describe any modifications  made to the original instrument What key indicators are measured by this  instrument/data source? Intercept survey Stanford PrevenƟon  Research Center California Tobacco   Control Progrm (2013) Only two questions from the original  instrument will be uƟlized: 7 and  N17. AddiƟonal quesƟons will inclu de: •Do you live in this community? •Which category best describes  your race? •Which category best describes  your gender? •Have you smoked any cigareƩes  in the last 30 days? •Do you shop here regularly? •Did you purchase anything that is  being advertised on storefront or  outdoor advertising? •Do you think youth are influenced  by storefront advertising at this  store? •Do you find this storefront  appealing? •Did you purchase alcohol? •Did you purchase cigareƩes? •Did you purchase fruits or  vegetables ? •Did you purchase soda, Gatorade,  or an energy drink? The number of individuals who buy  tobacco products, alcoholic beverages,  and/or sugary drinks Number of participants who find the  storefront appealing Instrument/ Data Source  Reference Please describe any modifications  made to the original instrument What key indicators are measured by this  instrument/data source? Instrument/ Data Source  Reference Please describe any modifications  made to the original instrument What key indicators are measured by this  instrument/data source? Observational Tool Window Signage Fact  Sheet, Los Angeles  County Public Health  Department A photograph will be taken of the  storefront and the proportion of  storefront signage will be  determined from the photograph. The proportion of storefront window  advertisements Sunday, July 10, 2016 Page 41 of 56 Revised Exhibit A Plan Name Storefront  Advertising Sampling Plan Intercept surveyInstrument Name DescriptionSub‐population Are you trying to represent any specific subpopulations in your sample?  If yes, please complete this table by checking the  subpopulation included in your sample, indicating the desired sample size per group, and describing in the space provided. Sampling Plan Intended Sample Size The Central Valley  Health Policy InsƟtute will randomly sampl stores within the ordinance jurisdicƟon. We  believe that a  random sample of stores will accurately reflect the impact of the intervention. Stores located in zip codes where there is a  high population density will be over sampled. In rural communities, fewer stores will be sampled. At a person‐level, we will  gather a convenience sample of consumers via intercept surveys. This will allow the evaluation team to accurately measure  purchases, attitudes, and behaviors of individuals. Please provide your reasoning and/or justification for the sampling appoach.  Address all levels of the sampling plan. The sampling of stores may create bias observaƟons that may not reflect the community as a whole. This might be due to  the limited number of stores we are able to evaluate. Another limitation is that we are only allowed to gather informed  consent from individuals older than 18 years of age, some of the advertising for sugary‐drinks are geared toward a younger  demographic. Yes No (why not?)Not applicable Describe the limitations of the sampling plan. Did you conduct a power analysis? This is a voluntary evaluaƟon. NoYesIf yes, is your intended sample size sufficiently powered?  Please explain. # Level Number of  Units Intended  Sample Size Sampling Approach 1Store 30 30 convenience Stores within the ordinance jurisdiction will be randomly sampled. 2 Customers 528090 500 convenience Each observation will include the collection of 25 participants so that each store sampled will have a total of 50 participants  to compare pre and post intervention. A grand total of 500 participants are expected to be collected over the three‐year  period Sunday, July 10, 2016 Page 42 of 56 Revised Exhibit A Plan Name Storefront  Advertising Age Homeless/transient Immigrants/Non‐native English speakers LGBTQ Low SES/income People w/disabilities (cognitive or Physical) People w/mental illness/substance abuse conditions Race Ethnicity Uninsured/underinsured Other disparate subpopulation Gender Geography (urban, rural or frontier) How will you recruit and/or select participants to respond to this instruments? Will you use participation incentives to promote response rate to the instrument? Participant recruitment will occur at local community events, swap meets, etc. within the targeted communties. Yes (please describe) No Sunday, July 10, 2016 Page 43 of 56 Revised Exhibit A Plan Name Storefront  Advertising Instrument Name Age Homeless/transient Immigrants/Non‐native English speakers LGBTQ Low SES/income People w/disabilities (cognitive or Physical) People w/mental illness/substance abuse conditions Race Ethnicity Uninsured/underinsured Other disparate subpopulation Gender Geography (urban, rural or frontier) DescriptionSub‐population Are you trying to represent any specific subpopulations in your sample?  If yes, please complete this table by checking the  subpopulation included in your sample, indicating the desired sample size per group, and describing in the space provided. How will you recruit and/or select participants to respond to this instruments? Will you use participation incentives to promote response rate to the instrument? Yes (please describe) No Sampling Plan Intended Sample Size Please provide your reasoning and/or justification for the sampling appoach.  Address all levels of the sampling plan. Yes No (why not?)Not applicable Describe the limitations of the sampling plan. Did you conduct a power analysis? NoYesIf yes, is your intended sample size sufficiently powered?  Please explain. Sunday, July 10, 2016 Page 44 of 56 Revised Exhibit A Plan Name Storefront  Advertising Observational ToolInstrument Name Age Homeless/transient Immigrants/Non‐native English speakers LGBTQ Low SES/income People w/disabilities (cognitive or Physical) People w/mental illness/substance abuse conditions Race Ethnicity Uninsured/underinsured Other disparate subpopulation Gender Geography (urban, rural or frontier) DescriptionSub‐population Are you trying to represent any specific subpopulations in your sample?  If yes, please complete this table by checking the  subpopulation included in your sample, indicating the desired sample size per group, and describing in the space provided. How will you recruit and/or select participants to respond to this instruments? Will you use participation incentives to promote response rate to the instrument? The stores will be randomly selected for this portion of the evaluation. Sampling Plan Intended Sample Size The stores will be randomly selected within each ordinance jurisdiction. The random selection will limit biases toward a  group of stores that may not represent the entire jurisdiction under the ordinance. Please provide your reasoning and/or justification for the sampling appoach.  Address all levels of the sampling plan. A limited number of stores will be selected due to shortage in staffing. It would be ideal to randomly sample a large set of  stores throughout the County. Yes No (why not?)Not applicable Describe the limitations of the sampling plan. Did you conduct a power analysis? NoYesIf yes, is your intended sample size sufficiently powered?  Please explain. # Level Number of  Units Intended  Sample Size Sampling Approach 1Convenience Store 20 random At least five stores will be randomly selected from within each ordinance jurisdiction. More stores will be selected for highly  populated cities. These stores will measured pre‐ and post‐intervention. 2 Sunday, July 10, 2016 Page 45 of 56 Revised Exhibit A Plan Name Storefront  Advertising Yes (please describe) No Sunday, July 10, 2016 Page 46 of 56 Revised Exhibit A Plan Name Storefront  Advertising Data Collection Plan Instrument Name Intercept survey Please describe in detail the data collection protocol for  this instrument. Photographs of the store front will be taken pre and post  ordinance change. The observer will identify customers as they  walk out of the store. The observer will ask for informed  consent from all potential participants. If the customer  consents, the observer will proceed to administer the survey  instrument. The survey should take no longer than fifteen  minutes to administer. If necessary, surveys will be available in  Spanish and the observer will be trained on how to administer  these surveys. Who will administer this instrument/collect the data?Trained observers/research assistants will administer the  instrument. How will you train data collectors to ensure data are  collected accurately and reliably? CVHPI will work in conjunction with the Fresno County Public  Health Department to train observers to administer the  instruments in the targeted communities. Observers will be  given a mock training to ensure accurate data collection. Will you collect data from the same individuals over time  (longitudinal) or from independent samples at each time  point (cross‐sectional)? Longitudinal Cross‐sectional Observation Survey Intercept survey Interview Records review Please select the data collection method. 1 time 2 times 3 or more times timing is continuous or ongoing How many times will you administer this instrument? Please describe the timing for when you will collect data.The Central Valley Health Policy Institute (CVHPI) will randomly  select stores within the jurisdiction of the new ordinance.  These stores will be observed for baseline and follow‐up data  after the intervention has been implemented. The baseline  observation will occur prior to the implementation of the  ordinance and a follow‐up observation will occur after the  ordinance is being enforced. In each year of the grant, the goal  is to add more stores to be observed. The Evaluation Team will  maintain constant communication with partners to ensure that  baseline data is being collected in communities that are highly  considering to pass an ordinance which reduces storefront  advertising. Instrument Name Sunday, July 10, 2016 Page 47 of 56 Revised Exhibit A Plan Name Storefront  Advertising Please describe in detail the data collection protocol for  this instrument. Who will administer this instrument/collect the data? How will you train data collectors to ensure data are  collected accurately and reliably? Will you collect data from the same individuals over time  (longitudinal) or from independent samples at each time  point (cross‐sectional)? Longitudinal Cross‐sectional Observation Survey Intercept survey Interview Records review Please select the data collection method. 1 time 2 times 3 or more times timing is continuous or ongoing How many times will you administer this instrument? Please describe the timing for when you will collect data. Instrument Name Observational Tool Please describe in detail the data collection protocol for  this instrument. The observational tool will include taking a photograph of the  storefront and measuring the proportion of the storefront that  is dedicated to signage. The percent of signage will be  determined by dividing the signage area by the total  door/window storefront area. This proportion will be  compared pre‐ and post‐intervention to determine the effect  size of the storefront. Who will administer this instrument/collect the data?A trained research assistant will take a photograph from a  specific distance from the storefront. How will you train data collectors to ensure data are  collected accurately and reliably? A mock trial will be conducted with the data collectors in order  to improve accuracy and reliablity of the observational tool. Observation Survey Intercept survey Interview Records review Please select the data collection method. 1 time 2 times 3 or more times timing is continuous or ongoing How many times will you administer this instrument? Please describe the timing for when you will collect data.The observational tool will be administered twice for each store  site. The tool will be administered pre‐ and post‐intervention in  order to measure the effect of the ordinance. Sunday, July 10, 2016 Page 48 of 56 Revised Exhibit A Plan Name Storefront  Advertising Will you collect data from the same individuals over time  (longitudinal) or from independent samples at each time  point (cross‐sectional)? Longitudinal Cross‐sectional Sunday, July 10, 2016 Page 49 of 56 Revised Exhibit A Plan Name Storefront  Advertising Complete a data analysis plan for each question. Data Analysis Plan In communities that have made policy changes related storefront  advertising, has the level of storefront and outdoor advertising been  reduced compared to pre‐policy baseline? Evaluation Question What indicators will be examined? The proportion of storefront window advertisements OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? This value will be used to estimate the proportion of storefront advertising  at each observation time point. Pre and post photographs will be analyzed  to compare change and adherence to the new policy. None. What procedures will you conduct to test  your assumptions? Interrater reliability will be calculated using a weighted kappa statistic. What types of variables will be examined? What descriptive analyses will you perform? In communities that have adopted new storefront advertising policies, to  what extent has the purchase of alcohol and tobacco decreased? Evaluation Question What indicators will be examined? The number of individuals who buy tobacco products, alcoholic beverages,  and/or sugary drinks OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? Frequencies and percentages will be calculated for analysis. These data will  provide information for comparison of data prior to the ordinance and after  the ordinance has been passed. These values will be compared across stores, cities, and observation times.  Frequencies, means, and standard deviations will be used to compare  proportional differences across groups. This analysis will help us infer actual  use of stores in a community. What procedures will you conduct to test  your assumptions? Once all data has been collected, pre‐intervention observations will be  compared to post‐intervention groups via a paired samples t‐test. This  inferential statistic will examine if the intervention was significantly  impactful on the population. What types of variables will be examined? What descriptive analyses will you perform? In the communities that have adopted new policies and have reduced the  total amount of storefront advertising, to what extent do shopper’s  attitudes change on storefront appeal? Evaluation Question What indicators will be examined? Number of participants who find the storefront appealing Sunday, July 10, 2016 Page 50 of 56 Revised Exhibit A Plan Name Storefront  Advertising OrdinalNominal Interval Ratio What inferential analyses will you conduct to  answer your evaluation question? Frequencies and proportions of answers will be analyzed descriptively. Pre and post intervention groups will also be compared via a paired  samples t‐test to measure the impact of storefront advertisement on  attitudes/behaviors. What procedures will you conduct to test  your assumptions? Pre and post intervention groups will also be compared via a paired  samples t‐test to measure the impact of storefront advertisement on  attitudes/behaviors. What types of variables will be examined? What descriptive analyses will you perform? Sunday, July 10, 2016 Page 51 of 56 Revised Exhibit A Plan Name Storefront  Advertising Dissemination Plan City Counvil memebers, County board members, Fresno County Health  Improvement Partnership members, community members, CDC. All findings will be written and shared primarily with the community as well as  conferences, flyers, school site newsletters,, social media platforms, a variety of  academic settings, and potentially through a peer‐reviewed journal such as  Nutrition Education and Behavior, Health Education and Behavior, The Journal  of Child Nutrition and Management, and Health Psychology. The findings  generated by this actual use assessment may be utilized by stakeholders in  creating a platform to present evidence to community leaders and policy  makers for positive changes to the current storefront advertisement practices.  CVHPI will work in conjunction with FCDPH for all dissemination purposes. List all audiences for the evaluation findings How will you disseminate the findings from  this evaluation? Do you plan to develop a peer ‐ reviewed  manuscript based on this evaluation? Yes No Sunday, July 10, 2016 Page 52 of 56 Revised Exhibit A Plan Name Storefront  Advertising For each milestone, please indicate the current status and anticipated or actual dates of initiation and completion. Also  indicate the specific activities that must be completed to achieve each milestone. Evaluation Work Plan Finalize evaluation plan Evaluation Milestone Milestone Status Milestone Init Date 4/1/2015 Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Obtain IRB approval / exemption Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Collect baseline data Evaluation Milestone Milestone Status Milestone Init Date 5/1/2013 Milestone Completion Dat 9/30/2013Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Analyze baseline data Evaluation Milestone Milestone Status Milestone Init Date 10/1/2013 Milestone Completion Dat 12/31/2013Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 53 of 56 Revised Exhibit A Plan Name Storefront  Advertising Disseminate baseline data Evaluation Milestone Milestone Status Milestone Init Date 1/1/2014 Milestone Completion Dat 12/31/2014Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Collect followup data (1) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Analyze followup data (1) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Disseminate followup data (1) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 54 of 56 Revised Exhibit A Plan Name Storefront  Advertising Collect followup data (2) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Analyze followup data (2) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Disseminate followup data (2) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Collect followup data (3) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 55 of 56 Revised Exhibit A Plan Name Storefront  Advertising Analyze followup data (3) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Disseminate followup data (3) Evaluation Milestone Milestone Status Milestone Init Date Milestone Completion Dat Complete In Progress Delayed Not yet started N/A Check completed Activity Activity Init Date Activity Completion Date Lead staff Activities Sunday, July 10, 2016 Page 56 of 56 Revised Exhibit A Revised Exhibit B-1 Page 1 of 1 A. Salaries and Wages Last Name Init. Annual Salary % Time Program Salary % Time Program Salary Total Request FACULTY Capitman J $139,800 18%$25,224 1%$1,631 $26,855 Subtotal Faculty Salaries $26,855 STAFF Bengiamin M $90,000 40%$35,775 15%$13,500 $49,275 Lessard L $54,204 8%$4,300 0%$0 $4,300 Alcala/Constantino E $41,600 23%$9,360 39%$16,380 $25,740 Garcia M $34,000 23%$7,650 0%$0 $7,650 Silva Y $32,000 22%$6,960 31%$9,900 $16,860 Cortez J $32,000 27%$8,640 26%$8,250 $16,890 Interns $0 0%$0 0%$0 $0 Subtotal Staff Salaries $120,715 $147,570 Rate Rate Capitman J Principal Investigator 42%$10,594 42%$685 $11,279 Bengiman M Research Director 30%$10,733 28%$3,780 $14,513 Lessard L Project Coord.32%$1,376 0%$0 $1,376 Alcala/Constantino E Data Analyst 34%$3,182 30%$4,914 $8,096 Garcia M Research Assistant 35%$2,678 0%$0 $2,678 Silva Y Research Assistant 35%$2,436 10%$990 $3,426 Cortez J Research Assistant 10%$864 10%$825 $1,689 Interns Research Assistants 0%$0 0%$0 $0 $43,056 $190,626 $0 $0 $0 $0 $0 $0 $750 $1,000 $1,750 $750 $1,000 $1,750 $5,000 $0 $5,000 $5,000 $0 $5,000 Description Meeting and office supplies and communication $5,238 $2,313 $7,551 Office space and meeting room rental $7,200 $6,000 $13,200 $12,438 $8,313 $20,751 $147,959 $70,168 $218,127 $142,959 $70,168 $213,127 Rate:19.0%of MTDC $27,162 $13,332 $40,494 $175,121 $83,500 $258,621 TOTAL EQUIPMENT J. Indirect Costs Modified Total Direct Co Data Analyst Research Assistant Research Assistant Research Assistant Research Assistants TOTAL OTHER Equipment or Facility Rental/User Fees $600 x 12 months Materials and Supplies F. Other Direct Support TOTAL PARTICIPANT/TRAINEE SUPPORT TOTAL TRAVEL Research Director Project Coord. Year 1 7/14/15- 9/29/16 Year 2 9/30/16-9/29/17 Position Principal Investigator Subtotal ALL Salaries and Wages $11,194 $60,855 $31,862 $129,771 Subtotal Fringe Benefits TOTAL SALARY AND FRINGE BENEFITS B. Fringe Benefits $25,224 $1,631 $48,030 $49,661 $72,685 $97,909 C. Equipment I. Total Direct Costs K. Total Proposed Costs Incentives Local mileage at current IRS rates E. Participant/Trainee Support D. Travel Calculation